La V2 de la solution logicielle Vitam est publiée !

La livraison de la Release 9 marque la fin des développements de la 2e Version de production de la solution logicielle Vitam. Le code et les packages de déploiement de la V2 ont été publiés sur Github le 31 janvier dernier.

Les nouvelles fonctionnalités

La Release 9 apporte de nombreux enrichissements fonctionnels, en particulier en matière de préservation des archives numériques. La solution logicielle Vitam devant permettre la conservation et l’accès à long terme aux archives numériques, il était indispensable de fournir des fonctionnalités de préservation. La V2 permet de mettre à jour le référentiel des formats et de mettre en œuvre les premiers traitements de masse de préservation sur les fichiers pris en charge :

• analyse de type « validation » de formats des fichiers : remontée d’indication de conformité aux normes et standards des formats,
• génération de nouvelles formes binaires de type « conversion de formats » : création de nouveaux fichiers pour disposer d’une version dans un format plus adapté à la conservation. Cela peut aussi être utilisé pour d’autres types de génération de binaire comme la génération de texte par reconnaissance de caractère).

Ces actions de préservation s’appuient sur des applicatifs externes, Jhove, Exiftool, LibreOffice, Vera PDF ou ImageMagick, mobilisés au travers de petits modules faciles à coder dits « griffons » faits pour dialoguer avec la solution logicielle Vitam au travers d’une simple interface fichier. L’usage de ses « griffons », modules élémentaires, est paramétré dans des scénarios de préservation. L’ensemble est administré via un référentiel de griffons et de scénarios de préservation. Les principes retenus pour la mécanique de préservation sont de permettre facilement aux implémenteurs de la solution Vitam de faire leurs propres « griffons » (nous serions d’ailleurs preneurs de contributions sur ce sujet) et de permettre d’en définir leur usage avec une grande souplesse par simple administration. D’autres fonctionnalités ont également été ajoutées, un journal technique, dit « Access log » permet dorénavant de tracer les accès aux archives, afin de gérer les problèmes associés aux risques de divulgation des archives.

Les outils de préparation des paquets d’archives

De nouveaux outils, les Sedatools, Bibliothèque Java et outils IHM (interface homme/machine) de mise à œuvre du SEDA, sont proposés pour tests avec cette V2 :

• La bibliothèque « sedalib » apporte des interfaces de haut et bas niveau pour la construction et la manipulation programmatique de paquets SEDA.
• L’outil IHM « Resip » permet d’ouvrir et de manipuler des SIP, DIP, et de les construire à partir d’arborescences fichiers voire de messageries. Ces outils remplacent l’ancien générateur SEDA Cette publication vise à recueillir les déclarations d’intérêt des utilisateurs suite à leurs tests afin d’évaluer l’opportunité d’intégrer ces outils à la solution logicielle Vitam. Les retours sont possibles à l’adresse contact@programmevitam.fr

Le maintien des versions

Les livraisons s’étant succédées durant l’année 2018, certaines Release ne seront plus maintenues. La Release 7 a été définie comme la version LTS de la V1 de production de la solution logicielle Vitam, la R6 ne sera donc plus maintenue. De même peu d’investissements seront fournis sur la Release 8, les corrections ne seront pas backportées. En effet, la R8 constitue la dernière release de la V1, or l’utilisation de la V2, plus riche fonctionnellement est préconisée. La R9 ou la R10 serviront de LTS pour la V2 de production. Cette décision devra être prise dans les semaines à venir, nous ne manquerons pas de vous en informer.

Publication de la Release 8... dernière ligne droite avant la V2

La Release 8 a été livrée en novembre, elle est publiée ce 29 novembre à l’occasion du World Digital Preservation Day. Dernière étape avant la livraison de la V2, cette version comporte un ensemble d’éléments permettant aux archivistes de gérer les archives conservées dans le SAE, en mettant en œuvre la gestion du cycle de vie des données ou documents.

Les nouvelles fonctionnalités permettent des actions indispensables au métier des archivistes :

• Les modifications en masse de métadonnées descriptives ou de gestion. Cette fonctionnalité permet de mettre à jour une durée de conservation sur un ensemble de documents, par exemple en cas de changement réglementaire, ou tout simplement pour corriger une coquille dans une description.

• La réorganisation de l’arborescence de classement des archives, permet de déplacer un ensemble de données au sein des arborescences de classement du SAE lors d’opérations de reclassement par exemple.

• L’élimination des données et de leurs métadonnées. Cette opération est indispensable pour une bonne gestion de l’information, les données dépourvues d’intérêt probant, juridique ou patrimonial doivent pouvoir être éliminées. L’élimination repose sur différentes opérations : l’identification des archives à éliminer via une requête, le lancement d’une action d’élimination avec un contrôle des droits et de la date d’échéance (passée), la mise en œuvre de l’élimination, la mise à jour du registre des fonds et l’émission d’un rapport. L’opération d’élimination implique que les métadonnées renseignant un sort final « élimination » ont été renseignées au préalable, ainsi que la date des documents. Elle exclut automatiquement les archives posant problème en termes de date d’échéance ou de droits.

• La génération d’un relevé de valeur probante. Il permet de prouver l’intégrité et la traçabilité des archives. Ce support de confiance pourrait être fourni par exemple à la demande d’un magistrat dans le cadre d’un contentieux ou d’une commission rogatoire. Il s’agit d’une opération de vérification du contenu du journal des opérations, du journal de cycle de vie et des opérations de sécurisation puis d’une édition de rapport technique simple. Le rapport généré est ensuite utilisable par les fronts offices pour la construction d’un rapport humainement lisible.

• La mise en œuvre d’un audit correctif. Il permet de vérifier, sur la base de l’audit de cohérence, l’ensemble des informations sur disque, en base et dans les journaux métiers pour valider la cohérence du système, notamment les hashs des objets dans ces trois sources. En cas d’incohérence, un principe de correction automatique est proposé lorsqu’une seule des sources est différente sur le Hash d’un objet et que le reste est considéré comme suffisamment sûr pour qu’une correction automatique soit possible.

• La prise en charge des données classifiées est dorénavant possible via des métadonnées de gestion spécifique, ainsi que la réévaluation et historisation de la classification,

• L’enregistrement sous forme de log des accès permet de tracer les téléchargements d’objets ou génération de DIP. Elle est facultative et activable via le contrat d’accès.

Outre ces apports fonctionnels un effort particulier a été porté sur la montée en charge pour passer au stade du milliard d’archives et les travaux de fond sur la robustesse, la sécurité et la maintenabilité ont continué.

A noter, il est à ce jour défini qu’une release par version majeure (V1, V2 et V3) fera l’objet d’un support à long terme (LTS). Sur la V1 il s’agira de la R7, ce choix a été effectué en octobre en accord avec les porteurs et partenaires Vitam.

Un pas de plus... la publication régulière de versions correctives

Les premières versions correctives des deux releases de production R6 (1.0.x) et R7 (1.4.x) ont été publiées en juillet

Jusqu’à présent l’essentiel du travail sur la solution logicielle Vitam a été du développement et de l’enrichissement fonctionnel. Alors que l’usage en production par différentes organisations se précise (les premières mises en production sont attendues pour la fin 2018) il convient d’aller plus loin dans la mise en place du processus complet d’édition logicielle.

Le traitement des bugs, déjà en place avec les porteurs et partenaires Vitam, amène à des corrections sur la version en cours de développement mais aussi sur certaines releases déjà publiées. Jusqu’à présent ces “bugs releases” étaient conservées en interne à l’administration, il convient pour faciliter l’usage par tous du logiciel et respecter l’esprit du logiciel libre de les diffuser sur une base régulière.

Dans le courant de juillet les “bugs releases” R6.4 (1.0.4) et R7.1 (1.4.1) ont été publiées sur GitHub.

Vous pourrez trouver toutes les informations sur la page GitHub dédiée aux Releases

Vous pourrez aussi trouver tous les liens vers cette dernière version dans la page Ressources

A noter que la politique de support à long terme n’est pas encore entièrement scellée, mais il est à ce jour défini qu’une release par version majeure (V1, V2 et V3) fera l’objet d’un support à long terme. A priori sur la V1 il s’agira de la R7, mais le choix sera fait officiellement en octobre en accord avec les porteurs et partenaires Vitam. En attendant le “backport” des corrections de bugs bloquants et critiques est assuré sur les deux releases R6 et R7, avec en plus celui de certains bugs majeurs et mineurs sur la R7.

La Release 7 de la solution logicielle Vitam est disponible

Cette Release est le 1er jalon de réalisation de la V2 attendue pour la fin de l’année.

Les évolutions majeures apportées par la R7 concernent :

• la mise en conformité avec la nouvelle version du SEDA publiée début juin (Seda 2.1),
• en entrées : l’ajout de fonctionnalités permettant le classement des archives dès leur transfert,
• en accès : l’ajout de sélection par facettes sur les résultats de recherche et la possibilité d’exclure des périmètres de recherche,
• en gestion des archives existantes : L’ajout de nouvelles notions pour la structuration et le contrôle des métadonnées. Les profils d’unités archivistiques permettent de contrôler les métadonnées d’une unité archivistique lors de son entrée mais aussi lors des modifications de sa description mises en œuvre pendant sa période de conservation dans le SAE. L’ontologie permet d’enrichir le spectre standard de métadonnées (proposé par le Seda) par l’ajout de nouveaux éléments de vocabulaire, utilisables dans les profils d’unités archivistiques, L’audit de cohérence permet de comparer la conformité des empreintes de différents éléments (métadonnées des AU, journaux du cycle de vie…) à celles enregistrées dans les journaux sécurisés.
• en gestion de la donnée, les travaux ont été engagés sur la révision du modèle de graph, pré-requis qui permettra la modification d’arborescences et les traitements de masse à livrer en Release 8.

La migration a été ajoutée pour permettre aux entités utilisant en production la Release 6 (V1 de production) de monter de version et d’utiliser la Release 7. Ce sujet a permis de traiter certains problèmes de montée en volumétrie.

Le chantier sur le relevé de valeur probante a mis en lumière des possibilités d’amélioration sur l’organisation des journaux sécurisés pour faciliter les traitements automatiques à long terme. Les journaux ont donc été revus. À noter : ces fonctionnalités sont backportées dans la R6 (au moyen d’un patch), car il est indispensable que la mise en production débute avec ce modèle de journaux pour éviter de devoir gérer une compatibilité ascendante des modèles R6 et R7.

Une nouveauté marque cette publication, deux versions de productions sont désormais livrées, la nouvelle release et la release précédente corrigée. Vous pouvez dorénavant installer la nouvelle version 1.4.0 (Release 7), mais également mettre à jour la V1 de production grâce à la version corrigée 1.0.4 (Release 6 corrigée dite aussi R6.4). A noter, dans un contexte d’utilisation des versions en production, on débute un cycle régulier de publication des versions corrigées. Ainsi il est déjà prévu qu’une version corrigée de la Release 7 (1.4.1 ou encore R7.1) soit publiée d’ici la mi-juillet.

Publication de la Présentation du 11 avril

Une présentation de la Première version de production de la solution logicielle Vitam a eu lieu aux Archives nationales le 11 avril 2018. L’ensemble des composantes du Programme était représentées lors de l’événement : l’équipe projet solution logicielle Vitam, les équipes des projets d’implémentation des porteurs et des partenaires : Adamant (Archives nationales, Ministère de la Culture), Archipel (Ministère des Armées), Saphir (Ministère de l’Europe et des Affaires étrangères), Octave (SIAF, Ministère de la Culture), Siamae (Ministère de la Transition écologique et solidaire). 250 personnes avaient fait le déplacement pour assister à la présentation de chacun des projets et comprendre les différentes facettes du Programme.

Pour en savoir plus, le support de présentation est consultable ici : pdf