Actualités d'automne pour le programme Vitam

L’automne est actif pour le pogramme Vitam ! Départs et arrivées de nouvelles personnes, recrutements, publication du marché de la MAC (maintenance et amélioration continue), retrouvez les principaux sujets du moment.

Photo credit: Sebastiaan ter Burg, CC BY 4.0

IPres2019 : présentation des travaux du Programme Vitam

Du 16 au 20 septembre, Amsterdam a accueilli la 16e conférence internationale sur la préservation digitale. Edouard Vasseur, directeur fonctionnel du programme Vitam y était présent.

Avec Aurélien Conraux (SIAF) et Wilfried Prieur (ministère des Armées), ils ont présenté: “Building the future of digital preservation in French archival services Processes, functions and staffing for an effective digital preservation”.

Leur texte est accessible ici.

Publication du marché de la MAC Vitam

Ouvert jusqu’au 13 novembre, le marché a pour objet la maintenance amélioration continue (MAC) du logiciel Vitam, solution d’archivage électronique sous licence libre CeCILL V2.1 compatible GPL V3.

Deux temps de présentation / démonstration de la PIC (plateforme d’intégration continue) sont programmés les 17 octobre et 5 novembre, vous pouvez vous inscrire auprès d’Emmanuel Laborde [Emmanuel.laborde[at]culture.gouv.fr]. Le marché est accessible en ligne.

Publication des supports et vidéos de la journée de présentation de la V2 du 18 mars 2019.

Le 18 mars 2019 une journée de présentation de la V2 de la solution logicielle Vitam a permis à un large public de découvrir les nouvelles fonctionnalités livrées et l’état d’avancement des projets utilisateurs. L’événement a réuni 280 participants aux Archives nationales sur le site de Pierrefitte-sur-Seine. La journée était séquencée en 3 temps.

La présentation des nouvelles fonctionnalités

Cette première partie a permis de faire un point sur les fonctionnalités de la V2, et de les démontrer. Les éléments présentés concernaient :

• la recherche par facette,
• le contrôle de l’indexation et des métadonnées,
• la mise à jour et la modification en masse d’une métadonnée descriptive (titre),
• le rattachement,
• les éliminations,
• la préservation.

La présentation est consultable en suivant ce lien : (pdf).

Les vidéos des différentes fonctionnalités de la V2, diffusées lors de cette session, sont accessibles sur la page Démonstration.

Les actualités des projets d’implémentation

Une deuxième partie a fait un point d’actualités et un état d’avancement des projets d’utilisation de la solution logicielle Vitam :

• Adamant (Ministère de la Culture/Archives nationales),
• Archipel (Ministère des Armées),
• Saphir (Ministère de l’Europe et des Affaires étrangères),
• Siamae (Ministère de la Transition Ecologique et Solidaire)
  • La présentation de ces projets est consultable en suivant ce lien : (pdf)
• et Vitam/in (CEA)
  • La présentation de ce projet est consultable en suivant ce lien : (pdf)

Les outils de préparation des versements

Une troisème partie était consacrée aux outils de préparation des versements d’archives numériques :

• Octave (Ministère de la Culture/SIAF),
• Archifiltre (Ministères sociaux),
• SedaTools (Vitam)
  • La présentation de ces projets est consultable en suivant ce lien : (pdf)

La V2 de la solution logicielle Vitam est publiée !

La livraison de la Release 9 marque la fin des développements de la 2e Version de production de la solution logicielle Vitam. Le code et les packages de déploiement de la V2 ont été publiés sur Github le 31 janvier dernier.

Les nouvelles fonctionnalités

La Release 9 apporte de nombreux enrichissements fonctionnels, en particulier en matière de préservation des archives numériques. La solution logicielle Vitam devant permettre la conservation et l’accès à long terme aux archives numériques, il était indispensable de fournir des fonctionnalités de préservation. La V2 permet de mettre à jour le référentiel des formats et de mettre en œuvre les premiers traitements de masse de préservation sur les fichiers pris en charge :

• analyse de type « validation » de formats des fichiers : remontée d’indication de conformité aux normes et standards des formats,
• génération de nouvelles formes binaires de type « conversion de formats » : création de nouveaux fichiers pour disposer d’une version dans un format plus adapté à la conservation. Cela peut aussi être utilisé pour d’autres types de génération de binaire comme la génération de texte par reconnaissance de caractère).

Ces actions de préservation s’appuient sur des applicatifs externes, Jhove, Exiftool, LibreOffice, Vera PDF ou ImageMagick, mobilisés au travers de petits modules faciles à coder dits « griffons » faits pour dialoguer avec la solution logicielle Vitam au travers d’une simple interface fichier. L’usage de ses « griffons », modules élémentaires, est paramétré dans des scénarios de préservation. L’ensemble est administré via un référentiel de griffons et de scénarios de préservation. Les principes retenus pour la mécanique de préservation sont de permettre facilement aux implémenteurs de la solution Vitam de faire leurs propres « griffons » (nous serions d’ailleurs preneurs de contributions sur ce sujet) et de permettre d’en définir leur usage avec une grande souplesse par simple administration. D’autres fonctionnalités ont également été ajoutées, un journal technique, dit « Access log » permet dorénavant de tracer les accès aux archives, afin de gérer les problèmes associés aux risques de divulgation des archives.

Les outils de préparation des paquets d’archives

De nouveaux outils, les Sedatools, Bibliothèque Java et outils IHM (interface homme/machine) de mise à œuvre du SEDA, sont proposés pour tests avec cette V2 :

• La bibliothèque « sedalib » apporte des interfaces de haut et bas niveau pour la construction et la manipulation programmatique de paquets SEDA.
• L’outil IHM « Resip » permet d’ouvrir et de manipuler des SIP, DIP, et de les construire à partir d’arborescences fichiers voire de messageries. Ces outils remplacent l’ancien générateur SEDA Cette publication vise à recueillir les déclarations d’intérêt des utilisateurs suite à leurs tests afin d’évaluer l’opportunité d’intégrer ces outils à la solution logicielle Vitam. Les retours sont possibles à l’adresse contact@programmevitam.fr

Le maintien des versions

Les livraisons s’étant succédées durant l’année 2018, certaines Release ne seront plus maintenues. La Release 7 a été définie comme la version LTS de la V1 de production de la solution logicielle Vitam, la R6 ne sera donc plus maintenue. De même peu d’investissements seront fournis sur la Release 8, les corrections ne seront pas backportées. En effet, la R8 constitue la dernière release de la V1, or l’utilisation de la V2, plus riche fonctionnellement est préconisée. La R9 ou la R10 serviront de LTS pour la V2 de production. Cette décision devra être prise dans les semaines à venir, nous ne manquerons pas de vous en informer.

Publication de la Release 8... dernière ligne droite avant la V2

La Release 8 a été livrée en novembre, elle est publiée ce 29 novembre à l’occasion du World Digital Preservation Day. Dernière étape avant la livraison de la V2, cette version comporte un ensemble d’éléments permettant aux archivistes de gérer les archives conservées dans le SAE, en mettant en œuvre la gestion du cycle de vie des données ou documents.

Les nouvelles fonctionnalités permettent des actions indispensables au métier des archivistes :

• Les modifications en masse de métadonnées descriptives ou de gestion. Cette fonctionnalité permet de mettre à jour une durée de conservation sur un ensemble de documents, par exemple en cas de changement réglementaire, ou tout simplement pour corriger une coquille dans une description.

• La réorganisation de l’arborescence de classement des archives, permet de déplacer un ensemble de données au sein des arborescences de classement du SAE lors d’opérations de reclassement par exemple.

• L’élimination des données et de leurs métadonnées. Cette opération est indispensable pour une bonne gestion de l’information, les données dépourvues d’intérêt probant, juridique ou patrimonial doivent pouvoir être éliminées. L’élimination repose sur différentes opérations : l’identification des archives à éliminer via une requête, le lancement d’une action d’élimination avec un contrôle des droits et de la date d’échéance (passée), la mise en œuvre de l’élimination, la mise à jour du registre des fonds et l’émission d’un rapport. L’opération d’élimination implique que les métadonnées renseignant un sort final « élimination » ont été renseignées au préalable, ainsi que la date des documents. Elle exclut automatiquement les archives posant problème en termes de date d’échéance ou de droits.

• La génération d’un relevé de valeur probante. Il permet de prouver l’intégrité et la traçabilité des archives. Ce support de confiance pourrait être fourni par exemple à la demande d’un magistrat dans le cadre d’un contentieux ou d’une commission rogatoire. Il s’agit d’une opération de vérification du contenu du journal des opérations, du journal de cycle de vie et des opérations de sécurisation puis d’une édition de rapport technique simple. Le rapport généré est ensuite utilisable par les fronts offices pour la construction d’un rapport humainement lisible.

• La mise en œuvre d’un audit correctif. Il permet de vérifier, sur la base de l’audit de cohérence, l’ensemble des informations sur disque, en base et dans les journaux métiers pour valider la cohérence du système, notamment les hashs des objets dans ces trois sources. En cas d’incohérence, un principe de correction automatique est proposé lorsqu’une seule des sources est différente sur le Hash d’un objet et que le reste est considéré comme suffisamment sûr pour qu’une correction automatique soit possible.

• La prise en charge des données classifiées est dorénavant possible via des métadonnées de gestion spécifique, ainsi que la réévaluation et historisation de la classification,

• L’enregistrement sous forme de log des accès permet de tracer les téléchargements d’objets ou génération de DIP. Elle est facultative et activable via le contrat d’accès.

Outre ces apports fonctionnels un effort particulier a été porté sur la montée en charge pour passer au stade du milliard d’archives et les travaux de fond sur la robustesse, la sécurité et la maintenabilité ont continué.

A noter, il est à ce jour défini qu’une release par version majeure (V1, V2 et V3) fera l’objet d’un support à long terme (LTS). Sur la V1 il s’agira de la R7, ce choix a été effectué en octobre en accord avec les porteurs et partenaires Vitam.

Un pas de plus... la publication régulière de versions correctives

Les premières versions correctives des deux releases de production R6 (1.0.x) et R7 (1.4.x) ont été publiées en juillet

Jusqu’à présent l’essentiel du travail sur la solution logicielle Vitam a été du développement et de l’enrichissement fonctionnel. Alors que l’usage en production par différentes organisations se précise (les premières mises en production sont attendues pour la fin 2018) il convient d’aller plus loin dans la mise en place du processus complet d’édition logicielle.

Le traitement des bugs, déjà en place avec les porteurs et partenaires Vitam, amène à des corrections sur la version en cours de développement mais aussi sur certaines releases déjà publiées. Jusqu’à présent ces “bugs releases” étaient conservées en interne à l’administration, il convient pour faciliter l’usage par tous du logiciel et respecter l’esprit du logiciel libre de les diffuser sur une base régulière.

Dans le courant de juillet les “bugs releases” R6.4 (1.0.4) et R7.1 (1.4.1) ont été publiées sur GitHub.

Vous pourrez trouver toutes les informations sur la page GitHub dédiée aux Releases

Vous pourrez aussi trouver tous les liens vers cette dernière version dans la page Ressources

A noter que la politique de support à long terme n’est pas encore entièrement scellée, mais il est à ce jour défini qu’une release par version majeure (V1, V2 et V3) fera l’objet d’un support à long terme. A priori sur la V1 il s’agira de la R7, mais le choix sera fait officiellement en octobre en accord avec les porteurs et partenaires Vitam. En attendant le “backport” des corrections de bugs bloquants et critiques est assuré sur les deux releases R6 et R7, avec en plus celui de certains bugs majeurs et mineurs sur la R7.