5.5. Stockage des données

Voir aussi

Cette section s’appuie fortement sur la description de l’architecture des données, en particulier en ce qui concerne les données d’archive.

Les offres de stockage VITAM portent la référence des données concernant les archives hébergées par le système VITAM : leur contenu binaire (BDO), mais également les métadonnées associées au sens large (AU, GOT, journaux).

VITAM possède deux implémentations possibles d’offres de stockage : l’implémentation basée sur un système de fichiers et l’implémentation Swift.

VITAM peut stocker les données dans plusieurs offres de stockage en parallèle afin de se parer contre la perte de données. Les deux types d’offres peuvent être utilisées seuls ou ensemble sur des offres de stockage différentes : ainsi, on peut configurer VITAM pour déposer les données dans 2 offres de stockage filesystem disjointes, ou dans une offre de stockage filesystem et une offre Swift, ou encore dans une offre de stockage filesystem et 2 offres Swift différentes (se basant sur 2 clusters Swift distincts) ; tout dépend des contraintes de non-perte de données, de scalabilité et de résilience à la panne qui sont abordés dans la description des types d’offres ci-dessous.

Note

Un mécanisme de resynchronisation d’une offre de stockage avec une autre, migrant de fait les données entre offres, est disponible en mode complet (la procédure est décrite dans le DEX). La resynchronisation partielle n’est pas supportée dans cette version du système VITAM, mais est prévue pour une future release.

Important

Dans le but d’assurer au maximum la pérennité des données conservées dans le système VITAM, il est très fortement conseillé de stocker les données dans au moins 2 technologies de stockage différentes (ex: 2 stockages objets de constructeurs et technologies différentes, un stockage objet et un stockage bloc, 2 stockages bloc de constructeurs et technologies différentes, …)

5.5.1. Offre filesystem

L’offre filesystem permet de stocker les données sur un système de fichiers accessible localement par le composant « storage-offer ».

Points positifs :

  • facile à mettre en place
  • facile à exploiter
  • facile à sauvegarder

Points négatifs :

  • pour une offre de stockage, seule une seule instance du service storage-offer peut être active à un instant donné, ce qui implique que cette offre :

    • n’est pas scalable par multi-instanciation (i.e. horizontalement) ;
    • ne possède pas de solution de haute disponibilité portée par la solution logicielle.

Par conséquent, elle est particulièrement adaptée pour les déploiements de test ou de petite taille (ordre de grandeur : < 10 To), mais est à déconseiller pour les déploiements sur des volumétries importantes.

Prudence

L’offre filesystem nécessite un système de fichiers acceptant les attributs étendus (ex: XFS) ; en particulier, il n’est donc pas possible d’héberger les données sur un montage NFS (NFS ne supportant pas les attributs étendus).

5.5.2. Offre Swift

L’offre Swift permet de stocker les données sur un stockage objet implémentant l’API Swift.

Points positifs :

  • scalable : storage-offer se comporte dans ce scénario comme une passerelle vers l’API Swift ; il est donc multi-instanciable au sein d’une offre de stockage.
  • consomme une API normalisée : elle est donc compatible avec un grand nombre d’implémentations différentes de Swift.

Points négatifs :

  • nécessite la mise en place et l’exploitation d’un stockage objet, ce qui est potentiellement plus complexe et moins courant que la mise à disposition d’un simple stockage bloc ou fichier.

Par conséquent, elle est particulièrement adaptée pour les déploiements en production de forte volumétrie.

Note

Dans cette version du système VITAM, l’implémentation Swift n’est en théorie pas obligée de permettre l’upload de fichiers de taille non connue par avance (mode « chunk encoding ») ; cependant, aucun test pertinent n’a pu être effectué faute d’implémentation disponible. Merci de remonter à l’équipe support tout bug associé à ce comportement.

Avertissement

Seules les API d’authentification keystone v1 et v3 sont aujourd’hui officiellement supportées par la solution logicielle VITAM.