.. _resynchronisation-offre: Resynchronisation d'une offre ############################# Une offre de stockage peut être désynchronisée par rapport à une autre à la suite d'une indisponibilité plus ou moins longue voire totale de l'offre: crash majeur du système, panne matérielle etc. Le mécanisme de resynchronisation d'une offre par rapport à une autre nécessite une intervention manuelle permettant de remédier à la perte de données dans le système en proposant différentes stratégies de resynchronisation: * La resynchronisation totale d'une offre de stockage (cas de la perte totale et définitive d'une offre) * La resynchronisation partielle d'une offre de stockage (cas de l'indisponibilité sur un temps plus ou moins long d'une offre) Le processus d'entrée d'un :term:`SIP` n'étant réussi que si et seulement si toutes les offres de stockage definies dans la strategie sont accessibles, et que tous les fichiers sont bien copiés sur la totalité de ces offres, il sera nécessaire de décommissionner l'offre afin de permettre à nouveau les entrées de :term:`SIP` (ingest/versement). .. note:: Dans cette version, la resynchronisation partielle d'une offre de stockage n'est pas supportée. .. _décommissionnement-offre: Décommissionnement d'une offre ============================== Lors de la détection de la perte d'une offre de stockage, afin de permettre à nouveau les versements, l'offre pourra être décommisionnée en fonction du mode d'utilisation choisi: * Mode "lecture/écriture": la stratégie de stockage doit être modifiée * Mode "lecture seule" (recherche et consultation avec profil de droits dédié): la stratégie de stockage ne change pas Le décommissionnement d'une offre s'effectue selon la procédure suivante: * Editer le fichier de configuration de la strategie de stockage ``offer_opts.yml`` afin de retirer l'offre posant problème (commenter les lignes correspondantes): .. code-block:: yaml vitam_strategy: - name: referent: true # is down #- name: # referent: false vitam_offers: : provider: filesystem # is down #: # provider: filesystem * Exécuter la commande suivante afin de reconfigurer le composant storage-engine: .. code-block:: bash ansible-playbook -i environments/ -l hosts-storage-engine ansible-vitam/vitam.yml --ask-vault-pass --tags update_vitam_configuration .. warning:: Cette opération provoque une indisponibilité temporaire des principaux services :term:`VITAM` (versement, gestion, recherche et consultation) .. _ajout-offre: Ajout d'une offre ================= .. warning:: Lors de l'ajout d'une nouvelle offre (portant un nouvel identifiant d'offre), les métadonnées des AU / GOT existants ne seront pas mis à jour avec l'information sur la nouvelle stratégie de stockage utilisée. L’ajout d’un mécanisme de mise à jour / propagation des métadonnées est prévu dans une version ultérieure. Lors de l'ajout d'une offre en remplacement d'une précédente offre, l'intégrité des métadonnées sera garantie en conservant le même identifiant d'offre. L'ajout d'une nouvelle offre de stockage requiert le déploiement des applicatifs :term:`VITAM` associés selon la procédure suivante: * Editer le fichier de configuration de l'inventaire de déploiement (généralement, fichier ``hosts``) afin d'ajouter les nouveaux serveurs portant les composants à déployer (fonction de la topologie de déploiement retenue): .. code-block:: yaml [hosts-storage-offer-default] hostname-new-storage-offer offer_conf= [hosts-mongos-offer] hostname-new-mongos-offer offer_conf= [hosts-mongoc-offer] hostname-new-mongoc-offer offer_conf= [hosts-mongod-offer] hostname-new-mongod-offer offer_conf= * Editer le fichier de configuration de la strategie de stockage ``offer_opts.yml`` afin d'ajouter la nouvelle offre: .. code-block:: yaml vitam_strategy: - name: referent: true # is the new offer - name: referent: false vitam_offers: : provider: filesystem # is the new offer : provider: filesystem * Editer le fichier de déclaration des secrets généraux ``vault-vitam.yml`` afin d'y ajouter les secrets associés à la nouvelle offre: .. code-block:: yaml mongodb: : passphrase: admin: user: password: localadmin: user: password: offer: user: password: * Exécuter la commande suivante afin de déployer les composants storage-offer, mongos-offer, mongoc-offer, mongod-offer: .. note:: On considère que les étapes de génération des `hostvars`, de génération des magasins de certificats et de mise en place des repositories :term:`VITAM` ont été réalisées au préalable pour les serveurs concernées (se référer aux sections du :term:`DIN` correspondantes). .. code-block:: bash ansible-playbook -i environments/ -l "hostname-new-storage-offer,hostname-new-mongos-offer,hostname-new-mongoc-offer,hostname-new-mongod-offer" ansible-vitam/vitam.yml --ask-vault-pass La nouvelle offre doit ensuite être déclarée dans la stratégie de stokage par reconfiguration du moteur de stockage selon la procédure suivante: .. warning:: Cette opération provoque une indisponibilité temporaire des principaux services :term:`VITAM` (versement, gestion, recherche et consultation) * Exécuter la commande suivante afin de reconfigurer le composant storage-engine: .. code-block:: bash ansible-playbook -i environments/ -l hosts-storage-engine ansible-vitam/vitam.yml --ask-vault-pass --tags update_vitam_configuration .. _resynchronisation-totale: Resynchronisation totale d'une offre ==================================== Suite à l'ajout d'une offre de stockage, celle-ci doit être resynchronisée vis-à-vis d'une offre source selon la procédure suivante: .. note:: Cette procédure n'impacte pas les services :term:`VITAM`. Le mécanisme de reconstruction du contenu des bases de données (MongoDB-data, Elasticsearch-data) à partir des informations présentes dans les offres de stockage fonctionne de manière concurrente au mécanisme de resynchronisation. * Exécuter la commande suivante afin de resynchroniser la nouvelle offre vis-à-vis de l'offre (des offres) source(s): .. code-block:: bash curl -v -X POST -u adminUser:adminPassword http://:29102/storage/v1/offerSync < query { "offerSource": ".service.consul", "offerDestination": ".service.consul" } * Le paramètre ``adminUser`` correspond à la valeur admin_basic_auth_user déclarée dans le fichier ``vitam_security.yml`` * Le paramètre ``adminPassword`` correspond à la valeur admin_basic_auth_password déclarée dans le fichier ``vault-vitam.yml`` * Le paramètre ``offerSource`` correspond à l'id de l'offre source utilisée pour la resynchronisation de la nouvelle offre * Le paramètre ``offerDestination`` correspond à l'id de l'offre à resynchroniser * Suivre le déroulement de la resynchronisation dans les logs du composant storage offer avec la commande suivante: .. code-block:: bash tail -F /vitam/log/storage/storage_offer_sync.\*.log * Les différents messages *« [OfferSync]: successful synchronization of category : , tenant : , offset : »* indiquent la fin de resynchronisation de la categorie , pour le tenant , avec l'offset de resynchronisation * Le message *« The offers' synchronization is completed »* indique la fin du processus de resynchronisation * En cas d'interruption ou d'échec de la resynchronisation (le message indiquant la fin du processus de resynchronisation n'est pas affiché), il est possible de relancer le processus de la manière suivante: .. code-block:: bash curl -v -X POST -u adminUser:adminPassword http://:29102/storage/v1/offerSync < query { "offerSource": ".", "offerDestination": ".", "offset": , "containerToSync": , "tenantIdToSync": } Dans le log de la dernière exécution du processus de resynchronisation : *« [OfferSync]: successful synchronization of category : , tenant : , offset : »* * Le paramètre ``offset`` correspond à la valeur observée * Le paramètre ``containerToSync`` correspond à la valeur observée * Le paramètre ``tenantIdToSync`` correspond à la valeur observée