Migration de données

Migration de données

L'outil de migration de données permet d'automatiser la migration d'un environnement vers un autre. 

1. Avant le démarrage de la migration

Avant de commencer la migration des données, il faut s'assurer que l’environnement source est préalablement migré à la version 12, et que le nouvel environnement est créé (mais non initialisé). 

2. Étapes de migration

2.1 Liaison des environnements

Afin de démarrer la migration des données, allez dans la page de création du nouvel l'environnement Constellio et cliquer sur « Importer les données d'une autre installation ». Un jeton de migration sera généré. 

Retourner dans l'environnement source.

1. Aller dans « Pilotage »;
2. Choisir « Exportation des données »;
   
3.  Cliquer sur « Migrer les données vers une autre instance ».

Le processus de migration commencera et les étapes suivantes dérouleront afin de mener à bien la migration. 

1. Connexion à la nouvelle instance
2. Importation des paramètres d’installation
3. Importation des configurations et des métadonnées
4. Première importation des fichiers
5. Validation sur le nouvel environnement
6. Importation finale des configurations et métadonnées
7. Importation finale des fichiers

2.2 Connexion à la nouvelle instance

1. Copier l'URL du nouvel environnement Constellio et le coller dans le champ « URL du serveur » de l'environnement source;
2. Copier la clé de migration de données dans le nouvel environnement Constellio et le coller dans le champ « Clé de migration de données »;
3. Cliquer sur « Tester », le bouton permet à Constellio de s'assurer que l'URL et la clé de migration concordent;
4. Cliquer « Suivant ».

Bouton « Tester »

Quand l'URL et la clé concordent, vous trouverez cette icone :

Quand l'URL et la clé ne concordent pas, vous trouverez cette icone :

2.3 Migration des paramètres d'installation

Cette étape consiste à migrer ces éléments sur le serveur :

• Les propriétés spéciales du fichier constellio.properties
• La clé privé conservée dans le fichier key.txt
• La clé privée conservée dans le fichier spécifié dans la propriété "signatureKey.file" (si la fonctionnalité signature éléctronique est installée)

Simplement cliquer sur « Suivant ».

2.4 Migration des configurations et des métadonnées

1. Migrer les configurations de votre environnement Constellio. Cliquer sur « Suivant ».
2. Migrer les métadonnées (Solr) de votre environnement Constellio. Cliquer sur « Suivant ».

Durée

Plusieurs heures pourraient être nécessaires pour réaliser cette opération. Se fier au statut de la tâche en arrière-plan. 

2.5 Migration de la voute

La migration de la voûte de fichiers doit être faite de manière manuelle. Trois méthodes peuvent être utilisées afin d'arriver à cette fin; rsync, NFS et SCP (en dernier recours). 

2.5.1 Méthode rsync

Prérequis

• Avoir un moyen de connexion SSH entre les deux serveurs directement, plutôt qu'une connexion à chaque serveur via votre poste.

• Installer rsync sur les deux serveurs. Pour Centos 7, utilisez la commande : rpm -i le.fichier.rpm. Téléchargez-le depuis internal.constellio.me/constellio/dl?id=00000962721

Procédure

1. Assurez-vous d'abord que l'utilisateur a les droits nécessaires pour écrire dans le dossier de destination sur le serveur cible, généralement sous /opt/constellio/contents. Il est aussi possible de copier le dossier source vers un autre emplacement temporaire, puis de modifier ses droits avant de le déplacer vers la destination finale.

2. Exemple : constellio@serveur.de.destination $ mkdir -p /opt/constellio/contents.cible

3. Ensuite, depuis le serveur source, exécutez la commande rsync suivante. Attention, cette commande générera de nombreux logs dans la console :

   1. rsync -avz /opt/constellio/contents/ constellio@serveur.de.destination:/opt/constellio/contents.cible

      1. (Enlever le flag v → ( rsync -az) pour ne pas afficher les logs).

4. Rsync permet la reprise de transfert en cas d'interruption. Pour interrompre un la commande vous pouvez faire CTRL+C.

5. Après la fin du transfert, vous pouvez :

   1. Renommer un dossier (Renomme dossier en dossier2) : mv /chemin/vers/le/dossier /chemin/vers/le/dossier2

   2. Déplacer des fichiers : mv /chemin/vers/le/dossier/source /chemin/vers/le/dossier/ou/est/la/destination

   3. Modifier le propriétaire : chown constellio-service:constellio-service -R /chemin/vers/le/dossier

   4. Vérifier le propriétaire des fichiers : ls -salut

2.5.2 Méthode NFS

Prérequis

• Connexion SSH possible sur les deux machines.

• Avoir portmap et nfs-utils d’installer sur les deux serveurs. Pour Centos 7, Téléchargez depuis internal.constellio.me/constellio/dl?id=00000962719, décompressez avec : tar -xvzf le.fichier.tar.gz.

Procédure

1. Après avoir installé portmap et nfs-utils sur le serveur source, exécutez les commandes suivantes :

   sudo systemctl enable nfs-server.service rpcbind.service sudo systemctl start nfs-server.service rpcbind.service

2. Ouvrir le fichier /etc/exports en utilisant la commande sudo nano /etc/exports et ajouter :

   1. /opt/constellio/contents 192.168.1.0/24(rw,sync,no_subtree_check)

      1. Où

         1. L’adresse ip représente le(s) serveur(s) qui aura accès aux nfs (DNS possiblement accepté aussi).

         2. rw, un accès en écriture (ro pour lecture seulement).

         3. sync pour éviter les problèmes de corruption en cas de fermeture du nfs.

         4. no_subtree_check pour optimiser le tout.

1. Exécutez les commandes suivantes :

   sudo firewall-cmd --permanent --zone=public --add-service=nfs sudo firewall-cmd --permanent --zone=public --add-service=mountd sudo firewall-cmd --permanent --zone=public --add-service=rpc-bind sudo firewall-cmd --reload

2. Sur le serveur de destination, montez le disque NFS avec :

   1. mount -t nfs 10.0.0.207:/opt/constellio/contents /opt/constellio/contents.nfs

      1. Où 10.0.0.207 représente l’adresse sur serveur source (DNS accepté aussi)

3. Enfin, copiez les fichiers avec :

   1. cp -an /opt/constellio/contents.nfs/* /opt/constellio/contents

      1. Où le flag n ignore les fichiers existants sauf s'ils sont plus récents.

      2. Donc, la commande, qui peut être interrompue avec CTRL+C , permet la reprise grâce au flag n.

2.5.3 Méthode SCP (dernier recours)

Prérequis

• Connexion SSH directe entre les deux serveurs.

Procédure

1. Assurez-vous d'avoir les droits nécessaires pour écrire dans le dossier de destination sur le serveur cible, généralement /opt/constellio/content

   1. Notez que vous pouvez également copier le dossier source vers un autre dossier situé dans un répertoire différent. Ensuite, modifiez les droits de ce dossier et transférez son contenu vers le dossier cible, soit /opt/constellio/contents.

   2. Exemple : constellio@serveur.de.destination $ mkdir -p /opt/constellio/contents.cible

2. Ensuite, depuis le serveur source, lancez la commande :

   1. scp -rC /opt/constellio/contents/ constellio@serveur.de.destination:/opt/constellio/contents.cible

      1. Cette commande peut être interrompue avec CTRL+C, mais elle retransférera les fichiers déjà envoyés.

3. Après la fin du transfert, vous pouvez :

   1. Renommer un dossier (Renomme dossier en dossier2) : mv /chemin/vers/le/dossier /chemin/vers/le/dossier2

   2. Déplacer des fichiers : mv /chemin/vers/le/dossier/source /chemin/vers/le/dossier/ou/est/la/destination

   3. Modifier le propriétaire : chown constellio-service:constellio-service -R /chemin/vers/le/dossier

   4. Vérifier le propriétaire des fichiers : ls -salut

2.6 Valider le nouvel environnement

1. Aller dans le nouveau Constellio
2. Entrer l'URL de votre environnement Constellio afin d'arriver à la page d'authentification. 
3.  Vérifier avec attention la conformité du nouvel environnement. C'est à dire vérifier
   1. Les structures de votre environnement (Unités administratives, Plan de classification, Calendrier de conservation)
   2. Les dossiers, leurs contenus et leurs métadonnées
   3. Les documents, leurs contenus et leurs métadonnées
   4. La recherche simple et avancée
4. Cliquer « Suivant ».

2.7 Migration finale des métadonnées

Cette étape est destinée à mettre à jour dans le nouvel environnement les métadonnées (Solr), en cas de modifications.

Cliquer « Suivant ».

Durée

Plusieurs heures pourraient être nécessaires pour réaliser cette opération. Se fier au statut de la tâche en arrière-plan. 

2.8 Migration finale de la voûte

Identique à l’étape 2.5. Cette étape peut prendre plusieurs heures. Une fois terminée, cliquer « Compléter ».