Réplication de compartiment

La réplication de compartiment (bucket) RustFS copie les versions d’objets sélectionnées d’un compartiment source vers un compartiment cible. Utilisez-la pour conserver une copie distante des données du compartiment, répartir des objets entre des déploiements ou préparer une copie secondaire pour des flux de reprise.

Vue d’ensembleCopy Anchor Link

La réplication de compartiment comporte deux couches de configuration :

1. Une cible distante enregistre le point de terminaison cible, le compartiment, les identifiants et l’ARN de cible généré.
2. Une configuration de réplication S3 attache des règles au compartiment source et référence cet ARN de cible.

Le compartiment source et le compartiment cible doivent tous deux avoir la gestion des versions activée. RustFS vérifie la connexion à la cible et la gestion des versions du compartiment cible lorsque vous enregistrez la cible distante. Il rejette une configuration de réplication dont les règles activées référencent un ARN de cible inconnu ou obsolète.

La réplication est asynchrone par défaut. Un chargement (upload) source réussi signifie que RustFS a accepté l’objet source ; cela ne signifie pas que la copie cible est déjà terminée.

Les règles peuvent sélectionner des objets par préfixe ou par étiquettes d’objet, et contrôler ces comportements :

La réplication de compartiment est directionnelle. Configurez une cible et une règle distinctes dans le sens inverse si les deux compartiments doivent accepter des écritures et les répliquer l’un vers l’autre. Ne confondez pas la réplication de compartiment avec la réplication de site, qui synchronise une configuration de site et des données d’identité plus larges.

ConfigurationCopy Anchor Link

PrérequisCopy Anchor Link

• Un déploiement RustFS source et un déploiement cible joignable, compatible avec S3.
• Un compartiment source et un compartiment cible avec la gestion des versions activée.
• Un identifiant cible dédié qui peut inspecter la gestion des versions du compartiment cible et écrire les versions d’objets répliquées ainsi que les marqueurs de suppression.
• Un administrateur source autorisé à gérer les cibles distantes et la configuration de réplication.
• Un accès réseau vers le point de terminaison cible, depuis chaque nœud source qui peut exécuter le travail de réplication.
• Le client RustFS rc installé sur un hôte d’administration.

Configurez un alias rc pour chaque déploiement. Utilisez des identifiants dédiés et remplacez les points de terminaison d’exemple avant d’exécuter les commandes :

rc alias set source https://source.example.com:9000 \
	<your-access-key> <your-secret-key> \
	--region us-east-1 --bucket-lookup path

rc alias set target https://target.example.com:9000 \
	<target-access-key> <target-secret-key> \
	--region us-east-1 --bucket-lookup path

rc alias list

Le déploiement source utilise les identifiants de l’alias cible lorsqu’il enregistre la cible distante. rc alias list affiche les points de terminaison, mais n’affiche pas les clés secrètes.

AutorisationsCopy Anchor Link

L’administration côté source utilise ces actions de politique :

L’identifiant cible doit réussir la validation de cible de RustFS, qui vérifie l’accès au compartiment, la gestion des versions, les écritures d’objets répliqués, les marqueurs de suppression répliqués et la suppression de versions d’objet. Lorsque le verrouillage d’objet (Object Lock) est activé sur le compartiment source, la cible doit offrir une prise en charge compatible du verrouillage d’objet.

Créer les compartiments et activer la gestion des versionsCopy Anchor Link

Créez le compartiment source :

rc bucket create source/my-bucket

Créez le compartiment cible :

rc bucket create target/my-bucket-replica

Activez la gestion des versions sur les deux compartiments :

rc bucket version enable source/my-bucket
rc bucket version enable target/my-bucket-replica

rc bucket version info source/my-bucket
rc bucket version info target/my-bucket-replica

Ne suspendez pas la gestion des versions du compartiment source tant que la réplication est configurée.

UtilisationCopy Anchor Link

Configurer la réplication dans la ConsoleCopy Anchor Link

La Console RustFS regroupe l’enregistrement de la cible distante et la configuration des règles de réplication dans un seul formulaire.

1. Connectez-vous à la Console du déploiement source.
2. Ouvrez Buckets (compartiments), localisez le compartiment source et sélectionnez Settings (paramètres).
3. Sous Data Protection (protection des données), activez Versioning (gestion des versions) s’il est désactivé.
4. Sous Automation (automatisation), sélectionnez Open Bucket Replication (ouvrir la réplication de compartiment).
5. Sélectionnez Add Replication Rule (ajouter une règle de réplication).
6. Configurez la destination et la règle :

7. Sélectionnez Save (enregistrer). RustFS valide le compartiment source, la connexion à la cible, les identifiants cibles et la gestion des versions du compartiment cible avant d’accepter la règle.
8. Revenez à Bucket Replication (réplication de compartiment) pour examiner la règle, ou sélectionnez Refresh (actualiser) afin de mettre à jour l’état affiché.

Pour une automatisation reproductible ou une gestion de la configuration, utilisez le flux rc ci-dessous.

Ajouter une règle de réplication avec rcCopy Anchor Link

Créez une règle asynchrone qui copie les objets nouveaux et existants, et qui propage les marqueurs de suppression ainsi que les suppressions explicites de version :

rc bucket replication add source/my-bucket \
	--remote-bucket target/my-bucket-replica \
	--id replicate-all \
	--priority 1 \
	--replicate delete,delete-marker,existing-objects

rc enregistre la cible, obtient l’ARN qu’elle a généré et applique la règle de réplication en une seule opération. Omettez les options --replicate correspondant aux comportements que vous ne souhaitez pas. N’ajoutez --sync que lorsque les écritures doivent attendre la réplication synchrone.

Pour limiter la réplication à un préfixe, ajoutez --prefix :

rc bucket replication add source/my-bucket \
	--remote-bucket target/my-bucket-replica \
	--id replicate-documents \
	--priority 2 \
	--prefix documents/ \
	--replicate delete-marker,existing-objects

Les objets qui ne correspondent à aucune règle activée restent uniquement dans le compartiment source. Utilisez --bandwidth pour fixer une limite en octets par seconde, --healthcheck-seconds pour modifier l’intervalle de contrôle d’intégrité de la cible, et --storage-class pour remplacer la classe de stockage de destination.

Lister et mettre à jour les règlesCopy Anchor Link

Listez les règles actives :

rc bucket replication list source/my-bucket
rc bucket replication list source/my-bucket --json

Mettez à jour une règle à l’aide de son ID. Seuls les réglages fournis sont modifiés :

rc bucket replication update source/my-bucket \
	--id replicate-all \
	--priority 2 \
	--bandwidth 104857600 \
	--healthcheck-seconds 60

Utilisez --status Enabled|Disabled pour activer ou désactiver une règle, et --sync true|false pour changer son mode de réplication.

Exporter et importer la configurationCopy Anchor Link

Exportez la configuration de réplication complète à des fins d’examen ou de sauvegarde :

rc bucket replication export source/my-bucket --json > replication.json

L’export inclut les métadonnées de la cible distante et la clé d’accès cible, bien que la clé secrète soit omise. Protégez ce fichier comme une configuration sensible.

Importez une configuration exportée auparavant :

rc bucket replication import source/my-bucket replication.json

Supprimer la configuration de réplicationCopy Anchor Link

rc bucket replication remove source/my-bucket --id replicate-all

# Remove every replication rule from the bucket.
rc bucket replication remove source/my-bucket --all

RustFS supprime également les cibles distantes de réplication référencées par la configuration supprimée. Il ne supprime pas les objets ni les versions déjà copiés dans le compartiment cible. Supprimez ou conservez ces objets selon les exigences de gestion du cycle de vie et de conservation du compartiment cible.

VérificationCopy Anchor Link

Vérifier l’état de préparation de la cibleCopy Anchor Link

rc bucket replication add vérifie l’accès à la source, la connectivité de la cible, les identifiants cibles et la gestion des versions des compartiments avant de créer la règle. Confirmez la destination obtenue et les réglages de la règle :

rc bucket replication list source/my-bucket --json

Répliquer un objetCopy Anchor Link

Chargez un objet de test sur la source :

printf 'hello from RustFS replication\n' > /tmp/hello.txt
rc object copy /tmp/hello.txt source/my-bucket/hello.txt

Inspectez l’objet source :

rc object stat source/my-bucket/hello.txt --json

La réplication étant asynchrone par défaut, l’objet cible peut ne pas apparaître immédiatement. Répétez cette commande jusqu’à ce qu’elle réussisse :

rc object stat target/my-bucket-replica/hello.txt --json
rc object show target/my-bucket-replica/hello.txt

Comparez les valeurs etag et size_bytes de la source et de la cible, puis confirmez que object show renvoie le contenu attendu.

Pour vérifier la réplication des marqueurs de suppression, supprimez l’objet source et listez les versions dans les deux compartiments :

rc object remove source/my-bucket/hello.txt --force

rc bucket version list source/my-bucket/hello.txt --json
rc bucket version list target/my-bucket-replica/hello.txt --json

Lorsque la réplication du marqueur de suppression réussit, la dernière entrée de chaque compartiment contient is_delete_marker: true.

Inspecter les métriques de réplicationCopy Anchor Link

rc bucket replication status source/my-bucket
rc bucket replication status source/my-bucket --json

La commande renvoie les statistiques de réplication en mémoire actuelles du nœud source. Les métriques peuvent rester à zéro même après l’arrivée d’un objet à destination. Utilisez-les donc conjointement aux contrôles de l’objet cible et des versions, et non comme unique signal de vérification.

Diagnostiquer les échecsCopy Anchor Link

Étapes suivantesCopy Anchor Link

• Gérer le cycle de vie du compartiment
• Configurer les quotas de compartiment
• Configurer l’observabilité