Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Stockage multiniveau pour Amazon Service OpenSearch

Le stockage multiniveau pour Amazon OpenSearch Service est une solution intelligente de gestion des données qui optimise à la fois les performances et les coûts en gérant les données sur différents niveaux de stockage. Cette architecture permet aux entreprises d'équilibrer efficacement le compromis entre performances et coûts en conservant les données fréquemment consultées dans un stockage à chaud à haute performance tout en transférant les données les moins fréquemment consultées vers un stockage à chaud plus rentable.

Amazon OpenSearch Service propose deux options d'architecture pour le niveau hot/warm de stockage :

Architecture de stockage multiniveau

Principaux avantages

Conditions préalables

Limitations

À savoir

Création d'un domaine multiniveau

Étape 1 : créer le domaine

aws opensearch create-domain \
      --domain-name my-domain \
      --engine-version OpenSearch_3.3 \
      --cluster-config InstanceCount=3,InstanceType=or2.large.search,DedicatedMasterEnabled=true,DedicatedMasterType=m6g.large.search,DedicatedMasterCount=3,WarmEnabled=true,WarmCount=3,WarmType=oi2.2xlarge.search \
      --ebs-options EBSEnabled=true,VolumeType=gp2,VolumeSize=11 \
      --node-to-node-encryption-options Enabled=true \
      --encryption-at-rest-options Enabled=true \
      --domain-endpoint-options EnforceHTTPS=true,TLSSecurityPolicy=Policy-Min-TLS-1-2-2019-07 \
      --advanced-security-options '{"Enabled":true,"InternalUserDatabaseEnabled":true,"MasterUserOptions":{"MasterUserName":"user_name","MasterUserPassword":"your_pass"}}' \
      --access-policies '{"Version": "2012-10-17",		 	 	  "Statement":[{"Effect":"Allow","Principal":"*","Action":"es:*","Resource":"*"}]}' \
      --region us-east-1

Étape 2 : vérifier les nœuds chauds

aws opensearch describe-domain-nodes --domain-name my-domain --region us-east-1

Exemple de réponse (extrait) :

{
      "NodeType": "Warm",
      "InstanceType": "oi2.large.search",
      "NodeStatus": "Active"
    }

Gestion des migrations de niveaux

Prise en charge des domaines multiniveaux :

Nouvelle hiérarchisation APIs

Migrer un index vers Warm :

curl -XPOST 'https://localhost:9200/index-name/_tier/warm'

Réponse :

{"acknowledged": true}

Migrer un index vers hot :

curl -XPOST 'https://localhost:9200/index-name/_tier/hot'

Réponse :

{"acknowledged": true}

Vérifiez l'état de la hiérarchisation :

curl -XGET 'https://localhost:9200/index-name/_tier'

Exemple de réponse :

{
      "tiering_status": {
         "index": "index-name",
         "state": "RUNNING_SHARD_RELOCATION",
         "source": "HOT",
         "target": "WARM",
         "start_time": 1745836500563,
         "shard_level_status": {
           "running": 0,
           "total": 100,
           "pending": 100,
           "succeeded": 0
         }
      }
    }

Vue détaillée du partage :

curl 'https://localhost:9200/index1/_tier?detailed=true'

Liste de toutes les migrations en cours (texte) :

curl 'https://localhost:9200/_tier/all'

Répertoriez toutes les migrations en cours (JSON) :

curl 'https://localhost:9200/_tier/all?format=json'

Filtrer par niveau cible :

curl 'https://localhost:9200/_tier/all?target=_warm'

Legacy UltraWarm APIs en matière de compatibilité

Migrer vers le chaud :

curl -XPOST localhost:9200/_ultrawarm/migration/index2/_warm

Migrer vers Hot :

curl -XPOST localhost:9200/_ultrawarm/migration/index2/_hot

Vérifier le statut :

curl -XGET localhost:9200/_ultrawarm/migration/index2/_status

Configuration de sécurité

Si vous activez le stockage multiniveau sur un domaine Amazon OpenSearch Service préexistant, le storage_tiering_manager rôle risque de ne pas être défini sur le domaine. Les utilisateurs non-administrateurs doivent être mappés à ce rôle pour gérer les index à chaud des domaines utilisant le contrôle précis des accès. Pour créer manuellement le rôle storage_tiering_manager, procédez comme suit :

Bonnes pratiques

Lorsque vous implémentez le stockage multiniveau dans vos domaines Amazon OpenSearch Service, tenez compte des meilleures pratiques suivantes :

Surveillance des métriques

Les domaines de stockage multiniveaux fournissent des mesures supplémentaires pour surveiller les performances des niveaux chauds. Ces métriques incluent à la fois les UltraWarm métriques existantes et les nouvelles métriques spécifiques à l'architecture des instances OpenSearch optimisées :

Nouvelles métriques