As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Armazenamento em vários níveis para Amazon Service OpenSearch

O armazenamento multicamada para o Amazon OpenSearch Service é uma solução inteligente de gerenciamento de dados que otimiza o desempenho e os custos gerenciando dados em diferentes níveis de armazenamento. Essa arquitetura permite que as organizações equilibrem com eficiência a compensação entre desempenho e custo, mantendo os dados acessados com frequência em armazenamento quente de alto desempenho e transferindo os dados acessados com menos frequência para um armazenamento aquecido mais econômico.

O Amazon OpenSearch Service oferece duas opções de arquitetura para o nível hot/warm de armazenamento:

Arquitetura de armazenamento de vários níveis

Benefícios principais

Pré-requisitos

Limitações

Pontos importantes

Criação de um domínio de vários níveis

Etapa 1: criar o domínio

aws opensearch create-domain \
      --domain-name my-domain \
      --engine-version OpenSearch_3.3 \
      --cluster-config InstanceCount=3,InstanceType=or2.large.search,DedicatedMasterEnabled=true,DedicatedMasterType=m6g.large.search,DedicatedMasterCount=3,WarmEnabled=true,WarmCount=3,WarmType=oi2.2xlarge.search \
      --ebs-options EBSEnabled=true,VolumeType=gp2,VolumeSize=11 \
      --node-to-node-encryption-options Enabled=true \
      --encryption-at-rest-options Enabled=true \
      --domain-endpoint-options EnforceHTTPS=true,TLSSecurityPolicy=Policy-Min-TLS-1-2-2019-07 \
      --advanced-security-options '{"Enabled":true,"InternalUserDatabaseEnabled":true,"MasterUserOptions":{"MasterUserName":"user_name","MasterUserPassword":"your_pass"}}' \
      --access-policies '{"Version": "2012-10-17",		 	 	  "Statement":[{"Effect":"Allow","Principal":"*","Action":"es:*","Resource":"*"}]}' \
      --region us-east-1

Etapa 2: verificar os nós quentes

aws opensearch describe-domain-nodes --domain-name my-domain --region us-east-1

Exemplo de resposta (trecho):

{
      "NodeType": "Warm",
      "InstanceType": "oi2.large.search",
      "NodeStatus": "Active"
    }

Gerenciando migrações de níveis

Suporte a domínios de vários níveis:

Nova hierarquização APIs

Migre um índice para aquecer:

curl -XPOST 'https://localhost:9200/index-name/_tier/warm'

Resposta:

{"acknowledged": true}

Migre um índice para hot:

curl -XPOST 'https://localhost:9200/index-name/_tier/hot'

Resposta:

{"acknowledged": true}

Verifique o status da classificação por níveis:

curl -XGET 'https://localhost:9200/index-name/_tier'

Exemplo de resposta:

{
      "tiering_status": {
         "index": "index-name",
         "state": "RUNNING_SHARD_RELOCATION",
         "source": "HOT",
         "target": "WARM",
         "start_time": 1745836500563,
         "shard_level_status": {
           "running": 0,
           "total": 100,
           "pending": 100,
           "succeeded": 0
         }
      }
    }

Visualização detalhada do fragmento:

curl 'https://localhost:9200/index1/_tier?detailed=true'

Liste todas as migrações em andamento (texto):

curl 'https://localhost:9200/_tier/all'

Liste todas as migrações em andamento (JSON):

curl 'https://localhost:9200/_tier/all?format=json'

Filtrar por nível de destino:

curl 'https://localhost:9200/_tier/all?target=_warm'

Legacy UltraWarm APIs para compatibilidade

Migre para aquecer:

curl -XPOST localhost:9200/_ultrawarm/migration/index2/_warm

Migre para hot:

curl -XPOST localhost:9200/_ultrawarm/migration/index2/_hot

Verifique o status:

curl -XGET localhost:9200/_ultrawarm/migration/index2/_status

Configuração de segurança

Se você habilitar o armazenamento em vários níveis em um domínio preexistente do Amazon OpenSearch Service, a storage_tiering_manager função pode não estar definida no domínio. Os usuários não administradores deverão ser mapeados nessa função para poderem gerenciar índices warm usando o controle de aceso detalhado. Para criar manualmente a função storage_tiering_manager, faça o seguinte:

Práticas recomendadas

Ao implementar o armazenamento em vários níveis em seus domínios do Amazon OpenSearch Service, considere as seguintes melhores práticas:

Monitoramento de métricas

Os domínios de armazenamento de vários níveis fornecem métricas adicionais para monitorar o desempenho do nível quente. Essas métricas incluem métricas existentes UltraWarm e novas métricas específicas da arquitetura de instâncias OpenSearch otimizadas:

Novas métricas