Instâncias otimizadas do OpenSearch (OR1) para domínios do Amazon OpenSearch Service
A família de instâncias otimizadas do OpenSearch para Amazon OpenSearch Service é uma solução econômica para armazenar grandes volumes de dados. Um domínio com instâncias otimizadas do OpenSearch (OR1, OR2, OM2) usa volumes gp3 ou io1 do Amazon Elastic Block Store (Amazon EBS) para armazenamento primário, e os dados são copiados de maneira síncrona para o Amazon S3 assim que chegam. Essa estrutura de armazenamento proporciona maior throughput de indexação com alta durabilidade. A família de instâncias otimizadas do OpenSearch também é compatível com recuperação automática de dados em caso de falha. Para obter informações sobre as opções de tipos de instâncias otimizadas do OpenSearch , consulte Tipos de instâncias da geração atual.
Se você for indexar workloads de analytics operacionais pesadas, como analytics de log, observabilidade ou analytics de segurança, poderá se beneficiar com a performance aprimorada e a eficiência computacional das instâncias otimizadas do OpenSearch. Além disso, a recuperação automática de dados oferecida pelas instâncias otimizadas do OpenSearch aumenta a confiabilidade geral do domínio.
O OpenSearch Service envia as métricas das instâncias otimizadas do OpenSearch relacionadas a armazenamento para o Amazon CloudWatch. Para ver uma lista das métricas disponíveis, consulte Métricas de instâncias otimizadas do OpenSearch (OR1).
As Instâncias otimizadas do OpenSearch estão disponíveis a preços de instância sob demanda ou de instância reservada, com uma taxa horária para as instâncias e o armazenamento provisionado no Amazon EBS e no Amazon S3.
Tópicos
Limitações
Considere as limitações a seguir ao usar instâncias otimizadas do OpenSearch para seu domínio.
-
Os domínios recém-criados devem executar o OpenSearch versão 2.11 ou acima.
-
Os domínios existentes devem executar o OpenSearch versão 2.15 ou acima.
-
A criptografia em repouso deve estar habilitada no domínio. Para obter mais informações, consulte Criptografia de dados em repouso para o Amazon OpenSearch Service.
-
Se o domínio usar nós principais dedicados, eles deverão usar instâncias do Graviton. Para obter mais informações sobre nós principais dedicados, consulte Nós principais dedicados no Amazon OpenSearch Service.
-
O intervalo de atualização de índices nas instâncias otimizadas do OpenSearch deve ser de 10 segundos ou mais. O intervalo de atualização padrão para as instâncias otimizadas do OpenSearch é de 10 segundos.
Ajustar para obter melhor throughput de ingestão
Para obter o melhor throughput de ingestão nas instâncias otimizadas para o OpenSearch, recomendamos que você faça o seguinte:
-
Use grandes volumes para melhorar a utilização do buffer. O tamanho recomendado são 10 MB.
-
Use vários clientes para melhorar a performance de processamento paralelo.
-
Defina o número de fragmentos primários ativos de acordo com o número de nós de dados para maximizar a utilização dos recursos.
Como as instâncias otimizadas do OpenSearch diferem de outras instâncias
As instâncias otimizadas do OpenSearch diferem das instâncias não otimizadas das seguintes maneiras:
-
Nas instâncias otimizadas do OpenSearch, a indexação é realizada somente em fragmentos primários.
-
Se as instâncias otimizadas do OpenSearch forem configuradas com réplicas, a taxa de indexação poderá parecer menor do que realmente é. Por exemplo, se houver um fragmento primário e um fragmento-réplica, a taxa de indexação poderá mostrar uma taxa de 1000 quando a taxa de indexação verdadeira é de 2000.
-
As instâncias otimizadas do OpenSearch realizam operações de buffer antes de serem enviadas para uma origem remota. Isso gera latências de ingestão mais altas.
nota
A métrica
IndexingLatencynão é afetada, pois não inclui o tempo de sincronização do translog. -
Os fragmentos-réplica podem estar alguns segundos atrás dos fragmentos primários. Também é possível monitorar o atraso com a métrica
ReplicationLagMaxTimedo Amazon CloudWatch
No que as instâncias otimizadas do OpenSearch diferem das instâncias do UltraWarm
O OpenSearch Service UltraWarm fornece instâncias do UltraWarm, que são uma maneira econômica de armazenar grandes quantidades de dados somente leitura. As instâncias otimizadas do OpenSearch e as instâncias do UltraWarm armazenam dados localmente no Amazon EBS e remotamente no Amazon S3. Porém, as instâncias otimizadas do OpenSearch e as instâncias do UltraWarm diferem de várias maneiras importantes:
-
As instâncias otimizadas do OpenSearch mantêm uma cópia dos dados em ambos os armazenamentos, local e remoto. Nas instâncias do UltraWarm, os dados são mantidos principalmente em um armazenamento remoto para reduzir os custos de armazenamento. Dependendo de seus padrões de uso, os dados podem ser movidos para o armazenamento local.
-
As instâncias otimizadas do OpenSearch são ativas e podem aceitar operações de leitura e gravação, enquanto os dados nas instâncias do UltraWarm são somente leitura até que você os mova manualmente de volta para o armazenamento quente.
-
O UltraWarm depende de snapshots de índice para garantir a durabilidade dos dados. Instâncias otimizadas para o OpenSearch, em comparação, realizam as tarefas de replicação e recuperação em segundo plano. No caso de um índice vermelho, as instâncias otimizadas do OpenSearch restauram automaticamente os fragmentos perdidos a partir do armazenamento remoto no Amazon S3. O tempo de recuperação varia dependendo do volume de dados a ser recuperado.
Para obter mais informações sobre o UltraWarm, consulte Armazenamento UltraWarm para Amazon OpenSearch Service.
Provisionar um domínio com instâncias otimizadas do OpenSearch
É possível selecionar instâncias otimizadas do OpenSearch para nós de dados ao criar um novo domínio com o Console de gerenciamento da AWS ou a AWS Command Line Interface (AWS CLI). É possível indexar e consultar os dados usando as ferramentas existentes.
-
Navegue para o console do Amazon OpenSearch Service em https://console.aws.amazon.com/aos/
. -
No painel de navegação à esquerda, escolha Domínios.
-
Escolha Criar domínio.
-
Na seção Número de nós de dados, expanda o menu Família de instâncias e escolha Otimizadas do OpenSearch.
-
Escolha o tipo de instância e outras configurações de armazenamento.
-
Na seção Criptografia, certifique-se de que a opção Habilitar criptografia de dados em repouso esteja selecionada.
-
Configure o resto do domínio e escolha Criar.
Para provisionar um domínio que usa o armazenamento otimizado do OpenSearch usando a AWS CLI, você deve fornecer o valor do tamanho do tipo de instância específico (como OR1, OR2 ou OM2) no InstanceType.
O exemplo a seguir cria um domínio com instâncias OR1 do tamanho 2xlarge e habilita a criptografia em repouso.
aws opensearch create-domain \ --domain-nametest-domain\ --engine-version OpenSearch_2.11 \ --cluster-config "InstanceType=or1.2xlarge.search,InstanceCount=3,DedicatedMasterEnabled=true,DedicatedMasterType=r6g.large.search,DedicatedMasterCount=3" \ --ebs-options "EBSEnabled=true,VolumeType=gp3,VolumeSize=200" \ --encryption-at-rest-options Enabled=true \ --advanced-security-options "Enabled=true,InternalUserDatabaseEnabled=true,MasterUserOptions={MasterUserName=test-user,MasterUserPassword=test-password}" \ --node-to-node-encryption-options Enabled=true \ --domain-endpoint-options EnforceHTTPS=true \ --access-policies '{"Version": "2012-10-17", "Statement":[{"Effect":"Allow","Principal":{"AWS":"*"},"Action":"es:*","Resource":"arn:aws:es:us-east-1:account-id:domain/test-domain/*"}]}'
