2. Criação com base na fonte - AWS Orientação prescritiva

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

2. Criação com base na fonte

Conforme descrito anteriormente, criar a partir da fonte é a abordagem em que você não migra dados do Elasticsearch ou do ambiente atual. OpenSearch Em vez disso, você cria índices no domínio de destino diretamente do seu log, da fonte de dados do catálogo de produtos ou da fonte do conteúdo.

Duas opções estão disponíveis para a criação com base na fonte. A opção escolhida depende do tipo de dados dos seus dados:

  • Usando o AWS Database Migration Service — Se a fonte dos seus dados for um sistema de gerenciamento de banco de dados relacional (RDBMS) e a fonte for suportada pelo AWS Database Migration Service (AWS DMS), você poderá usar o AWS DMS para copiar dados da sua fonte de dados para o domínio de destino do Amazon Service. OpenSearch O AWS DMS é compatível com opções de carga total e captura de dados de alteração (CDC). Na opção de carregamento completo, a tarefa do AWS DMS copia todos os dados da tabela do banco de dados de origem para um OpenSearch índice de destino. Você pode usar o mapeamento padrão ou fornecer configurações de mapeamento personalizadas. Na opção CDC, o AWS DMS primeiro faz uma cópia completa dos registros da tabela de origem em um índice de destino OpenSearch . Em seguida, ele captura os dados alterados (atualizações e inserções) e os copia para o OpenSearch índice. Para obter mais informações, consulte as postagens do blog Introducing Amazon Elasticsearch Service as a target in AWS Database Migration Service e Scale Amazon Elasticsearch Service for AWS Database Migration Service migrations.

  • Criação com base na fonte do documento: se sua fonte de dados não for um RDBMS ou não for compatível com o AWS DMS, talvez seja necessário criar uma solução personalizada usando ferramentas de código aberto ou uma combinação de ferramentas de código aberto e serviços da AWS. Você deve converter seus dados de origem em documentos JSON antes que eles possam ser carregados OpenSearch. Se você já tem pipelines configurados da sua fonte para o seu Elasticsearch ou OpenSearch ambiente atual, você pode direcionar esses pipelines de dados OpenSearch com as alterações apropriadas nas bibliotecas de clientes e (se necessário) mudanças no modelo de dados nos índices no domínio do Amazon Service. OpenSearch Ao criar índices com base na fonte, leve em conta o seguinte:

    • A localização dos documentos: os documentos já podem estar disponíveis na Nuvem AWS, em armazenamento de objetos, como o Amazon S3, ou podem estar armazenados em um local de armazenamento on-premises, como um sistema de arquivos.

    • O formato dos documentos — Os documentos já podem estar no formato JSON, prontos para serem ingeridos no domínio do Amazon OpenSearch Service, ou talvez precisem ser limpos, processados e formatados em JSON antes de serem ingeridos no domínio do Amazon Service. OpenSearch

Criar com base na fonte envolve as seguintes etapas de alto nível:

  1. Defina o mapeamento e as configurações do índice no domínio do Amazon OpenSearch Service.

  2. Extrair dados da fonte do documento e copiá-los em um local de armazenamento de objetos, como o Amazon S3. Você pode usar uma ferramenta de código aberto (por exemplo, o Logstash), um cliente de serviço da AWS (por exemplo, o agente do Amazon Kinesis), uma ferramenta comercial de terceiros ou um programa personalizado.

  3. Configure uma ferramenta de código aberto (por exemplo, Logstash ou Fluent Bit) ou um serviço nativo da AWS (por exemplo, AWS Lambda ou AWS DMS) para converter dados em documentos JSON e carregá-los periodicamente ou continuamente do armazenamento de objetos para o domínio do Amazon Service. OpenSearch

Para obter mais informações, consulte Carregamento de dados de streaming no Amazon OpenSearch Service.