2. Construir desde la fuente - AWS Guía prescriptiva

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

2. Construir desde la fuente

Como se describió anteriormente, crear a partir de la fuente es el enfoque en el que no se migran los datos del entorno o Elasticsearch actuales. OpenSearch En su lugar, se crean índices en el dominio de destino directamente desde el registro, la fuente de datos del catálogo de productos o la fuente de contenido.

Hay dos opciones disponibles para crear desde la fuente. La opción que elija depende del tipo de datos:

  • Uso de AWS Database Migration Service: si la fuente de sus datos es un sistema de administración de bases de datos relacionales (RDBMS) y la fuente es compatible con AWS Database Migration Service (AWS DMS), puede usar AWS DMS para copiar los datos de su fuente de datos a su dominio de Amazon Service de destino. OpenSearch AWS DMS admite las opciones de captura de datos de cambio y carga completa (CDC). En la opción de carga completa, la tarea de AWS DMS copia todos los datos de la tabla de la base de datos de origen a un OpenSearch índice de destino. Puede usar el mapeo predeterminado o proporcionar configuraciones de mapeo personalizadas. En la opción CDC, AWS DMS primero hace una copia completa de los registros de la tabla de origen en un OpenSearch índice de destino. A continuación, captura los datos modificados (los actualiza e inserta) y los copia en el OpenSearch índice. Para obtener más información, consulte las entradas del blog Introducir Amazon Elasticsearch Service como objetivo en AWS Database Migration Service y escalar Amazon Elasticsearch Service para las migraciones de AWS Database Migration Service.

  • Creación a partir de la fuente del documento: si su fuente de datos no es un RDBMS o no es compatible con AWS DMS, es posible que tenga que crear una solución personalizada con herramientas de código abierto o una combinación de herramientas de código abierto y servicios de AWS. Debe convertir los datos de origen en documentos JSON para poder cargarlos. OpenSearch Si ya tienes canalizaciones configuradas desde tu fuente hasta tu OpenSearch entorno o Elasticsearch actual, puedes apuntar esas canalizaciones de datos con los cambios adecuados en las bibliotecas de clientes y (si es necesario) OpenSearch con los cambios del modelo de datos en los índices del dominio de Amazon Service. OpenSearch Al crear índices a partir de la fuente, tenga en cuenta las siguientes consideraciones:

    • La ubicación de los documentos: es posible que los documentos ya estén disponibles en la nube de AWS, en un almacenamiento de objetos como Amazon S3, o en una ubicación de almacenamiento local, como un sistema de archivos.

    • El formato de los documentos: es posible que los documentos ya estén en formato JSON, listos para ser ingeridos en el dominio de Amazon OpenSearch Service, o es posible que deban limpiarse, procesarse y formatearse en JSON antes de poder incorporarse al dominio de Amazon Service. OpenSearch

La creación a partir del código fuente implica los siguientes pasos generales:

  1. Defina la asignación de índices y la configuración en el dominio OpenSearch de Amazon Service.

  2. Extraiga los datos de la fuente del documento y cópielos en una ubicación de almacenamiento de objetos, como Amazon S3. Puede usar una herramienta de código abierto (por ejemplo, Logstash), un cliente de servicio de AWS (por ejemplo, Amazon Kinesis Agent), una herramienta comercial de terceros o un programa personalizado.

  3. Configure una herramienta de código abierto (por ejemplo, Logstash o Fluent Bit) o un servicio nativo de AWS (por ejemplo, AWS Lambda o AWS DMS) para convertir los datos en documentos JSON y cargarlos de forma periódica o continua desde el almacén de objetos al dominio de Amazon Service. OpenSearch

Para obtener más información, consulta Cómo cargar datos de streaming en Amazon OpenSearch Service.