Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés. # RDS para PostgreSQL Complete los siguientes pasos para configurar una canalización de OpenSearch ingestión con Amazon RDS para RDS for PostgreSQL. **Topics** + [Requisitos previos de PostgreSQL](#rds-PostgreSQL-prereqs) + [Paso 1: configurar el rol de canalización](#rds-mysql-pipeline-role) + [Paso 2: crear la canalización](#rds-PostgreSQL-pipeline) + [Coherencia de datos](#rds-mysql-pipeline-consistency) + [Asignación de tipos de datos](#rds-PostgreSQL-pipeline-mapping) + [Limitaciones](#rds-PostgreSQL-pipeline-limitations) + [CloudWatch Alarmas recomendadas](#aurora-mysql-pipeline-metrics) ## Requisitos previos de PostgreSQL Antes de crear la canalización de OpenSearch ingestión, lleve a cabo los siguientes pasos: 1. [Cree un grupo de parámetros de base de datos personalizado](https://docs.aws.amazon.com/AmazonRDS/latest/UserGuide/zero-etl.setting-up.html#zero-etl.parameters) en Amazon RDS para configurar la replicación lógica. ``` rds.logical_replication=1 ``` Para obtener más información, consulte [Replicación lógica de Amazon RDS para PostgreSQL](https://docs.aws.amazon.com/AmazonRDS/latest/UserGuide/PostgreSQL.Concepts.General.FeatureSupport.LogicalReplication.html). 1. [Seleccione o cree una instancia de base de datos de RDS para PostgreSQL](https://docs.aws.amazon.com/AmazonRDS/latest/UserGuide/CHAP_GettingStarted.CreatingConnecting.PostgreSQL.html) y asocie el grupo de parámetros creado en el paso 1 a la instancia de base de datos. 1. Configure la autenticación de nombre de usuario y contraseña en su instancia de Amazon RDS mediante la [administración de contraseñas con Aurora y AWS Secrets Manager](https://docs.aws.amazon.com/AmazonRDS/latest/AuroraUserGuide/rds-secrets-manager.html). También puedes crear una username/password combinación [creando un secreto de Secrets Manager](https://docs.aws.amazon.com/secretsmanager/latest/userguide/create_secret.html). 1. Si utiliza la función de instantáneas iniciales completa, cree un rol de IAM AWS KMS key y un rol de IAM para exportar datos de Amazon RDS a Amazon S3. El rol de IAM debe tener la siguiente política de permisos: ------ #### [ JSON ] **** ``` { "Version":"2012-10-17", "Statement": [ { "Sid": "ExportPolicy", "Effect": "Allow", "Action": [ "s3:PutObject*", "s3:ListBucket", "s3:GetObject*", "s3:DeleteObject*", "s3:GetBucketLocation" ], "Resource": [ "arn:aws:s3:::s3-bucket-used-in-pipeline", "arn:aws:s3:::s3-bucket-used-in-pipeline/*" ] } ] } ``` ------ El rol también debe tener las siguientes relaciones de confianza: ------ #### [ JSON ] **** ``` { "Version":"2012-10-17", "Statement": [ { "Effect": "Allow", "Principal": { "Service": "export.rds.amazonaws.com" }, "Action": "sts:AssumeRole" } ] } ``` ------ 1. Seleccione o cree un dominio de OpenSearch servicio o una colección OpenSearch sin servidor. Para obtener más información, consulte [Creación de dominios OpenSearch de servicio](https://docs.aws.amazon.com/opensearch-service/latest/developerguide/createupdatedomains.html#createdomains) y [Creación de colecciones](https://docs.aws.amazon.com/opensearch-service/latest/developerguide/serverless-manage.html#serverless-create). 1. Adjunte una [política basada en recursos](https://docs.aws.amazon.com/opensearch-service/latest/developerguide/ac.html#ac-types-resource) al dominio o una [política de acceso a datos](https://docs.aws.amazon.com/opensearch-service/latest/developerguide/serverless-data-access.html) a la colección. Estas políticas de acceso permiten a OpenSearch Ingestion escribir datos de su instancia de base de datos de Amazon RDS en su dominio o colección. ## Paso 1: configurar el rol de canalización Una vez configurados los requisitos previos de la canalización de Amazon RDS, [configure el rol de la canalización](https://docs.aws.amazon.com/opensearch-service/latest/developerguide/pipeline-security-overview.html#pipeline-security-sink) que se usará en la configuración de la canalización. Agregue también los siguientes permisos para el origen de Amazon RDS al rol: ------ #### [ JSON ] **** ``` { "Version":"2012-10-17", "Statement": [ { "Sid": "allowReadingFromS3Buckets", "Effect": "Allow", "Action": [ "s3:GetObject", "s3:DeleteObject", "s3:GetBucketLocation", "s3:ListBucket", "s3:PutObject" ], "Resource": [ "arn:aws:s3:::s3_bucket", "arn:aws:s3:::s3_bucket/*" ] }, { "Sid": "allowNetworkInterfacesActions", "Effect": "Allow", "Action": [ "ec2:AttachNetworkInterface", "ec2:CreateNetworkInterface", "ec2:CreateNetworkInterfacePermission", "ec2:DeleteNetworkInterface", "ec2:DeleteNetworkInterfacePermission", "ec2:DetachNetworkInterface", "ec2:DescribeNetworkInterfaces" ], "Resource": [ "arn:aws:ec2:*:111122223333:network-interface/*", "arn:aws:ec2:*:111122223333:subnet/*", "arn:aws:ec2:*:111122223333:security-group/*" ] }, { "Sid": "allowDescribeEC2", "Effect": "Allow", "Action": [ "ec2:Describe*" ], "Resource": "*" }, { "Sid": "allowTagCreation", "Effect": "Allow", "Action": [ "ec2:CreateTags" ], "Resource": "arn:aws:ec2:*:111122223333:network-interface/*", "Condition": { "StringEquals": { "aws:RequestTag/OSISManaged": "true" } } }, { "Sid": "AllowDescribeInstances", "Effect": "Allow", "Action": [ "rds:DescribeDBInstances" ], "Resource": [ "arn:aws:rds:us-east-2:111122223333:db:*" ] }, { "Sid": "AllowSnapshots", "Effect": "Allow", "Action": [ "rds:DescribeDBSnapshots", "rds:CreateDBSnapshot", "rds:AddTagsToResource" ], "Resource": [ "arn:aws:rds:us-east-2:111122223333:db:DB-id", "arn:aws:rds:us-east-2:111122223333:snapshot:DB-id*" ] }, { "Sid": "AllowExport", "Effect": "Allow", "Action": [ "rds:StartExportTask" ], "Resource": [ "arn:aws:rds:us-east-2:111122223333:snapshot:DB-id*" ] }, { "Sid": "AllowDescribeExports", "Effect": "Allow", "Action": [ "rds:DescribeExportTasks" ], "Resource": "*", "Condition": { "StringEquals": { "aws:RequestedRegion": "us-east-2", "aws:ResourceAccount": "111122223333" } } }, { "Sid": "AllowAccessToKmsForExport", "Effect": "Allow", "Action": [ "kms:Decrypt", "kms:Encrypt", "kms:DescribeKey", "kms:RetireGrant", "kms:CreateGrant", "kms:ReEncrypt*", "kms:GenerateDataKey*" ], "Resource": [ "arn:aws:kms:us-east-2:111122223333:key/export-key-id" ] }, { "Sid": "AllowPassingExportRole", "Effect": "Allow", "Action": "iam:PassRole", "Resource": [ "arn:aws:iam::111122223333:role/export-role" ] }, { "Sid": "SecretsManagerReadAccess", "Effect": "Allow", "Action": [ "secretsmanager:GetSecretValue" ], "Resource": [ "arn:aws:secretsmanager:*:111122223333:secret:*" ] } ] } ``` ------ ## Paso 2: crear la canalización Configure una canalización de OpenSearch ingestión como la siguiente, que especifique una instancia de RDS para PostgreSQL como origen. ``` version: "2" rds-postgres-pipeline: source: rds: db_identifier: "instance-id" engine: postgresql database: "database-name" tables: include: - "schema1.table1" - "schema2.table2" s3_bucket: "bucket-name" s3_region: "bucket-region" s3_prefix: "prefix-name" export: kms_key_id: "kms-key-id" iam_role_arn: "export-role-arn" stream: true aws: sts_role_arn: "arn:aws:iam::account-id:role/pipeline-role" region: "us-east-1" authentication: username: ${{aws_secrets:secret:username}} password: ${{aws_secrets:secret:password}} sink: - opensearch: hosts: ["https://search-mydomain.us-east-1.es.amazonaws.com"] index: "${getMetadata(\"table_name\")}" index_type: custom document_id: "${getMetadata(\"primary_key\")}" action: "${getMetadata(\"opensearch_action\")}" document_version: "${getMetadata(\"document_version\")}" document_version_type: "external" aws: sts_role_arn: "arn:aws:iam::account-id:role/pipeline-role" region: "us-east-1" extension: aws: secrets: secret: secret_id: "rds-secret-id" region: "us-east-1" sts_role_arn: "arn:aws:iam::account-id:role/pipeline-role" refresh_interval: PT1H ``` **nota** Puede utilizar un esquema de Amazon RDS preconfigurado para crear esta canalización. Para obtener más información, consulte [Uso de esquemas](pipeline-blueprint.md). A fin de utilizar Amazon Aurora como origen, debe configurar el acceso a la VPC para la canalización. La VPC que elija debe ser la misma que usa su origen de Amazon Aurora. A continuación, elija una o varias subredes y uno o varios grupos de seguridad de VPC. Tenga en cuenta que la canalización necesita acceso de red a una base de datos Aurora MySQL, por lo que también debe comprobar que el clúster de Aurora esté configurado con un grupo de seguridad de VPC que permita el tráfico entrante desde el grupo de seguridad de VPC de la canalización al puerto de la base de datos. Para obtener más información, consulte [Control de acceso con grupos de seguridad](https://docs.aws.amazon.com/AmazonRDS/latest/AuroraUserGuide/Overview.RDSSecurityGroups.html). Si utiliza la Consola de administración de AWS para crear su canalización, también debe adjuntarla a la VPC para poder utilizar Amazon Aurora como fuente. Para ello, busque la sección **Configuración de la red**, seleccione **Adjuntar a la VPC** y elija el CIDR de una de las opciones predeterminadas proporcionadas o seleccione una opción propia. Puede usar cualquier CIDR de un espacio de direcciones privado, tal como se define en [RFC 1918 Best Current Practice](https://datatracker.ietf.org/doc/html/rfc1918). Para proporcionar un CIDR personalizado, seleccione **Otros** en el menú desplegable. Para evitar una colisión de direcciones IP entre OpenSearch Ingestión y Amazon RDS, asegúrese de que el CIDR de VPC de Amazon Aurora sea diferente del CIDR de Ingestión. OpenSearch Para obtener más información, consulte [Configuring VPC access for a pipeline](https://docs.aws.amazon.com/opensearch-service/latest/developerguide/pipeline-security.html#pipeline-vpc-configure). ## Coherencia de datos La canalización garantiza la coherencia de los datos al sondear o recibir cambios de forma continua desde la instancia de Amazon RDS y actualizar los documentos correspondientes del OpenSearch índice. OpenSearch La ingestión apoya el end-to-end reconocimiento para garantizar la durabilidad de los datos. Cuando una canalización lee instantáneas o transmisiones, crea particiones de forma dinámica para el procesamiento paralelo. La canalización marca una partición como completa cuando recibe un acuse de recibo después de ingerir todos los registros del dominio o la OpenSearch colección. Si quieres incorporarlos a una colección de búsquedas OpenSearch sin servidor, puedes generar un identificador de documento en la canalización. Si quieres incorporarlo a una colección de series temporales OpenSearch sin servidor, ten en cuenta que la canalización no genera un identificador de documento, por lo que debes omitirlo `document_id: "${getMetadata(\"primary_key\")}"` en la configuración del colector de canalizaciones. Una canalización OpenSearch de ingestión también asigna las acciones de los eventos entrantes a las correspondientes acciones de indexación masiva para facilitar la ingesta de documentos. Esto mantiene la coherencia de los datos, de modo que cada cambio de datos en Amazon RDS se concilia con los cambios en los documentos correspondientes. OpenSearch ## Asignación de tipos de datos OpenSearch La canalización de ingestión asigna los tipos de datos de PostgreSQL a representaciones que son adecuadas OpenSearch para el consumo de los dominios o colecciones de servicios. Si no hay ninguna plantilla de mapeo definida OpenSearch, determine OpenSearch automáticamente los tipos de campo con un [mapeo dinámico](https://docs.opensearch.org/latest/field-types/#dynamic-mapping) basado en el primer documento enviado. También puede definir de forma explícita los tipos de campo que mejor se adapten a sus necesidades OpenSearch mediante una plantilla de mapeo. En la siguiente tabla se enumeran los tipos de datos de RDS para PostgreSQL y los tipos de campo correspondientes. OpenSearch La columna *Tipo de OpenSearch campo predeterminado* muestra el tipo de campo correspondiente OpenSearch si no se ha definido un mapeo explícito. En este caso, determina OpenSearch automáticamente los tipos de campo con un mapeo dinámico. La columna *Tipo de OpenSearch campo recomendado* es el tipo de campo que se recomienda especificar de forma explícita en una plantilla de mapeo. Estos tipos de campos están más alineados con los tipos de datos de RDS para PostgreSQL y, por lo general, pueden habilitar mejores funciones de búsqueda disponibles en. OpenSearch | Tipo de datos de RDS para PostgreSQL | Tipo de campo predeterminado OpenSearch | Tipo OpenSearch de campo recomendado | | --- | --- | --- | | smallint | long | short | | entero | long | entero | | bigint | long | long | | decimal | text | doble o palabra | | numeric[ (p, s) ] | text | doble o palabra | | real | float | float | | double precision | float | double | | smallserial | long | short | | serial | long | entero | | bigserial | long | long | | money | objeto | objeto | | character varying(n) | text | text | | varchar(n) | text | text | | character(n) | text | text | | char(n) | text | text | | bpchar (n) | text | text | | BPCHAR | text | text | | text | text | text | | enum | text | text | | bytea | text | binario | | timestamp [ (p) ] [ sin zona horaria ] | largo (en milisegundos de época) | date | | timestamp [ (p) ] con zona horaria | largo (en milisegundos de época) | date | | date | largo (en milisegundos de época) | date | | time [ (p) ] [ sin zona horaria ] | largo (en milisegundos de época) | date | | time [ (p) ] con zona horaria | largo (en milisegundos de época) | date | | intervalo [campos] [(p)] | texto (ISO8601 formato) | text | | booleano | booleano | booleano | | point | texto (en formato WKT) | geo\$1shape | | línea | texto (en formato WKT) | geo\$1shape | | LSEG | texto (en formato WKT) | geo\$1shape | | BOX | texto (en formato WKT) | geo\$1shape | | path | texto (en formato WKT) | geo\$1shape | | polígono | texto (en formato WKT) | geo\$1shape | | CIRCLE | objeto | objeto | | cidr | text | text | | inet | text | text | | macaddr | text | text | | macaddr8 | text | text | | bit(n) | long | byte, corto, entero o largo (según el número de bits) | | bit varying(n) | long | byte, corto, entero o largo (según el número de bits) | | json | objeto | objeto | | jsonb | objeto | objeto | | jsonpath | text | text | Te recomendamos que configures la cola de mensajes sin salida (DLQ) en tu canal de ingestión. OpenSearch Si has configurado la cola, el OpenSearch servicio envía a la cola todos los documentos fallidos que no se puedan ingerir debido a errores de mapeo dinámico. En caso de que las asignaciones automáticos fallen, puede usar `template_type` y `template_content` en su configuración de canalización para definir reglas de asignación explícitas. Como alternativa, puede crear plantillas de asignación directamente en su dominio o colección de búsqueda antes de iniciar la canalización. ## Limitaciones Tenga en cuenta las siguientes limitaciones al configurar una canalización de OpenSearch ingestión de RDS para PostgreSQL: + La integración solo admite una base de datos PostgreSQL por canalización. + Actualmente, la integración no admite la ingesta de datos entre regiones; la instancia y el OpenSearch dominio de Amazon RDS deben estar en el mismo lugar. Región de AWS + Actualmente, la integración no admite la ingesta de datos entre cuentas; la instancia de Amazon RDS y la canalización de OpenSearch ingestión deben estar en la misma ubicación. Cuenta de AWS + Asegúrese de que la instancia de Amazon RDS tenga habilitada la autenticación mediante AWS Secrets Manager, que es el único mecanismo de autenticación compatible. + La configuración de canalización existente no se puede actualizar para ingerir datos de una base de datos diferente o de and/or una tabla diferente. Para actualizar la base de datos o el nombre de la tabla de una canalización, debe detener la canalización y reiniciarla con una configuración actualizada o crear una canalización nueva. + Por lo general, las instrucciones en lenguaje de definición de datos (DDL) no son compatibles. La coherencia de datos no se mantendrá si: + Se cambian las claves principales (add/delete/rename). + Las tablas se eliminan o se truncan. + Se cambian los nombres de las columnas o los tipos de datos. + Si las tablas de PostgreSQL que se van a sincronizar no tienen definidas las claves principales, no se garantiza la coherencia de datos. Deberá definir correctamente la `document_id` opción OpenSearch y la configuración del receptor para poder updates/deletes sincronizarla OpenSearch. + No se admiten los clústeres de bases de datos Multi-AZ de RDS. + Versiones compatibles: PostgreSQL 16 y versiones posteriores. ## CloudWatch Alarmas recomendadas Se recomiendan las siguientes CloudWatch métricas para supervisar el rendimiento del proceso de ingestión. Estas métricas pueden ayudarlo a identificar la cantidad de datos procesados a partir de exportaciones y flujos, los errores al procesar eventos de transmisión y exportación y el número de documentos escritos en el destino. Puedes configurar CloudWatch alarmas para realizar una acción cuando una de estas métricas supere un valor específico durante un período de tiempo específico. | Métrica | Description (Descripción) | | --- | --- | | pipeline-name.RDS. Se han modificado las credenciales | Esta métrica indica la frecuencia con la que se rotan los secretos. AWS | | pipeline-name.rds. executorRefreshErrors | Esta métrica indica errores al actualizar AWS los secretos. | | pipeline-name.rds. exportRecordsTotal | Esta métrica indica el número de registros exportados desde Amazon Aurora. | | pipeline-name.rds. exportRecordsProcessed | Esta métrica indica la cantidad de registros procesados por la canalización OpenSearch de ingestión. | | pipeline-name.rds. exportRecordProcessingErrores | Esta métrica indica el número de errores de procesamiento en una canalización de OpenSearch ingestión al leer los datos de un clúster de Amazon Aurora. | | pipeline-name.rds. exportRecordsSuccessTotal | Esta métrica indica el número total de registros de exportación procesados correctamente. | | pipeline-name.rds. exportRecordsFailedTotal | Esta métrica indica el número total de registros que no se han podido procesar. | | pipeline-name.RDS. Bytes recibidos | Esta métrica indica el número total de bytes recibidos por una canalización de ingestión. OpenSearch | | pipeline-name.rds.bytes procesados | Esta métrica indica el número total de bytes procesados por una canalización de ingestión. OpenSearch | | pipeline-name.rds. streamRecordsSuccessTotal | Esta métrica indica el número de registros del flujo procesados correctamente. | | pipeline-name.rds. streamRecordsFailedTotal | Esta métrica indica el número total de registros del flujo que no se han podido procesar. |