RDS para PostgreSQL.

Conclua as etapas a seguir para configurar um pipeline do OpenSearch Ingestion com o Amazon RDS para o RDS para PostgreSQL.

Pré-requisitos do RDS para PostgreSQL

Antes de criar o pipeline da Ingestão do OpenSearch, execute as seguintes etapas:

Etapa 1: configurar a função do pipeline

Depois de configurar os pré-requisitos de pipeline do Amazon RDS, configure o perfil do pipeline para usar na configuração do pipeline. Adicione também as seguintes permissões para a origem do Amazon RDS ao perfil:

JSON

{
    "Version":"2012-10-17",		 	 	 
    "Statement": [
    {
    "Sid": "allowReadingFromS3Buckets",
    "Effect": "Allow",
    "Action": [
    "s3:GetObject",
    "s3:DeleteObject",
    "s3:GetBucketLocation",
    "s3:ListBucket",
    "s3:PutObject"
    ],
    "Resource": [
    "arn:aws:s3:::s3_bucket",
    "arn:aws:s3:::s3_bucket/*"
    ]
    },
    {
    "Sid": "allowNetworkInterfacesActions",
    "Effect": "Allow",
    "Action": [
    "ec2:AttachNetworkInterface",
    "ec2:CreateNetworkInterface",
    "ec2:CreateNetworkInterfacePermission",
    "ec2:DeleteNetworkInterface",
    "ec2:DeleteNetworkInterfacePermission",
    "ec2:DetachNetworkInterface",
    "ec2:DescribeNetworkInterfaces"
    ],
    "Resource": [
    "arn:aws:ec2:*:111122223333:network-interface/*",
    "arn:aws:ec2:*:111122223333:subnet/*",
    "arn:aws:ec2:*:111122223333:security-group/*"
    ]
    },
    {
    "Sid": "allowDescribeEC2",
    "Effect": "Allow",
    "Action": [
    "ec2:Describe*"
    ],
    "Resource": "*"
    },
    {
    "Sid": "allowTagCreation",
    "Effect": "Allow",
    "Action": [
    "ec2:CreateTags"
    ],
    "Resource": "arn:aws:ec2:*:111122223333:network-interface/*",
    "Condition": {
    "StringEquals": {
    "aws:RequestTag/OSISManaged": "true"
    }
    }
    },
    {
    "Sid": "AllowDescribeInstances",
    "Effect": "Allow",
    "Action": [
    "rds:DescribeDBInstances"
    ],
    "Resource": [
    "arn:aws:rds:us-east-2:111122223333:db:*"
    ]
    },
    {
    "Sid": "AllowSnapshots",
    "Effect": "Allow",
    "Action": [
    "rds:DescribeDBSnapshots",
    "rds:CreateDBSnapshot",
    "rds:AddTagsToResource"
    ],
    "Resource": [
    "arn:aws:rds:us-east-2:111122223333:db:DB-id",
    "arn:aws:rds:us-east-2:111122223333:snapshot:DB-id*"
    ]
    },
    {
    "Sid": "AllowExport",
    "Effect": "Allow",
    "Action": [
    "rds:StartExportTask"
    ],
    "Resource": [
    "arn:aws:rds:us-east-2:111122223333:snapshot:DB-id*"
    ]
    },
    {
    "Sid": "AllowDescribeExports",
    "Effect": "Allow",
    "Action": [
    "rds:DescribeExportTasks"
    ],
    "Resource": "*",
    "Condition": {
    "StringEquals": {
    "aws:RequestedRegion": "us-east-2",
    "aws:ResourceAccount": "111122223333"
    }
    }
    },
    {
    "Sid": "AllowAccessToKmsForExport",
    "Effect": "Allow",
    "Action": [
    "kms:Decrypt",
    "kms:Encrypt",
    "kms:DescribeKey",
    "kms:RetireGrant",
    "kms:CreateGrant",
    "kms:ReEncrypt*",
    "kms:GenerateDataKey*"
    ],
    "Resource": [
    "arn:aws:kms:us-east-2:111122223333:key/export-key-id"
    ]
    },
    {
    "Sid": "AllowPassingExportRole",
    "Effect": "Allow",
    "Action": "iam:PassRole",
    "Resource": [
    "arn:aws:iam::111122223333:role/export-role"
    ]
    },
    {
    "Sid": "SecretsManagerReadAccess",
    "Effect": "Allow",
    "Action": [
    "secretsmanager:GetSecretValue"
    ],
    "Resource": [
    "arn:aws:secretsmanager:*:111122223333:secret:*"
    ]
    }
    ]
    }

Etapa 2: Criar o pipeline

Configure um pipeline OpenSearch Ingestion como o que se segue, que especifica uma instância do RDS para PostgreSQL como a origem.

version: "2"
rds-postgres-pipeline:
  source:
    rds:
      db_identifier: "instance-id"
      engine: postgresql
      database: "database-name"
      tables:
        include:
          - "schema1.table1"
          - "schema2.table2"
      s3_bucket: "bucket-name"
      s3_region: "bucket-region"
      s3_prefix: "prefix-name"
      export:
        kms_key_id: "kms-key-id"
        iam_role_arn: "export-role-arn"
      stream: true
      aws:
        sts_role_arn: "arn:aws:iam::account-id:role/pipeline-role"
        region: "us-east-1"
      authentication:
        username: ${{aws_secrets:secret:username}}
        password: ${{aws_secrets:secret:password}}
  sink:
    - opensearch:
        hosts: ["https://search-mydomain.us-east-1.es.amazonaws.com"]
        index: "${getMetadata(\"table_name\")}"
        index_type: custom
        document_id: "${getMetadata(\"primary_key\")}"
        action: "${getMetadata(\"opensearch_action\")}"
        document_version: "${getMetadata(\"document_version\")}"
        document_version_type: "external"
        aws:
          sts_role_arn: "arn:aws:iam::account-id:role/pipeline-role"
          region: "us-east-1"
extension:
  aws:
    secrets:
      secret:
        secret_id: "rds-secret-id"
        region: "us-east-1"
        sts_role_arn: "arn:aws:iam::account-id:role/pipeline-role"
        refresh_interval: PT1H

Para usar o Amazon Aurora como origem, você precisa configurar o acesso à VPC para o pipeline. A VPC escolhida deve ser a mesma VPC que a origem do Amazon Aurora usa. Depois, selecione uma ou mais sub-redes e um ou mais grupos de segurança da VPC. Observe que o pipeline precisa de acesso de rede a um banco de dados MySQL do Aurora, por isso, você também deve se certificar de que o cluster do Aurora esteja configurado com um grupo de segurança da VPC que permita tráfego de entrada do grupo de segurança da VPC do pipeline para a porta do banco de dados. Para obter mais informações, consulte Controlar o acesso com grupos de segurança.

Se você usar o Console de gerenciamento da AWS para criar o pipeline, deverá também anexar o pipeline à sua VPC para usar o Amazon Aurora como origem. Para fazer isso, encontre a seção Configuração de rede, marque a caixa de seleção Anexar à VPC e escolha seu CIDR em uma das opções padrão fornecidas ou selecione a sua própria. Você pode usar qualquer CIDR de um espaço de endereço privado, conforme definido em Melhor prática atual RFC 1918.

Para fornecer um CIDR personalizado, selecione Outro no menu suspenso. Para evitar uma colisão de endereços IP entre o OpenSearch Ingestion e o Amazon RDS, certifique-se de que o CIDR da VPC do Amazon Aurora seja diferente do CIDR do OpenSearch Ingestion.

Para obter mais informações, consulte Configurar o acesso à VPC para um pipeline.

Consistência de dados

O pipeline garante a consistência de dados pesquisando ou recebendo alterações continuamente da instância do Amazon RDS e atualizando os documentos correspondentes no índice do OpenSearch.

O OpenSearch Ingestion oferece suporte ao reconhecimento de ponta a ponta para garantir a durabilidade dos dados. Quando um pipeline lê snapshots ou fluxos, ele cria partições dinamicamente para processamento paralelo. O pipeline marca uma partição como concluída quando recebe uma confirmação depois de ingerir todos os registros no domínio ou na coleção do OpenSearch. Se você quiser fazer a ingestão em uma coleção de pesquisa do OpenSearch sem Servidor, gere um ID de documento no pipeline. Se quiser fazer a ingestão em uma coleção de séries temporais do OpenSearch sem Servidor, observe que o pipeline não gera um ID de documento, então você deve omitir document_id: "${getMetadata(\"primary_key\")}" na configuração do coletor do seu pipeline.

Um pipeline do OpenSearch Ingestion também mapeia ações de eventos de entrada para ações de indexação em massa correspondentes para ajudar a ingerir documentos. Isso mantém os dados consistentes, de modo que toda alteração de dados no Amazon RDS seja reconciliada com as alterações de documentos correspondentes no OpenSearch.

Mapear tipo de dados

O pipeline do OpenSearch Ingestion mapeia os tipos de dados do PostgreSQL em representações adequadas para o consumo de domínios ou coleções do OpenSearch Service. Se nenhum modelo de mapeamento for definido no OpenSearch, o OpenSearch determinará automaticamente os tipos de campo com mapeamento dinâmico com base no primeiro documento enviado. Você também pode definir explicitamente os tipos de campo que funcionam melhor para você no OpenSearch com um modelo de mapeamento.

A tabela abaixo lista os tipos de dados do RDS para PostgreSQL e os tipos de campo correspondentes do OpenSearch. A coluna Tipo de campo padrão do OpenSearch mostrará o tipo de campo correspondente no OpenSearch se nenhum mapeamento explícito for definido. Nesse caso, o OpenSearch determina automaticamente os tipos de campo com mapeamento dinâmico. A coluna Tipo de campo recomendado do OpenSearch é o tipo de campo recomendado correspondente a ser especificado explicitamente em um modelo de mapeamento. Esses tipos de campo estão mais alinhados com os tipos de dados do RDS para PostgreSQL e geralmente podem habilitar melhores atributos de pesquisa disponíveis no OpenSearch.

Recomendamos que você configure a fila de mensagens não entregues (DLQ) no pipeline do OpenSearch Ingestion. Se você tiver configurado a fila, o OpenSearch Service enviará todos os documentos com falha que não puderem ser ingeridos devido a falhas de mapeamento dinâmico para a fila.

Se os mapeamentos automáticos falharem, será possível usar template_type e template_content na configuração do pipeline para definir regras de mapeamento explícitas. Como alternativa, é possível criar modelos de mapeamento diretamente no seu domínio de pesquisa ou na sua coleção antes de iniciar o pipeline.

Limitações

Considere as seguintes limitações ao configurar um pipeline do OpenSearch Ingestion para o RDS para PostgreSQL:

Alarmes do CloudWatch recomendados

As seguintes métricas do CloudWatch são recomendadas para monitorar a performance do pipeline de ingestão. Essas métricas podem ajudar a identificar a quantidade de dados processados nas exportações, a quantidade de eventos processados nos fluxos, os erros no processamento de exportações e eventos de fluxo, e o número de documentos gravados no destino. Você pode configurar alarmes do CloudWatch para executar uma ação quando uma dessas métricas excede um valor especificado por um período especificado.