Configurar uma origem para uma integração ETL zero

Suporte para entidades SAP especiais

O AWS Glue ETL zero é compatível com entidades SAP OData que usam a estrutura de provisionamento de dados operacionais (ODP) SAP, bem como aquelas que não usam a estrutura ODP (entidades não ODP). A lista de entidades compatíveis inclui: ODP_SAP (extratores Business Warehouse ou BW), ODP_CDS (Core Data Services ou CDS Views) e serviços OData não baseados em ODP para APIs SAP. O AWS Glue ETL zero é compatível com a captura instantânea completa e captura incremental de dados de alterações para entidades SAP ODP e não ODP. Para entidades ODP, as alterações incrementais são capturadas usando links delta. Para entidades não ODP, se um campo consultável que pode ser usado para ingestão com base em carimbo de data/hora for selecionado, o ETL zero usará esse campo para ingestão incremental.

Ao ingerir dados de entidades SAP usando o AWS Glue ETL zero, deve-se observar o seguinte:

Configurar uma origem do Amazon DynamoDB

Para acessar dados de sua tabela de origem do Amazon DynamoDB, o AWS Glue necessita de acesso para descrever a tabela e exportar dados dela. O Amazon DynamoDB introduziu recentemente um recurso que permite configurar uma política de acesso baseado em recursos (RBAC).

O exemplo a seguir de política de acesso baseado em recursos (RBAC) usa um curinga (*) para integração:

JSON

{
  "Version":"2012-10-17",		 	 	 
  "Statement": [
    {
      "Sid": "1111",
      "Effect": "Allow",
      "Principal": {
        "Service": "glue.amazonaws.com"
      },
      "Resource": "*",
      "Action": [
        "dynamodb:ExportTableToPointInTime",
        "dynamodb:DescribeTable",
        "dynamodb:DescribeExport"
      ],
      "Condition": {
        "StringEquals": {
          "aws:SourceAccount": "111122223333"
        },
        "ArnLike": {
          "aws:SourceArn": "arn:aws:glue:us-east-1:111122223333:integration:*"
        }
      }
    }
  ]
}

Você também pode adicionar a política RBAC à tabela usando o seguinte comando:

aws dynamodb put-resource-policy \
--resource-arn arn:aws:dynamodb:<region>:<account-id>:table/<ddb-table-name> \
--policy file://resource-policy-with-condition.json \
--region <region>

Para verificar se a política foi aplicada corretamente, use o seguinte comando para obter a política de recursos para uma tabela:

aws dynamodb get-resource-policy \
--resource-arn arn:aws:dynamodb:<region>:<account-id>:table/<ddb-table-name>
--region <region>

Configurando uma origem do Salesforce

Para criar uma conexão para uma origem no Salesforce, consulte Conectar ao Salesforce.

Após criar a conexão, você poderá especificar os dados de origem para replicar.

Usando sua integração ETL zero, é possível realizar operações de DDL para entidades compatíveis. Para obter uma lista de entidades sem suporte, consulte Entidades e campos sem suporte no Salesforce.

Configurar uma origem de engajamento de conta do Salesforce Marketing Cloud

Para criar uma conexão para uma origem de engajamento de conta do Salesforce Marketing Cloud, consulte Conexão com o Salesforce Marketing Cloud Account Engagement .

Usando sua integração ETL zero, é possível realizar operações de DDL para as seguintes entidades compatíveis:

Configuração adicional do Salesforce

O ETL zero do Salesforce precisa de permissão do Lake Formation no banco de dados do Glue, caso contrário, obterá IngestionFailed do log com o seguinte erro:

"errorMessage": "Insufficient lake formation permissions on Target Glue database."

Configurar uma origem SAP OData

Para criar uma conexão para uma origem SAP OData, consulte Conexão com o SAP OData .

Integrações ETL zero com uma fonte SAPOData agora são compatíveis com entidades que começam com EntityOf. Atualmente, a capacidade de substituir a chave primária é compatível somente para objetos SAPOData. Depois que essa propriedade tiver sido definida, ela não poderá ser modificada.

Configurar uma origem ServiceNow

Para criar uma conexão para uma origem ServiceNow, consulte Conectar ao ServiceNow .

Configurar uma origem Zendesk

Para criar uma conexão para uma origem Zendesk, consulte Conectar ao Zendesk .

Usando sua integração ETL zero, é possível realizar as seguintes operações de DDL para as entidades compatíveis:

Configurar uma origem Zoho CRM

Para criar uma conexão para uma origem Zoho CRM, consulte Conexão com o Zoho CRM .

Usando sua integração ETL zero, é possível realizar as seguintes operações de DDL para as entidades compatíveis:

Configurar uma origem Facebook Ads

Para criar uma conexão para uma origem Facebook Ads, consulte Conexão com o Facebook Ads .

Usando sua integração ETL zero, é possível realizar as seguintes operações de DDL para as entidades compatíveis:

Configurando uma origem Instagram Ads

Para criar uma conexão para uma origem Instagram Ads, consulte Conexão com o Instagram Ads .

Usando sua integração ETL zero, é possível realizar as seguintes operações de DDL para as entidades compatíveis: