Configuration d’une source pour une intégration zéro ETL - AWS Glue

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Configuration d’une source pour une intégration zéro ETL

Prise en charge pour les entités SAP spéciales

AWS Glue Zero-ETL prend en charge OData les entités SAP qui utilisent le framework de provisionnement des données opérationnelles (ODP) de SAP ainsi que celles qui n'utilisent pas le framework ODP (entités non ODP). La liste des entités prises en charge inclut : ODP_SAP (Business Warehouse ou extracteurs BW), ODP_CDS (Core Data Services ou CDS Views) et les services non basés sur ODP pour SAP. OData APIs AWS Glue Zero-ETL prend en charge la capture instantanée complète et la capture incrémentielle des données de modification pour les entités SAP ODP et non ODP. Pour les entités ODP, les modifications incrémentielles sont capturées à l'aide de liens delta. Pour les entités non ODP, si un champ interrogeable pouvant être utilisé pour une ingestion basée sur un horodatage est sélectionné, Zero-ETL utilisera ce champ pour une ingestion incrémentielle.

Lors de l'ingestion de données provenant d'entités SAP à l'aide de AWS Glue Zero-ETL, il convient de noter les points suivants :

  • Zero-ETL ne peut ingérer que les entités SAP configurées pour la méthode GET_ENTITYSET dans SAP.

  • Pour les entités SAP non ODP, si aucun champ d'horodatage n'est sélectionné pour les mises à jour incrémentielles, AWS Glue Zero-ETL prend en charge l'extraction et la réplication complètes des données avec des upserts uniquement (aucune suppression).

  • Pour les entités d'extraction ODP, nous déterminons les ensembles de clés primaires valides lors du traitement des données. D'autres entités SAP nécessitent une étape supplémentaire consistant à fournir le jeu de clés primaires valide en entrée, en particulier les entités SAP qui commencent parEntityOf. Lorsqu’une entité EntityOf est sélectionnée, vous êtes invité à fournir l’ensemble de clés primaires.

La capture d’écran montre les paramètres de configuration des données source. Si les données source sélectionnées comportent une entité commençant parEntityOf, fournissez le jeu de clés primaires.

Configuration d’une source Amazon DynamoDB

Pour accéder aux données de votre table Amazon DynamoDB source AWS Glue , vous devez avoir accès à la description de la table et à l'exportation des données depuis celle-ci. Amazon DynamoDB a récemment introduit une fonctionnalité qui permet de configurer une politique d’accès basé sur les ressources (RBAC).

L’exemple de politique d’accès basé sur les ressources (RBAC) suivant utilise un caractère générique (*) pour l’intégration :

JSON
{ "Version":"2012-10-17", "Statement": [ { "Sid": "1111", "Effect": "Allow", "Principal": { "Service": "glue.amazonaws.com" }, "Resource": "*", "Action": [ "dynamodb:ExportTableToPointInTime", "dynamodb:DescribeTable", "dynamodb:DescribeExport" ], "Condition": { "StringEquals": { "aws:SourceAccount": "111122223333" }, "ArnLike": { "aws:SourceArn": "arn:aws:glue:us-east-1:111122223333:integration:*" } } } ] }
  1. Pour la DynamoDB que vous souhaitez répliquer, collez le modèle de politique RBAC ci-dessus dans Politique basée sur les ressources pour la table et renseignez les champs.

  2. Si vous souhaitez rendre la politique restrictive, vous devez la mettre à jour après avoir créé l’intégration, spécifier l’integrationArn complet et utiliser la condition StringEquals à la place de StringLike.

  3. Assurez-vous que la Point-in-time restauration (PITR) est activée pour la table DynamoDB.

  4. Assurez-vous d’ajouter Describe Export à la politique d’accès basé sur les ressources (RBAC).

Vous pouvez également ajouter la politique RBAC à la table à l’aide de la commande suivante :

aws dynamodb put-resource-policy \ --resource-arn arn:aws:dynamodb:<region>:<account-id>:table/<ddb-table-name> \ --policy file://resource-policy-with-condition.json \ --region <region>

Pour vérifier que la politique est correctement appliquée, utilisez la commande suivante pour obtenir la politique de ressources d’une table :

aws dynamodb get-resource-policy \ --resource-arn arn:aws:dynamodb:<region>:<account-id>:table/<ddb-table-name> --region <region>

Configuration d’une source Salesforce

Pour créer une connexion pour une source Salesforce, consultez Connexion à Salesforce.

Après avoir créé la connexion, vous pouvez spécifier les données source à répliquer.

La capture d’écran montre la spécification des données source à répliquer dans le cadre d’une intégration zéro ETL.

À l’aide de votre intégration zéro ETL, vous pouvez effectuer des opérations DDL pour les entités prises en charge. Pour obtenir la liste des entités non prises en charge, consultez Entités et champs non pris en charge pour Salesforce.

Configuration d’une source Salesforce Marketing Cloud Account Engagement

Pour créer une connexion pour une source Salesforce Marketing Cloud Account Engagement, consultez Connexion à Salesforce Marketing Cloud Account Engagement .

À l’aide de votre intégration zéro ETL, vous pouvez effectuer des opérations DDL pour les entités prises en charge suivantes :

Libellé d’entité Nom de l'entité
Campaign campaign
List list
Contenu dynamique dynamic-content
List Membership list-membership
Prospect prospect
Utilisateur utilisateur
EmailTemplate email-template
EngagementStudioProgram engagement-studio-program
Landing Page landing-page
List Email list-email

Configuration Salesforce supplémentaire

Salesforce zéro ETL a besoin de l’autorisation Lake Formation sur la base de données Glue, sinon il recevra IngestionFailed du journal avec l’erreur suivante :

"errorMessage": "Insufficient lake formation permissions on Target Glue database."

Configuration d'une OData source SAP

Pour créer une connexion pour une OData source SAP, consultez Connexion à SAP OData .

Les intégrations sans ETL avec une OData source SAP prennent désormais en charge les entités commençant par. EntityOf La possibilité de remplacer la clé primaire n'est actuellement prise en charge que pour les SAPOData EntityOf objets. Une fois cette propriété définie, elle ne peut pas être modifiée.

Configuration d'une ServiceNow source

Pour créer une connexion pour une ServiceNow source, consultez Connexion à ServiceNow .

Configuration d’une source Zendesk

Pour créer une connexion pour une source Zendesk, consultez Connexion à Zendesk .

À l’aide de votre intégration zéro ETL, vous pouvez effectuer les opérations DDL suivantes pour les entités prises en charge :

Libellé d’entité Nom de l'entité Création prise en charge Mise à jour prise en charge Suppression prise en charge
Tickets billets Y Y Y
Utilisateur users Y Y Y
Satisfaction Rating satisfaction-rating Y Y N
Articles articles Y Y N
Organisation organisations Y Y Y
Calls calls Y Y N
Call Legs legs Y Y N

Configuration d’une source Zoho CRM

Pour créer une connexion pour une source Zoho CRM, consultez Connexion à Zoho CRM .

À l’aide de votre intégration zéro ETL, vous pouvez effectuer les opérations DDL suivantes pour les entités prises en charge :

Libellé d’entité Nom de l'entité DML-Insert pris en charge DML-Modify pris en charge DML-Delete pris en charge DDL-Insert pris en charge DDL-Modify pris en charge DDL-Delete pris en charge
Leads lead Y Y Y Y Y Y
Comptes compte Y Y Y Y Y Y
Contacts contact Y Y Y Y Y Y
Campagnes campaign Y Y Y Y Y Y
Tâches tâche Y Y Y Y Y Y
Événements event Y Y Y Y Y Y
Calls appel Y Y Y Y Y Y
Solutions solution Y Y Y Y Y Y
Produits product Y Y Y Y Y Y
Vendors vendor Y Y Y Y Y Y
Quotes quote Y Y Y Y Y Y
Sales Orders sales-order Y Y Y Y Y Y
Purchase Orders purchase-order Y Y Y Y Y Y
Factures facture Y Y Y Y Y Y
Cas cas Y Y Y Y Y Y
Price Books price-book Y Y Y Y Y Y

Configuration d’une source Facebook Ads

Pour créer une connexion pour une source Facebook Ads, consultez Connexion à Facebook Ads .

À l’aide de votre intégration zéro ETL, vous pouvez effectuer les opérations DDL suivantes pour les entités prises en charge :

Libellé d’entité Nom de l'entité Création prise en charge Mise à jour prise en charge Suppression prise en charge
Adset */adsets Y Y Y
Campaign */campaigns Y Y Y
Ads */ads Y Y Y

Configuration d’une source Instagram Ads

Pour créer une connexion pour une source Instagram Ads, consultez Connexion à Instagram Ads .

À l’aide de votre intégration zéro ETL, vous pouvez effectuer les opérations DDL suivantes pour les entités prises en charge :

Nom de l'entité Création prise en charge Mise à jour prise en charge Suppression prise en charge
*/adsets Y Y Y
*/campaigns Y Y Y
*/ads Y Y Y