ゼロ ETL 統合のソースの設定 - AWS Glue

ゼロ ETL 統合のソースの設定

特別な SAP エンティティのサポート

AWS Glue ゼロ ETL は、SAP のオペレーショナルデータプロビジョニング (ODP) フレームワークを使用する SAP OData エンティティと、ODP フレームワークを使用しない SAP OData エンティティ (非 ODP エンティティ) をサポートします。サポートされているエンティティのリストには、ODP_SAP (ビジネスウェアハウスまたは BW エクストラクタ)、ODP_CDS (コアデータサービスまたは CDS ビュー)、および SAP API 用の非 ODP ベースの OData サービスが含まれます。AWS Glue ゼロ ETL は、ODP および非 ODP SAP エンティティの完全なスナップショットと増分変更データキャプチャをサポートします。ODP エンティティの場合、増分変更はデルタリンクを使用してキャプチャされます。ODP 以外のエンティティの場合、タイムスタンプベースの取り込みに使用できるクエリ可能なフィールドが選択されると、ゼロ ETL はそのフィールドを増分取り込みに使用します。

AWS Glue ゼロ ETL を使用して SAP エンティティからデータを取り込むときは、次の点にご注意ください。

  • ゼロ ETL は、SAP で GET_ENTITYSET メソッド用に設定された SAP エンティティのみを取り込むことができます。

  • ODP 以外の SAP エンティティの場合、増分更新にタイムスタンプフィールドが選択されていない場合、AWS Glue ゼロ ETL は、アップサートのみ (削除なし) による完全なデータ抽出とレプリケーションをサポートします。

  • ODP エクストラクタエンティティの場合、データ処理中に有効なプライマリキーセットを決定します。他の SAP エンティティでは、有効なプライマリキーセットを入力として提供する追加のステップ、特に EntityOf で始まる SAP エンティティが必要です。EntityOf エンティティを選択すると、プライマリキーのセットを指定するように指示されます。

このスクリーンショットは、ソースデータの設定を示しています。選択したソースデータに EntityOf で始まるエンティティがある場合は、プライマリキーのセットを指定します。

Amazon DynamoDB ソースの設定

ソース Amazon DynamoDB テーブルからデータにアクセスするには、AWS Glue でテーブルを記述し、そこからデータをエクスポートするためのアクセスが必要です。Amazon DynamoDB では、リソースベースアクセス (RBAC) ポリシーの設定を許可する機能が最近導入されました。

次のリソースベースアクセス (RBAC) ポリシーの例では、統合にワイルドカード (*) を使用しています。

JSON
{ "Version":"2012-10-17", "Statement": [ { "Sid": "1111", "Effect": "Allow", "Principal": { "Service": "glue.amazonaws.com" }, "Resource": "*", "Action": [ "dynamodb:ExportTableToPointInTime", "dynamodb:DescribeTable", "dynamodb:DescribeExport" ], "Condition": { "StringEquals": { "aws:SourceAccount": "111122223333" }, "ArnLike": { "aws:SourceArn": "arn:aws:glue:us-east-1:111122223333:integration:*" } } } ] }
  1. レプリケートする DynamoDB の場合は、上記の RBAC ポリシーテンプレートを テーブルのリソースベースのポリシー に貼り付け、フィールドに入力します。

  2. ポリシーを制限したい場合は、統合を作成した後にポリシーを更新し、integrationArn 全体を指定して、StringLike の代わりに StringEquals 条件を使用する必要があります。

  3. ポイントインタイムリカバリ (PITR) が DynamoDB テーブルに対して有効になっていることを確認します。

  4. リソースベースアクセス (RBAC) ポリシーに Describe Export を追加していることを確認してください。

次のコマンドを使用して、RBAC ポリシーをテーブルに追加することもできます。

aws dynamodb put-resource-policy \ --resource-arn arn:aws:dynamodb:<region>:<account-id>:table/<ddb-table-name> \ --policy file://resource-policy-with-condition.json \ --region <region>

ポリシーが正しく適用されていることを確認するには、次のコマンドを使用してテーブルのリソースポリシーを取得します。

aws dynamodb get-resource-policy \ --resource-arn arn:aws:dynamodb:<region>:<account-id>:table/<ddb-table-name> --region <region>

Salesforce ソースの設定

Salesforceソースへの接続を作成するには、 Salesforce への接続 を参照してください。

接続を作成したら、レプリケートするソースデータを指定できます。

このスクリーンショットは、ゼロ ETL 統合でレプリケートするソースデータの指定を示しています。

ゼロ ETL 統合を使用すると、サポートされているエンティティに対して DDL オペレーションを実行できます。サポートされていないエンティティのリストについては、Salesforce でサポートされていないエンティティとフィールド を参照してください。

Salesforce Marketing Cloud Account Engagement ソースの設定

Salesforce Marketing Cloud Account Engagement ソースの接続を作成するには、 Salesforce Marketing Cloud Account Engagement への接続 を参照してください。

ゼロ ETL 統合を使用すると、以下のサポートされているエンティティに対して DDL オペレーションを実行できます。

エンティティラベル エンティティ名
キャンペーン キャンペーン
リスト リスト
動的コンテンツ dynamic-content
メンバーシップリスト list-membership
Prospect prospect
ユーザー ユーザー
EmailTemplate email-template
EngagementStudioProgram engagement-studio-program
ランディングページ landing-page
E メールリスト list-email

追加の Salesforce 設定

Salesforceのデータ連携機能を使うためには、Glueデータベースに対して、Lake Formationで適切なアクセス許可の設定が必要です。アクセス許可がない場合は、ログから IngestionFailed を取得し、次のエラーが発生します。

"errorMessage": "Insufficient lake formation permissions on Target Glue database."

SAP OData ソースの設定

SAP OData ソースの接続を作成するには、 SAP OData への接続 を参照してください。

SAP OData ソースとのゼロ ETL 統合では、EntityOf で始まるエンティティがサポートされるようになりました。プライマリキーを上書きする機能は、現在 SAPOData EntityOf オブジェクトでのみサポートされています。このプロパティが設定されると、変更することはできません。

ServiceNow ソースの設定

ServiceNow ソースの接続を作成するには、 ServiceNow への接続 を参照してください。

Zendesk ソースの設定

Zendesk ソースの接続を作成するには、 Zendesk への接続 を参照してください。

ゼロ ETL 統合を使用すると、サポートされているエンティティに対して以下の DDL オペレーションを実行できます。

エンティティラベル エンティティ名 Create supported Update supported Delete supported
チケット tickets Y Y Y
ユーザー ユーザー Y Y Y
Satisfaction Rating satisfaction-rating Y Y N
記事 記事 Y Y N
組織 組織 Y Y Y
呼び出し calls Y Y N
Call Legs legs Y Y N

Zoho CRM ソースの設定

Zoho CRM ソースの接続を作成するには、 Zoho CRM への接続 を参照してください。

ゼロ ETL 統合を使用すると、サポートされているエンティティに対して以下の DDL オペレーションを実行できます。

エンティティラベル エンティティ名 DML-Insert supported DML-Modify supported DML-Delete supported DDL-Insert supported DDL-Modify supported DDL-Delete supported
Leads lead Y Y Y Y Y Y
アカウント アカウント Y Y Y Y Y Y
問い合わせ 問い合わせ Y Y Y Y Y Y
キャンペーン キャンペーン Y Y Y Y Y Y
タスク タスク Y Y Y Y Y Y
イベント イベント Y Y Y Y Y Y
呼び出し 呼び出し Y Y Y Y Y Y
解決方法 解決方法 Y Y Y Y Y Y
製品 製品 Y Y Y Y Y Y
ベンダー ベンダー Y Y Y Y Y Y
見積もり 見積もり Y Y Y Y Y Y
Sales Orders sales-order Y Y Y Y Y Y
Purchase Orders purchase-order Y Y Y Y Y Y
請求書 請求書 Y Y Y Y Y Y
事例 事例 Y Y Y Y Y Y
価格表 価格表 Y Y Y Y Y Y

Facebook 広告ソースの設定

Facebook 広告ソースの接続を作成するには、 Facebook 広告への接続 を参照してください。

ゼロ ETL 統合を使用すると、サポートされているエンティティに対して以下の DDL オペレーションを実行できます。

エンティティラベル エンティティ名 Create supported Update supported Delete supported
Adset */adsets Y Y Y
キャンペーン */campaigns Y Y Y
広告 */ads Y Y Y

Instagram 広告ソースの設定

Instagram 広告ソースの接続を作成するには、 Instagram 広告への接続 を参照してください。

ゼロ ETL 統合を使用すると、サポートされているエンティティに対して以下の DDL オペレーションを実行できます。

エンティティ名 Create supported Update supported Delete supported
*/adsets Y Y Y
*/campaigns Y Y Y
*/ads Y Y Y