Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Configurazione di un obiettivo per un'integrazione zero-ETL

Ci sono diverse opzioni offerte da AWS Glue quando si configura un target per un'integrazione zero-ETL. L'obiettivo può essere un Amazon Redshift data warehouse crittografato o un'architettura Lakehouse di Amazon. SageMaker

Prima di selezionare la destinazione per l'integrazione Zero-ETL, è necessario configurare una delle seguenti risorse di destinazione. Le opzioni di configurazione per una destinazione in un'integrazione Zero-ETL includono:

Configurazione di un bucket S3 per uso generico

Questa sezione descrive i prerequisiti e i passaggi di configurazione per configurare un bucket S3 generico come storage per il tuo target in un'integrazione zero-ETL, utilizzando l'architettura Lakehouse di Amazon. SageMaker

Prima di creare un'integrazione zero-ETL con l'architettura Lakehouse di Amazon SageMaker utilizzando lo storage S3 generico, devi completare le seguenti attività di configurazione:

Impostazione di un AWS Glue database

Per configurare un database di destinazione nel Data Catalog con una bucket location generica di Amazon S3:

Per informazioni sulla creazione di un nuovo database in AWS Glue, consulta Getting started with the Data Catalog.

È possibile anche usare la CLI create-database per creare il database in AWS Glue. Tenere presente che LocationUri in --database-input è obbligatorio.

Ottimizzazione delle tabelle Iceberg

Una volta creata una tabella AWS Glue nel database di destinazione, puoi abilitare la compattazione per velocizzare le query in Amazon Athena. Per informazioni sulla configurazione delle risorse (Ruolo IAM) per la compattazione, consultare Prerequisiti per l'ottimizzazione delle tabelle.

Per ulteriori informazioni sull'impostazione della compattazione sulla AWS Glue tabella creata dall'integrazione, consulta Ottimizzazione delle tabelle Iceberg.

Fornire una policy RBAC (Resource Based Access) per il catalogo

Per le integrazioni che utilizzano un AWS Glue database, aggiungi le seguenti autorizzazioni alla politica RBAC del catalogo per consentire le integrazioni tra origine e destinazione.

È possibile accedere alle Impostazioni del catalogo in Data Catalog. Fornire quindi le seguenti autorizzazioni e inserire le informazioni mancanti.

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Principal": {
        "AWS": [
            "arn:aws:iam::123456789012:user/Alice"
        ]
      },
      "Effect": "Allow",
      "Action": [
        "glue:CreateInboundIntegration"
      ],
      "Resource": [
          "arn:aws:glue:us-east-1:111122223333:catalog",
          "arn:aws:glue:us-east-1:111122223333:database/database-name"
      ],
      "Condition": {
        "StringLike": {
        "aws:SourceArn": "arn:aws:dynamodb:us-east-1:444455556666:table/table-name"
        }
      }
    },
    {
      "Principal": {
        "Service": [
          "glue.amazonaws.com"
        ]
      },
      "Effect": "Allow",
      "Action": [
        "glue:AuthorizeInboundIntegration"
      ],
      "Resource": [
          "arn:aws:glue:us-east-1:111122223333:catalog",
          "arn:aws:glue:us-east-1:111122223333:database/database-name"
      ],
      "Condition": {
        "StringEquals": {
        "aws:SourceArn": "arn:aws:dynamodb:us-east-1:444455556666:table/table-name"
        }
      }
    }
  ]
}

Creazione di un ruolo IAM di destinazione

Creare un ruolo IAM con le seguenti autorizzazioni e relazioni di fiducia:

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Action": "s3:ListBucket",
            "Resource": "arn:aws:s3:::amzn-s3-bucket",
            "Effect": "Allow"
        },
        {
            "Action": [
                "s3:GetObject",
                "s3:PutObject",
                "s3:DeleteObject"
            ],
            "Resource": "arn:aws:s3:::amzn-s3-demo-bucket/prefix/*",
            "Effect": "Allow"
        },
        {
            "Action": [
                "glue:GetDatabase"
            ],
            "Resource": [
                "arn:aws:glue:us-east-1:111122223333:catalog",
                "arn:aws:glue:us-east-1:111122223333:database/database-name"
            ],
            "Effect": "Allow"
        },
        {
            "Action": [
                "glue:CreateTable",
                "glue:GetTable",
                "glue:GetTables",
                "glue:DeleteTable",
                "glue:UpdateTable",
                "glue:GetTableVersion",
                "glue:GetTableVersions",
                "glue:GetResourcePolicy"
            ],
            "Resource": [
                "arn:aws:glue:us-east-1:111122223333:catalog",
                "arn:aws:glue:us-east-1:111122223333:database/database-name",
                "arn:aws:glue:us-east-1:111122223333:table/database-name/*"
            ],
            "Effect": "Allow"
        },
        {
            "Action": [
                "cloudwatch:PutMetricData"
            ],
            "Resource": "*",
            "Condition": {
                "StringEquals": {
                    "cloudwatch:namespace": "AWS/Glue/ZeroETL"
                }
            },
            "Effect": "Allow"
        },
        {
            "Action": [
                "logs:CreateLogGroup",
                "logs:CreateLogStream",
                "logs:PutLogEvents"
            ],
            "Resource": "*",
            "Effect": "Allow"
        }
    ]
}

Aggiungi la seguente politica di fiducia per consentire al AWS Glue servizio di assumere il ruolo:

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Principal": {
        "Service": "glue.amazonaws.com"
      },
      "Action": "sts:AssumeRole"
    }
  ]
}

Associa il ruolo di destinazione, KMS (opzionale) e Connection (opzionale) alla risorsa di destinazione

Associa il ruolo di destinazione sopra indicato alla risorsa di destinazione, ad esempio il AWS Glue database. Facoltativamente, è possibile configurare KMS per crittografare i dati prima di archiviarli nella tabella iceberg di destinazione e Connection ARN per accedere al bucket S3 per il database di destinazione. AWS Glue Ciò consentirà di accedere AWS Glue ai dati sulla posizione S3 di destinazione utilizzando il ruolo fornito e, facoltativamente, di crittografarli utilizzando la chiave KMS fornita. Se il bucket S3 di destinazione è configurato per essere accessibile utilizzando un determinato VPC, l'ARN di connessione può essere associato per consentire AWS Glue l'esecuzione dell'elaborazione all'interno di quel VPC. Per ulteriori informazioni sulla configurazione di un VPC, consulta Create a VPC. https://docs.aws.amazon.com/vpc/latest/userguide/create-vpc.html

Oppure utilizzando la CLI/API AWS Glue :

aws glue create-integration-resource-property \
--resource-arn arn:aws:glue:us-east-1:123456789012:database/database-name \
--target-processing-properties '{"RoleArn": "arn:aws:iam::123456789012:role/gmi_target_role"}' \
--region us-east-1

(Facoltativo) Configurare le proprietà della tabella di destinazione

Facoltativamente, le proprietà della tabella di destinazione possono essere configurate per le tabelle di destinazione che verranno sincronizzate con la destinazione.

Puoi configurare queste impostazioni nella sezione Impostazioni di output del flusso di lavoro di creazione dell'integrazione nella AWS Glue console:

Quando si seleziona Specifica chiavi di partizione personalizzate, è possibile configurare le chiavi di partizione e le relative specifiche di funzione e conversione:

Se l'origine e la destinazione si trovano nello stesso account, questa configurazione può essere eseguita come parte del flusso di lavoro di creazione dell'integrazione dall'interfaccia utente della AWS Glue console. Ma se la destinazione si trova in un account diverso, è necessario completare questa configurazione prima di creare l'integrazione. Quando si utilizza la CLI o l'API, questa operazione deve essere eseguita prima di richiamare l' Create-Integration API anche quando sia l'origine che la destinazione si trovano nello stesso account. AWS Glue L'interfaccia utente della console incapsula semplicemente questa chiamata API per lo stesso scenario di account.

Se non è configurato, verranno utilizzati i valori predefiniti durante la sincronizzazione della tabella. Questa configurazione può anche essere modificata in qualsiasi momento dopo la creazione dell'integrazione.

Conflitti tra proprietà della tabella Target

Due elementi identificano un insieme di proprietà della tabella di destinazione: l'ARN della risorsa di destinazione e il nome della tabella di origine. La risorsa di destinazione è il AWS Glue database per un target Amazon S3 generico. Per un target Amazon S3 Tables, è il catalogo Amazon S3 Tables. Ogni combinazione di risorsa di destinazione e tabella di origine può essere associata a una sola integrazione alla volta. Di conseguenza, due integrazioni non possono scrivere la stessa tabella di origine nella stessa risorsa di destinazione. Se crei una seconda integrazione per la stessa combinazione, AWS Glue identifica il conflitto e lo previene. Ciò impedisce a un'integrazione di sovrascrivere i dati di un'altra integrazione.

AWS Glue applica questa regola indipendentemente dal fatto che utilizzi la console, la CLI o l'API. Nella console, la fase delle impostazioni di output rileva i conflitti prima di continuare, quindi puoi risolverli prima di creare l'integrazione. Questo vale per le sorgenti a tabella singola come Amazon DynamoDB e per le fonti a più tabelle come le applicazioni SaaS. Le proprietà di destinazione di una tabella di origine possono essere di proprietà di una sola integrazione, quindi una tabella sorgente già rivendicata da un'altra integrazione non viene replicata dalla tua finché non risolvi il conflitto.

Il modo in cui la console mostra un conflitto dipende dal numero di tabelle di origine:

La schermata seguente mostra la tabella delle impostazioni di output multitabella (SaaS) con le colonne Azione richiesta e Note.

La console mostra il messaggio nella colonna Note per le sorgenti con più tabelle o nell'avviso in linea per le origini a tabella singola. Contrassegna una tabella di origine quando si verifica una delle seguenti condizioni:

Utilizzando la CLI o l'API:

aws glue create-integration-table-properties \
--resource-arn arn:aws:glue:us-east-1:123456789012:database/database-name \
--table-name table-name \
--target-table-config '{
        "UnnestSpec":"TOPLEVEL"|"FULL"|"NOUNNEST",
        "PartitionSpec":
            [
                {
                    "FieldName":"string",
                    "FunctionSpec":"string",
                    "ConversionSpec":"string"}
                    ...
             ],
         "TargetTableName":"string"
     }' \
--region us-east-1

Dopo aver configurato l'architettura Lakehouse di Amazon SageMaker con lo storage a bucket Amazon S3 generico, puoi procedere al Configurazione dell'integrazione con la destinazione completamento della configurazione dell'integrazione.

Configurazione di un bucket target di Amazon S3 Tables

Questa sezione descrive i prerequisiti e i passaggi di configurazione per configurare Amazon S3 Tables come obiettivo per l'integrazione zero-ETL, utilizzando l'architettura Lakehouse di Amazon. SageMaker

Prima di creare un'integrazione Zero-ETL con Tabelle Amazon S3 come destinazione, è necessario completare le seguenti attività di configurazione:

Configura il bucket di tabelle Amazon S3 (con integrazione dei servizi di analisi)

Fornire la policy RBAC del catalogo

È necessario aggiungere le seguenti autorizzazioni alla Policy RBAC del catalogo per consentire le integrazioni tra l'origine e la destinazione del catalogo Tabelle Amazon S3.

La politica sulle risorse di Target AWS Glue Catalog deve includere le autorizzazioni AWS Glue di servizio per. AuthorizeInboundIntegration Inoltre, è richiesta CreateInboundIntegration l'autorizzazione sull'entità principale di origine che crea l'integrazione o nella politica AWS Glue delle risorse di destinazione.

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Principal": {
        "AWS": [
            "arn:aws:iam::123456789012:user/Alice"
        ]
      },
      "Effect": "Allow",
      "Action": [
        "glue:CreateInboundIntegration"
      ],
      "Resource": [
          "arn:aws:glue:us-east-1:111122223333:catalog/s3tablescatalog/*"
      ],
      "Condition": {
        "StringLike": {
        "aws:SourceArn": "arn:aws:dynamodb:us-east-1:444455556666:table/table-name"
        }
      }
    },
    {
      "Principal": {
        "Service": [
          "glue.amazonaws.com"
        ]
      },
      "Effect": "Allow",
      "Action": [
        "glue:AuthorizeInboundIntegration"
      ],
      "Resource": [
      "arn:aws:glue:us-east-1:111122223333:catalog/s3tablescatalog/*"
      ],
      "Condition": {
        "StringEquals": {
        "aws:SourceArn": "arn:aws:dynamodb:us-east-1:444455556666:table/table-name"
        }
      }
    }
  ]
}

Creare un ruolo IAM

Creare un ruolo IAM con le seguenti autorizzazioni e relazioni di fiducia:

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Action": [
        "s3tables:ListTableBuckets",
        "s3tables:GetTableBucket",
        "s3tables:GetTableBucketEncryption",
        "s3tables:GetNamespace",
        "s3tables:CreateNamespace",
        "s3tables:ListNamespaces",
        "s3tables:CreateTable",
        "s3tables:DeleteTable",
        "s3tables:GetTable",
        "s3tables:GetTableEncryption",
        "s3tables:ListTables",
        "s3tables:GetTableMetadataLocation",
        "s3tables:UpdateTableMetadataLocation",
        "s3tables:GetTableData",
        "s3tables:PutTableData"
      ],
      "Resource": "arn:aws:s3tables:us-east-1:111122223333:bucket/s3-table-bucket",
      "Effect": "Allow"
    },
    {
      "Action": [
        "cloudwatch:PutMetricData"
      ],
      "Resource": "*",
      "Condition": {
        "StringEquals": {
          "cloudwatch:namespace": "AWS/Glue/ZeroETL"
        }
      },
      "Effect": "Allow"
    },
    {
      "Action": [
        "logs:CreateLogGroup",
        "logs:CreateLogStream",
        "logs:PutLogEvents"
      ],
      "Resource": "*",
      "Effect": "Allow"
    }
  ]
}

Aggiungi la seguente policy di fiducia nel ruolo IAM di destinazione per consentire al AWS Glue Service di assumerla:

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Principal": {
        "Service": "glue.amazonaws.com"
      },
      "Action": "sts:AssumeRole"
    }
  ]
}

Associa il ruolo di destinazione, KMS (opzionale) e Connection (opzionale) alla risorsa di destinazione

Associa il ruolo di destinazione sopra indicato alla risorsa di destinazione. Facoltativamente, è possibile configurare KMS per crittografare i dati prima dell'archiviazione nella tabella iceberg di destinazione e Connection ARN per accedere al bucket S3 di destinazione. Se il bucket S3 di destinazione è configurato per essere accessibile utilizzando un determinato VPC, l'ARN di connessione può essere associato per consentire l'esecuzione dell'elaborazione all'interno di quel VPC. AWS Glue Per ulteriori informazioni sulla configurazione di un VPC, consulta Create a VPC. https://docs.aws.amazon.com/vpc/latest/userguide/create-vpc.html

Utilizzo della AWS Glue CLI/API:

aws glue create-integration-resource-property \
--resource-arn arn:aws:glue:us-east-1:123456789012:catalog/s3tablescatalog/S3 table bucket name \
--target-processing-properties '{
                    "RoleArn": "arn:aws:iam::123456789012:role/target_role"
                }' \
--region us-east-1

(Facoltativo) Configurare le proprietà della tabella di destinazione

Facoltativamente, le proprietà della tabella di destinazione possono essere configurate per le tabelle di destinazione che verranno sincronizzate con la destinazione. Si applicano le stesse regole descritte nella sezione sugli obiettivi S3 per uso generico. Per l'elenco completo delle condizioni di conflitto, vedereConflitti tra proprietà della tabella Target.

Utilizzo della CLI o dell'API:

aws glue create-integration-table-properties \
--resource-arn arn:aws:glue:us-east-1:123456789012:catalog/s3tablescatalog/S3 table bucket name \
--table-name table-name \
--target-table-config '' \
--region us-east-1

Dopo aver configurato lo S3-Tables storage Amazon utilizzando l'architettura Lakehouse di Amazon SageMaker, puoi procedere Configurazione dell'integrazione con la destinazione al completamento della configurazione dell'integrazione.

Configurazione di un Amazon Redshift Obiettivo di archiviazione gestito

Questa sezione descrive i prerequisiti e i passaggi di configurazione per configurare uno storage Amazon Redshift gestito (RMS) come destinazione per l'integrazione zero-ETL, utilizzando l'architettura Lakehouse di Amazon. SageMaker

Prima di creare un'integrazione Zero-ETL con un'architettura Lakehouse di Amazon SageMaker utilizzando lo storage gestito Redshift, devi completare le seguenti attività di configurazione:

Configurazione Amazon Redshift archiviazione gestita

Per configurare lo storage Amazon Redshift gestito per l'integrazione Zero-ETL:

Dopo aver configurato il catalogo Amazon SageMaker Lakehouse con storage Amazon Redshift gestito, puoi procedere Configurazione dell'integrazione con la destinazione al completamento della configurazione dell'integrazione.

Configurazione di un Amazon Redshift obiettivo del data warehouse

Questa sezione descrive i prerequisiti e le fasi di configurazione per configurare un Amazon Redshift data warehouse come obiettivo per l'integrazione Zero-ETL.

Prima di creare un'integrazione Zero-ETL con una destinazione di Amazon Redshift data warehouse, è necessario completare le seguenti attività di configurazione:

Configurazione di Amazon Redshift data warehouse

Per configurare un Amazon Redshift data warehouse per l'integrazione Zero-ETL:

Dopo aver configurato il Amazon Redshift data warehouse, puoi procedere Configurazione dell'integrazione con la destinazione al completamento della configurazione dell'integrazione.

Configurazione dell'integrazione con la destinazione

Dopo aver configurato le risorse di origine e di destinazione, segui questi passaggi per completare la configurazione dell'integrazione:

Usa quanto segue per creare l'integrazione tramite API o CLI: API. CreateIntegration