Configurazione di una destinazione di un'integrazione Zero-ETL - AWS Glue
SageMaker Lakehouse con storage S3Destinazione di Tabelle S3SageMaker Lakehouse con spazio di archiviazione Amazon Redshift Amazon Redshift destinazione del data warehouseConfigurazione della destinazione dell'integrazione

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Configurazione di una destinazione di un'integrazione Zero-ETL

Esistono diverse opzioni offerte AWS durante la configurazione di un target per un'integrazione zero-ETL. L'obiettivo può essere un Amazon Redshift data warehouse crittografato o un catalogo Amazon SageMaker Lakehouse.

Prima di selezionare la destinazione per l'integrazione Zero-ETL, è necessario configurare una delle seguenti risorse di destinazione.

Le opzioni di configurazione per una destinazione in un'integrazione Zero-ETL includono:

Nota

Non è possibile modificare la destinazione di un'integrazione Zero-ETL dopo la creazione.

Configurazione di un catalogo Amazon SageMaker Lakehouse con un normale storage S3

Questa sezione descrive i prerequisiti e i passaggi di configurazione per configurare un normale bucket Amazon S3 come storage per la destinazione del catalogo SageMaker Amazon Lakehouse in un'integrazione zero-ETL.

Prerequisiti per la configurazione di un'integrazione

Prima di creare un'integrazione zero-ETL con un catalogo Amazon SageMaker Lakehouse utilizzando il normale storage S3, devi completare le seguenti attività di configurazione:

  1. Configura un database AWS Glue

  2. Fornire la policy RBAC del catalogo

  3. Creare un ruolo IAM

Dopo aver configurato il catalogo Amazon SageMaker Lakehouse con il normale storage Amazon S3, puoi procedere con il completamento della configurazione dell'integrazioneConfigurazione dell'integrazione con la destinazione.

Configurazione di Tabelle Amazon S3 come destinazione

Questa sezione descrive i prerequisiti e i passaggi di configurazione per configurare Tabelle Amazon S3 come destinazione per l'integrazione Zero-ETL.

Prerequisiti per la configurazione di un'integrazione

Prima di creare un'integrazione Zero-ETL con Tabelle Amazon S3 come destinazione, è necessario completare le seguenti attività di configurazione:

  1. Configurare il bucket Tabelle Amazon S3

  2. Fornire la policy RBAC del catalogo

  3. Creare un ruolo IAM

Configurare il bucket Tabelle Amazon S3

  1. Creare un bucket Tabelle S3 nel proprio account seguendo le istruzioni in Nozioni di base su Tabelle Amazon S3.

  2. Abilita le integrazioni di Analytics con il tuo bucket S3-Table seguendo queste istruzioni: Integrazione dei servizi con AWS Amazon S3 Tables.

Fornire la policy RBAC del catalogo

È necessario aggiungere le seguenti autorizzazioni alla Policy RBAC del catalogo per consentire le integrazioni tra l'origine e la destinazione del catalogo Tabelle Amazon S3.

La politica delle risorse di Target AWS Glue Catalog deve includere le autorizzazioni del servizio Glue per AuthorizeInboundIntegration. Inoltre, è richiesta l' CreateInboundIntegration autorizzazione sul principale di origine che crea l'integrazione o nella politica AWS Glue delle risorse di destinazione.

Nota

In uno scenario che coinvolge più account, sia la policy relativa alle risorse dell'indirizzo principale che quella AWS Glue del catalogo di destinazione devono includere i CreateInboundIntegration permessi di accesso alla risorsa.

JSON
{
  "Version":"2012-10-17",		 	 	 
  "Statement": [
    {
      "Principal": {
        "AWS": [
        	"arn:aws:iam::123456789012:user/Alice"
        ]
      },
      "Effect": "Allow",
      "Action": [
        "glue:CreateInboundIntegration"
      ],
      "Resource": [
	      "arn:aws:glue:us-east-1:111122223333:catalog/<s3tablescatalog>/*"
      ],
      "Condition": {
        "StringLike": {
        "aws:SourceArn": "arn:aws:dynamodb:us-east-1:444455556666:table/<table-name>"
        }
      }
    },
    {
      "Principal": {
        "Service": [
          "glue.amazonaws.com"
        ]
      },
      "Effect": "Allow",
      "Action": [
        "glue:AuthorizeInboundIntegration"
      ],
      "Resource": [
      "arn:aws:glue:us-east-1:111122223333:catalog/<s3tablescatalog>/*"
      ],
      "Condition": {
        "StringEquals": {
        "aws:SourceArn": "arn:aws:dynamodb:us-east-1:444455556666:table/<table-name>"
        }
      }
    }
  ]
}
Nota

Sostituire <s3tablescatalog> con il nome del catalogo delle tabelle S3.

Creare un ruolo IAM

Creare un ruolo IAM con le seguenti autorizzazioni e relazioni di fiducia:

Policy IAM di esempio:

JSON
{
  "Version":"2012-10-17",		 	 	 
  "Statement": [
    {
      "Action": [
        "s3tables:ListTableBuckets",
        "s3tables:GetTableBucket",
        "s3tables:GetTableBucketEncryption",
        "s3tables:GetNamespace",
        "s3tables:CreateNamespace",
        "s3tables:ListNamespaces",
        "s3tables:CreateTable",
        "s3tables:GetTable",
        "s3tables:GetTableEncryption",
        "s3tables:ListTables",
        "s3tables:GetTableMetadataLocation",
        "s3tables:UpdateTableMetadataLocation",
        "s3tables:GetTableData",
        "s3tables:PutTableData"
      ],
      "Resource": "arn:aws:s3tables:us-east-1:111122223333:bucket/*",
      "Effect": "Allow"
    },
    {
      "Action": [
        "cloudwatch:PutMetricData"
      ],
      "Resource": "*",
      "Condition": {
        "StringEquals": {
          "cloudwatch:namespace": "AWS/Glue/ZeroETL"
        }
      },
      "Effect": "Allow"
    },
    {
      "Action": [
        "logs:CreateLogGroup",
        "logs:CreateLogStream",
        "logs:PutLogEvents"
      ],
      "Resource": "*",
      "Effect": "Allow"
    }
  ]
}

Aggiungi la seguente politica di fiducia nel ruolo IAM di Target per consentire al AWS Glue servizio di assumerla:

JSON
{
  "Version":"2012-10-17",		 	 	 
  "Statement": [
    {
      "Effect": "Allow",
      "Principal": {
        "Service": "glue.amazonaws.com"
      },
      "Action": "sts:AssumeRole"
    }
  ]
}
Nota

Assicurarsi che non sia presente un'istruzione DENY esplicita per questo ruolo IAM di destinazione nella policy delle risorse del bucket S3-Tables. Un DENY esplicito sovrascriverebbe qualsiasi autorizzazione ALLOW e impedirebbe il corretto funzionamento dell'integrazione.

Configurazione di un catalogo Amazon SageMaker Lakehouse con storage gestito Amazon Redshift

Questa sezione descrive i prerequisiti e i passaggi di configurazione per configurare un catalogo Amazon SageMaker Lakehouse con storage Amazon Redshift gestito (RMS) come destinazione per l'integrazione zero-ETL.

Prerequisiti per la configurazione di un'integrazione

Prima di creare un'integrazione zero-ETL con un catalogo Amazon SageMaker Lakehouse utilizzando lo storage gestito Redshift, devi completare le seguenti attività di configurazione:

  1. Configura un cluster o un gruppo di lavoro Serverless Amazon Redshift

  2. Registra l' Amazon Redshift integrazione con Lake Formation

  3. Creazione di un catalogo gestito in Lake Formation

  4. Configurazione delle autorizzazioni IAM

Configurazione dello storage Amazon Redshift gestito

Per configurare lo storage Amazon Redshift gestito per l'integrazione Zero-ETL:

  1. Creare o usare un cluster Amazon Redshift o un gruppo di lavoro Serverless esistente. Assicurati che il enable_case_sensitive_identifier parametro sia attivato per il Amazon Redshift gruppo di lavoro o il cluster di destinazione affinché l'integrazione abbia successo. Per ulteriori informazioni sull’attivazione della distinzione tra maiuscole e minuscole, consulta Attivazione della distinzione tra maiuscole e minuscole per il data warehouse nella Guida alla gestione di Amazon Redshift.

  2. Registrare un'integrazione da Redshift nel catalogo in AWS Lake Formation. Vedi Registrazione di Amazon Redshift cluster e namespace nel Data Catalog. AWS Glue

  3. Crea un catalogo federato o gestito in. AWS Lake Formation Per ulteriori informazioni, consultare:

  4. Configurare le autorizzazioni IAM per il ruolo di destinazione. Il ruolo richiede le autorizzazioni per accedere alle risorse di Redshift e Lake Formation. Il ruolo dovrebbe avere almeno:

    • Autorizzazioni di accesso al cluster o gruppo di lavoro Redshift

    • Autorizzazioni per accedere al catalogo Lake Formation

    • Autorizzazioni per creare e gestire tabelle nel catalogo

    • CloudWatch e CloudWatch registra le autorizzazioni per il monitoraggio

Dopo aver configurato il catalogo Amazon SageMaker Lakehouse con lo storage gestito Amazon Redshift, puoi procedere Configurazione dell'integrazione con la destinazione al completamento della configurazione dell'integrazione.

Configurazione di un obiettivo di data warehouse Amazon Redshift

Questa sezione descrive i prerequisiti e i passaggi di configurazione per configurare un Amazon Redshift data warehouse come destinazione per l'integrazione zero-ETL.

Prerequisiti per la configurazione di un'integrazione

Prima di creare un'integrazione zero-ETL con un obiettivo di Amazon Redshift data warehouse, è necessario completare le seguenti attività di configurazione:

  1. Configurare un Amazon Redshift cluster o un gruppo di lavoro Serverless

  2. Configurazione della distinzione tra maiuscole e minuscole

  3. Configurazione delle autorizzazioni IAM

Configurazione del Amazon Redshift data warehouse

Per configurare un Amazon Redshift data warehouse per l'integrazione Zero-ETL:

  1. Andare alla console Amazon Redshift e fare clic su Crea cluster o utilizzare un cluster esistente. Per un gruppo di lavoro Amazon Redshift serverless, fare clic su Crea gruppo di lavoro.

  2. Se crei un nuovo cluster, scegli una dimensione del cluster appropriata e assicurarsi che il cluster sia crittografato. Per Serverless, configurare le impostazioni del gruppo di lavoro in base alle proprie esigenze.

  3. Assicurati che il enable_case_sensitive_identifier parametro sia attivato per il Amazon Redshift gruppo di lavoro o il cluster di destinazione affinché l'integrazione abbia successo. Per ulteriori informazioni sull’attivazione della distinzione tra maiuscole e minuscole, consulta Attivazione della distinzione tra maiuscole e minuscole per il data warehouse nella Guida alla gestione di Amazon Redshift.

  4. Configura le autorizzazioni IAM per consentire all'integrazione Zero-ETL di accedere al tuo data warehouse. Amazon Redshift Sarà necessario creare un ruolo IAM con le seguenti autorizzazioni:

    • Autorizzazioni per accedere al cluster o al gruppo di lavoro Amazon Redshift

    • Autorizzazioni per creare e gestire database e tabelle in Amazon Redshift

    • CloudWatch e Amazon CloudWatch registra le autorizzazioni per il monitoraggio

  5. Una volta completata la configurazione del Amazon Redshift gruppo di lavoro o del cluster, è necessario configurare il data warehouse per le integrazioni zero-ETL. Per ulteriori informazioni consultare Nozioni base sulle integrazioni Zero-ETL nella Guida alla gestione di Amazon Redshift.

Nota

Quando si utilizza un Amazon Redshift data warehouse come destinazione, l'integrazione crea uno schema nel database specificato per archiviare i dati replicati. Il nome dello schema deriva dal nome dell'integrazione.

Dopo aver configurato il Amazon Redshift data warehouse, puoi procedere Configurazione dell'integrazione con la destinazione al completamento della configurazione dell'integrazione.

Configurazione dell'integrazione con la destinazione

Dopo aver configurato le risorse di destinazione, selezionato la connessione e specificato un ruolo IAM di origine, seguire questi passaggi per completare la configurazione dell'integrazione:

  1. Specificare la destinazione che è stata configurata nei passaggi precedenti.

  2. Seleziona l'opzione AWS Glue Correggi per me. Per il Amazon Redshift bersaglio, questo consentirà di:

    • Applicare un servizio principale autorizzato sul Amazon Redshift cluster o sul gruppo di lavoro Serverless.

    • Applica un ARN AWS Glue di origine autorizzato al Amazon Redshift cluster o al gruppo di lavoro Serverless.

    • Associare un nuovo set di parametri con enable_case_sensitive_identifier = true.

    La schermata mostra la selezione di unaere destinazione in un'integrazione Zero-ETL.

  3. Fornire il nome dell'integrazione e scegliere Crea e avvia integrazione.

  4. Una volta che l'integrazione è attiva, andare alla pagina dei dettagli dell'integrazione e scegliere Crea un database dall'integrazione.

  5. Infine, è possibile accedere all'editor di query di Redshift e connettersi al proprio database per convalidare lo snapshot e i dati incrementali.

Nota

Nel namespace o nel nome del catalogo si possono utilizzare solo caratteri alfanumerici minuscoli e caratteri di sottolineatura. Questo è diverso da ciò che consente il AWS Glue Data Catalog per creare un database con qualsiasi nome (compresi i caratteri speciali).