Prerequisiti Autorizzazioni richieste Creazione di integrazioni zero-ETL con un lakehouse Amazon SageMaker Integrazioni crittografate Passaggi successivi

Creazione di Aurora con un lago Amazon SageMaker

Quando crei un'integrazione Zero-ETL di Aurora con Amazon SageMaker un lakehouse, specifichi il di origine, il cluster Aurora DB e il catalogo gestito di destinazione. AWS Glue Puoi anche personalizzare le impostazioni di crittografia e aggiungere tag. Aurora crea un'integrazione tra il cluster DB del database di e la sua destinazione. Una volta che l'integrazione è attiva, tutti i dati inseriti nel cluster DB del di origine verranno replicati nella destinazione configurata.

Prerequisiti

Prima di creare un'integrazione zero-ETL con un Amazon SageMaker lakehouse, è necessario creare un cluster DB del di destinazione. AWS Glue È inoltre necessario consentire la replica nel catalogo aggiungendo il cluster DB del come fonte di integrazione autorizzata.

Per istruzioni su come completare ciascuno di questi passaggi, consulta Guida introduttiva alle integrazioni Zero-ETL di Aurora.

Autorizzazioni richieste

Sono necessarie determinate autorizzazioni IAM per creare un'integrazione zero-ETL con un lakehouse. Amazon SageMaker Come requisito minimo, dovrai disporre delle autorizzazioni per eseguire le seguenti operazioni:

Crea integrazioni zero-ETL per il cluster Aurora DB del RDS di origine.
Visualizzazione ed eliminazione di tutte le integrazioni Zero-ETL.
Crea integrazioni in entrata nel catalogo gestito di destinazione. AWS Glue
Accedi ai bucket Amazon S3 utilizzati dal catalogo gestito. AWS Glue
Usa AWS KMS le chiavi per la crittografia se è configurata una crittografia personalizzata.
Registra le risorse con Lake Formation.
Inserisci la politica delle risorse nel catalogo AWS Glue gestito per autorizzare le integrazioni in entrata.

La seguente policy di esempio mostra le autorizzazioni con privilegi minimi richieste per creare e gestire le integrazioni con un Lakehouse. Amazon SageMaker Potresti non aver bisogno di queste autorizzazioni esatte se il tuo utente o ruolo dispone di autorizzazioni più ampie, come una policy gestita. AdministratorAccess

Inoltre, è necessario configurare una politica delle risorse sul catalogo AWS Glue gestito di destinazione per autorizzare le integrazioni in entrata. Utilizza il AWS CLI comando seguente per applicare la politica delle risorse.


aws glue put-resource-policy \
      --policy-in-json  '{
    "Version": "2012-10-17",
    "Statement": [{
        "Effect": "Allow",
        "Principal": {
            "Service": "glue.amazonaws.com"
        },
        "Action": [
            "glue:AuthorizeInboundIntegration"
        ],
        "Resource": ["arn:aws:glue:region:account_id:catalog/catalog_name"],
        "Condition": {
            "StringEquals": {
                "aws:SourceArn": "arn:aws:rds:region:account_id:db:source_name"
            }
        }
    },
    {
        "Effect": "Allow",
        "Principal": {
            "AWS": "account_id"
        },
        "Action": ["glue:CreateInboundIntegration"],
        "Resource": ["arn:aws:glue:region:account_id:catalog/catalog_name"]
    }
    ]
}' \
      --region region

Nota

Il catalogo Glue Amazon Resource Names (ARNs) ha il seguente formato:

Catalogo Glue — arn:aws:glue:{region}:{account-id}:catalog/catalog-name

Scelta di un catalogo AWS Glue gestito di destinazione in un altro account

Se prevedi di specificare un catalogo AWS Glue gestito di destinazione che si trova in un altro Account AWS, devi creare un ruolo che consenta agli utenti dell'account corrente di accedere alle risorse nell'account di destinazione. Per ulteriori informazioni, consulta Fornire l'accesso a un utente IAM in un altro Account AWS utente di tua proprietà.

Il ruolo deve disporre delle seguenti autorizzazioni, che consentono all'utente di visualizzare AWS Glue i cataloghi disponibili nell'account di destinazione.


{
   "Version":"2012-10-17",
   "Statement":[
      {
         "Effect":"Allow",
         "Action":[
            "glue:GetCatalog"
         ],
         "Resource":[
            "*"
         ]
      }
   ]
}

Il ruolo deve avere la seguente policy di attendibilità, che specifica l'ID dell'account di destinazione.


{
   "Version":"2012-10-17",
   "Statement":[
      {
         "Effect":"Allow",
         "Principal":{
            "AWS": "arn:aws:iam::{external-account-id}:root"
         },
         "Action":"sts:AssumeRole"
      }
   ]
}

Per istruzioni sulla creazione del ruolo, consulta Creazione di un ruolo utilizzando policy di attendibilità personalizzate.

Creazione di integrazioni zero-ETL con un lakehouse Amazon SageMaker

Puoi creare un'integrazione zero-ETL con un Amazon SageMaker lakehouse utilizzando l'API, the o RDS. AWS Management Console AWS CLI

Importante

Le integrazioni zero-ETL con un lakehouse non supportano le operazioni di aggiornamento o risincronizzazione. Amazon SageMaker Se riscontri problemi con un'integrazione dopo la creazione, devi eliminare l'integrazione e crearne una nuova.

Per creare un'integrazione zero-ETL con un lago Amazon SageMaker

Accedi a AWS Management Console e apri la console Amazon RDS all'indirizzo https://console.aws.amazon.com/rds/.
Nel pannello di navigazione a sinistra, scegli Interfacce di rete.
Scegli Crea un'integrazione Zero-ETL.
In Identificatore dell'integrazione, inserisci un nome per l'integrazione. Il nome può contenere fino a 63 caratteri alfanumerici e può includere trattini.
Scegli Next (Successivo).
Per Origine, seleziona il cluster Aurora DB del da cui provengono i dati.

Nota
RDS avvisa l'utente se i parametri del cluster DB non sono configurati correttamente. Se ricevi questo messaggio, puoi scegliere Correggi per me o configurarli manualmente. Per istruzioni su come correggerli manualmente, consulta Fase 1: creazione di un gruppo di parametri del cluster DB personalizzato.
La modifica dei parametri del cluster DB richiede un riavvio.
(Facoltativo) Seleziona Personalizza le opzioni di filtraggio dei dati e aggiungi filtri di dati alla tua integrazione. Puoi utilizzare i filtri di dati per definire l'ambito della replica nel lago di destinazioneAmazon SageMaker. Per ulteriori informazioni, consulta Filtraggio dei dati per le integrazioni Zero-ETL di .
Una volta configurato correttamente il cluster DB del di origine, scegli Avanti.
Per Destinazione, esegui queste operazioni:
1. (Facoltativo) Per utilizzarne uno diverso Account AWS per il target di Amazon SageMaker Lakehouse, scegli Specificare un account diverso. Quindi, inserisci l'ARN di un ruolo IAM con le autorizzazioni per visualizzare i tuoi cataloghi. AWS Glue Per istruzioni su come creare il ruolo IAM, consulta Scelta di un catalogo AWS Glue gestito di destinazione in un altro account.
2. È possibile scegliere un catalogo AWS Glue gestito esistente come destinazione.
3. Il ruolo IAM di destinazione deve descrivere le autorizzazioni sul catalogo di destinazione e deve disporre delle seguenti autorizzazioni:
```
{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "VisualEditor0",
            "Effect": "Allow",
            "Action": "glue:GetCatalog",
            "Resource": [
                "arn:aws:glue:region:account-id:catalog/*",
                "arn:aws:glue:region:account-id:catalog"
            ]
        }
    ]
}
```
  Il ruolo IAM di destinazione deve avere la seguente relazione di fiducia:
```
{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Principal": {
                "Service": "glue.amazonaws.com"
            },
            "Action": "sts:AssumeRole"
        }
    ]
}
```
4. È necessario concedere al ruolo IAM di destinazione le autorizzazioni di descrizione del ruolo per il catalogo AWS Glue gestito di destinazione con il ruolo di amministratore Lake Formation creato inFase 3b: Creare un AWS Glue catalogo per Amazon SageMaker l'integrazione zero-ETL.
Nota
RDS ti avvisa se la politica delle risorse o le impostazioni di configurazione per il catalogo AWS Glue gestito specificato non sono configurate correttamente. Se ricevi questo messaggio, puoi scegliere Correggi per me o configurarli manualmente.
Se l'origine e la destinazione selezionate si trovano in Account AWS diversi, Amazon RDS non può correggere queste impostazioni per te. È necessario accedere all'altro account e correggerli manualmente in. SageMaker Unified Studio
Una volta configurato correttamente il catalogo AWS Glue gestito di destinazione, scegli Avanti.
(Facoltativo) In Tag, aggiungi uno o più tag all'integrazione. Per ulteriori informazioni, consulta Etichettatura di Amazon Aurora e risorse Amazon RDS.
In Crittografia, specifica come eseguire la crittografia dell'integrazione. Per impostazione predefinita, RDS crittografa tutte le integrazioni con un. Chiave di proprietà di AWS Per scegliere invece una chiave gestita dal cliente, abilita Personalizza le impostazioni di crittografia e scegli una chiave KMS da utilizzare per la crittografia. Per ulteriori informazioni, consulta Crittografia delle risorse Amazon Aurora.

Aggiungi un contesto di crittografia (facoltativo). Per ulteriori informazioni, consultare Contesto della crittografia nella Guida per gli sviluppatori di AWS Key Management Service .
Nota
Amazon RDS aggiunge le seguenti coppie di contesti di crittografia oltre a quelle che aggiungi:
- aws:glue:integration:arn - IntegrationArn
- aws:servicename:id - glue
Ciò riduce il numero complessivo di coppie che puoi aggiungere da 8 a 6 e contribuisce al limite complessivo di caratteri del vincolo di concessione. Per ulteriori informazioni, consulta Using grant constraints nella Developer Guide.AWS Key Management Service
Scegli Next (Successivo).
Rivedi le impostazioni dell'integrazione e scegli Crea un'integrazione Zero-ETL.

Se la creazione ha esito negativo, consulta Risoluzione dei problemi relativi alle integrazioni zero-ETL di Aurora per la procedura di risoluzione dei problemi.

Lo stato dell'integrazione è in fase Creating di creazione e lo stato del Amazon SageMaker lakehouse di destinazione è pari a. Modifying Durante questo periodo, non è possibile interrogare il catalogo o apportare modifiche alla configurazione.

Quando l'integrazione viene creata correttamente, lo stato dell'integrazione e del Amazon SageMaker lakehouse di destinazione cambiano entrambi in. Active

Per preparare un catalogo AWS Glue gestito di destinazione per l'integrazione zero-ETL utilizzando il AWS CLI, è necessario innanzitutto utilizzare il create-integration-resource-propertycomando con le seguenti opzioni:

--resource-arn— Specificare l'ARN del catalogo AWS Glue gestito che sarà la destinazione per l'integrazione.
--target-processing-properties— Specificare l'ARN del ruolo IAM per accedere al catalogo gestito di destinazione AWS Glue


aws glue create-integration-resource-property --region us-east-1
 --resource-arn arn:aws:glue:region:account_id:catalog/catalog_name \
 --target-processing-properties '{"RoleArn" : "arn:aws:iam::account_id:role/TargetIamRole"}'

Per creare un'integrazione zero-ETL con un Amazon SageMaker lakehouse utilizzando il AWS CLI, utilizza il comando create-integration con le seguenti opzioni:

--integration-name: specifica un nome per l'integrazione.
--source-arn— Specificare l'ARN del cluster Aurora DB che sarà l'origine dell'integrazione.
--target-arn— Specificare l'ARN del catalogo AWS Glue gestito che sarà la destinazione per l'integrazione.

Per LinuxmacOS, oUnix:


aws rds create-integration \
    --integration-name my-sagemaker-integration \
    --source-arn arn:aws:rds:{region}:{account-id}:my-db \
    --target-arn arn:aws:glue:{region}:{account-id}:catalog/catalog-name

Per Windows:


aws rds create-integration ^
    --integration-name my-sagemaker-integration ^
    --source-arn arn:aws:rds:{region}:{account-id}:my-db ^
    --target-arn arn:aws:glue:{region}:{account-id}:catalog/catalog-name

Per creare un'integrazione zero-ETL con Amazon SageMaker l'API Amazon RDS, utilizza l'CreateIntegrationoperazione con i seguenti parametri:

Nota

I nomi dei cataloghi sono limitati a 19 caratteri. Assicurati che il IntegrationName parametro soddisfi questo requisito se verrà utilizzato come nome di catalogo.

IntegrationName: specifica un nome per l'integrazione.
SourceArn— Specificare l'ARN del cluster Aurora DB che sarà l'origine dell'integrazione.
TargetArn— Specificare l'ARN del catalogo AWS Glue gestito che sarà la destinazione per l'integrazione.

Crittografia delle integrazioni con una chiave gestita dal cliente

Se si specifica una chiave KMS personalizzata anziché una Chiave di proprietà di AWS quando si crea un'integrazione conAmazon SageMaker, la politica chiave deve fornire al SageMaker Unified Studio servizio l'accesso principale all'azione. CreateGrant Inoltre, deve consentire all'utente corrente di eseguire le CreateGrant azioni DescribeKey e.

La seguente politica di esempio mostra come fornire le autorizzazioni richieste nella politica chiave. Include chiavi contestuali per ridurre ulteriormente l'ambito delle autorizzazioni.


{
    "Version": "2012-10-17",
    "Id": "Key policy",
    "Statement": [
        {
            "Sid": "Enables IAM user permissions",
            "Effect": "Allow",
            "Principal": {
                "AWS": "arn:aws:iam::{account-ID}:root"
            },
            "Action": "kms:*",
            "Resource": "*"
        },
        {
            "Sid": "Allows the Glue service principal to add a grant to an AWS KMS key",
            "Effect": "Allow",
            "Principal": {
                "Service": "glue.amazonaws.com"
            },
            "Action": "kms:CreateGrant",
            "Resource": "*",
            "Condition": {
                "StringEquals": {
                    "kms:EncryptionContext:{context-key}":"{context-value}"
                },
                "ForAllValues:StringEquals": {
                    "kms:GrantOperations": [
                        "Decrypt",
                        "GenerateDataKey",
                        "CreateGrant"
                    ]
                }
            }
        },
        {
            "Sid": "Allows the current user or role to add a grant to a KMS key",
            "Effect": "Allow",
            "Principal": {
                "AWS": "arn:aws:iam::{account-ID}:role/{role-name}"
            },
            "Action": "kms:CreateGrant",
            "Resource": "*",
            "Condition": {
                "StringEquals": {
                    "kms:EncryptionContext:{context-key}":"{context-value}",
                    "kms:ViaService": "rds.us-east-1.amazonaws.com"
                },
                "ForAllValues:StringEquals": {
                    "kms:GrantOperations": [
                        "Decrypt",
                        "GenerateDataKey",
                        "CreateGrant"
                    ]
                }
            }
        },
        {
            "Sid": "Allows the current uer or role to retrieve information about a KMS key",
            "Effect": "Allow",
            "Principal": {
                "AWS": "arn:aws:iam::{account-ID}:role/{role-name}"
            },
            "Action": "kms:DescribeKey",
            "Resource": "*"
        }
    ]
}

Per ulteriori informazioni, consulta Creazione di una policy delle chiavi nella Guida per gli sviluppatori di AWS Key Management Service .

Passaggi successivi

Dopo aver creato con successo un'integrazione zero-ETL conAmazon SageMaker, puoi iniziare ad aggiungere dati al di origine del cluster Aurora DB e interrogarli nel tuo lago. Amazon SageMaker I dati verranno replicati automaticamente e resi disponibili per carichi di lavoro di analisi e apprendimento automatico.

Avvertimento JavaScript è disabilitato o non è disponibile nel tuo browser.

Per usare la documentazione AWS, JavaScript deve essere abilitato. Consulta le pagine della guida del browser per le istruzioni.

Convenzioni dei documenti

Creazione di integrazioni zero-ETL con Amazon Redshift

Filtraggio dei dati per integrazioni zero-ETL