Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Guida introduttiva alle integrazioni Zero-ETL di Aurora
Prima di creare un'integrazione zero-ETL, configura il , il cluster Aurora DB e il data warehouse con i parametri e le autorizzazioni richiesti. Durante la configurazione, dovrai completare i seguenti passaggi:
Dopo aver completato queste attività, continua con o. Creazione di integrazioni Zero-ETL di Aurora con Amazon Redshift Creazione di Aurora con un lago Amazon SageMaker
Puoi utilizzarli AWS SDKs per automatizzare il processo di configurazione. Per ulteriori informazioni, consulta Configurare un'integrazione utilizzando il AWS SDKs.
Suggerimento
Puoi fare in modo che RDS completi questi passaggi di configurazione al posto tuo mentre crei l'integrazione, anziché eseguirli manualmente. Per iniziare subito a creare un'integrazione, consulta Creazione di integrazioni Zero-ETL di Aurora con Amazon Redshift.
Per la Fase 3, puoi scegliere di creare un data warehouse di destinazione (Fase 3a) o un Target Lakehouse (Fase 3b) a seconda delle tue esigenze:
-
Scegli un data warehouse se hai bisogno di funzionalità di data warehousing tradizionali con analisi basate su SQL.
-
Scegli un Amazon SageMaker lakehouse se hai bisogno di funzionalità di apprendimento automatico e desideri utilizzare le funzionalità di Lakehouse per i flussi di lavoro di data science e ML.
Fase 1: creazione di un gruppo di parametri del cluster DB personalizzato
Le integrazioni Aurora zero-ETL richiedono valori specifici per i parametri del cluster DB che controllano la replica. In particolare, Aurora MySQL richiede binlog () avanzato e Aurora PostgreSQL richiede una replica logica avanzata ()aurora_enhanced_binlog
. aurora.enhanced_logical_replication
Per configurare la registrazione binaria o la replica logica, è necessario innanzitutto creare un gruppo di parametri del cluster DB personalizzato e quindi associarlo al cluster DB di origine.
Aurora MySQL (famiglia aurora-mysql8.0):
-
aurora_enhanced_binlog=1
-
binlog_backup=0
-
binlog_format=ROW
-
binlog_replication_globaldb=0
-
binlog_row_image=full
-
binlog_row_metadata=full
Inoltre, assicurati che il parametro binlog_transaction_compression
non sia impostato su ON
e che il parametro binlog_row_value_options
non sia impostato su PARTIAL_JSON
.
Per ulteriori informazioni su Aurora MySQL Enhanced binlog, consulta. Configurazione di binlog avanzato per Aurora MySQL
Aurora PostgreSQL (famiglia aurora-postgresql16):
-
rds.logical_replication=1
-
aurora.enhanced_logical_replication=1
-
aurora.logical_replication_backup=0
-
aurora.logical_replication_globaldb=0
L'abilitazione della replica logica avanzata (aurora.enhanced_logical_replication
) scriverà sempre tutti i valori delle colonne nel log write ahead (WAL) anche se non è abilitata. REPLICA IDENTITY FULL
Ciò potrebbe aumentare gli IOPS per il cluster DB di origine.
Importante
Se abiliti o disabiliti il parametro del cluster aurora.enhanced_logical_replication
DB, l'istanza DB principale invalida tutti gli slot di replica logica. Ciò interrompe la replica dall'origine alla destinazione ed è necessario ricreare gli slot di replica sull'istanza DB principale. Per evitare interruzioni, mantenete costante lo stato dei parametri durante la replica.
Passaggio 2: selezionare o creare un cluster DB del di origine
Dopo aver creato un gruppo di parametri del cluster DB personalizzato, scegli o crea un cluster . Questo cluster di sarà la fonte della replica dei dati nel data warehouse di destinazione. È possibile specificare un cluster DB che utilizza istanze DB o istanze Aurora Serverless v2 DB assegnate come origine. Per istruzioni su come creare un cluster DB con , consulta o. Creazione di un cluster database Amazon AuroraCreazione di un cluster DB che utilizza Aurora Serverless v2
Il database deve eseguire una versione del motore DB supportata. Per un elenco delle versioni supportate, consulta Regioni supportate e motori Aurora DB per integrazioni zero-ETL.
Quando create il database, in Configurazione aggiuntiva, modificate il gruppo di parametri predefinito del cluster DB con il gruppo di parametri personalizzato creato nel passaggio precedente.
Nota
Se si associa il gruppo di parametri al cluster DB del dopo che il cluster di è già stato creato, è necessario riavviare l'istanza DB principale del nel cluster per applicare le modifiche prima di poter creare un'integrazione zero-ETL. Per istruzioni, consulta Riavvio di un cluster Amazon Aurora DB o di un'istanza Amazon Aurora DB.
Fase 3a: Creare un data warehouse di destinazione
Dopo aver creato il cluster DB di origine, è necessario creare e configurare un data warehouse di destinazione. Il data warehouse deve soddisfare i seguenti requisiti:
-
Utilizzando un tipo di RA3 nodo con almeno due nodi o Redshift Serverless.
-
Deve essere crittografato (se si utilizza un cluster con provisioning). Per ulteriori informazioni, consulta Crittografia dei database di Amazon Redshift.
Per istruzioni su come creare un data warehouse, consulta Creazione di un cluster per i cluster con provisioning o Creazione di un gruppo di lavoro con uno spazio dei nomi per Redshift Serverless.
Abilitazione della distinzione tra maiuscole e minuscole nel data warehouse
Affinché l'integrazione venga eseguita correttamente, il parametro di distinzione tra maiuscole e minuscole (enable_case_sensitive_identifier
) deve essere abilitato per il data warehouse. Per impostazione predefinita, la distinzione tra maiuscole e minuscole è disabilitata su tutti i cluster con provisioning e sui gruppi di lavoro Redshift serverless.
Per abilitare la distinzione tra maiuscole e minuscole, esegui i seguenti passaggi a seconda del tipo di data warehouse:
-
Cluster con provisioning: per abilitare la distinzione tra maiuscole e minuscole su un cluster con provisioning, crea un gruppo di parametri personalizzato con il parametro
enable_case_sensitive_identifier
abilitato. Poi, associa il gruppo di parametri al cluster. Per istruzioni, consulta Gestione di gruppi di parametri mediante la console o Configurazione dei valori di parametro mediante AWS CLI.Nota
Ricordati di riavviare il cluster dopo aver associato il gruppo di parametri personalizzati.
-
Gruppo di lavoro serverless: per abilitare la distinzione tra maiuscole e minuscole su un gruppo di lavoro SRedshift Serverless, è necessario utilizzare la AWS CLI. La console Amazon Redshift attualmente non supporta la modifica dei valori dei parametri Redshift Serverless. Invia la seguente richiesta di aggiornamento al gruppo di lavoro:
aws redshift-serverless update-workgroup \ --workgroup-name
target-workgroup
\ --config-parameters parameterKey=enable_case_sensitive_identifier,parameterValue=trueNon è necessario riavviare un gruppo di lavoro dopo aver modificato i valori dei parametri.
Configura l'autorizzazione per il data warehouse
Dopo aver creato un data warehouse, è necessario configurare il di origine Aurora DB cluster come fonte di integrazione autorizzata. Per istruzioni, consulta Configurazione dell'autorizzazione per il data warehouse Amazon Redshift.
Configurare un'integrazione utilizzando il AWS SDKs
Invece di configurare ogni risorsa manualmente, puoi eseguire il seguente script Python per configurare automaticamente le risorse richieste. L'esempio di codice lo utilizza AWS SDK per Python (Boto3)
Per installare le dipendenze richieste, eseguire i seguenti comandi:
pip install boto3 pip install time
All'interno dello script, modificate facoltativamente i nomi dei gruppi di origine, destinazione e parametri. La funzione finale crea un'integrazione che my-integration
prende il nome dall'impostazione delle risorse.
Fase 3b: Creare un AWS Glue catalogo per Amazon SageMaker l'integrazione zero-ETL
Quando si crea un'integrazione zero-ETL con un Amazon SageMaker lago, è necessario creare un catalogo gestito in. AWS Glue AWS Lake Formation Il catalogo di destinazione deve essere un catalogo gestito da Amazon Redshift. Per creare un catalogo gestito di Amazon Redshift, crea innanzitutto il ruolo collegato al AWSServiceRoleForRedshift
servizio. Nella console Lake Formation, aggiungi AWSServiceRoleForRedshift
come amministratore di sola lettura.
Per ulteriori informazioni sulle attività precedenti, consulta i seguenti argomenti.
Per informazioni sulla creazione di un catalogo gestito di Amazon Redshift, consulta Creating an Amazon Redshift managed catalog nella Developer AWS Glue Data Catalog Guide.AWS Lake Formation
Per informazioni sul ruolo collegato ai servizi per Amazon Redshift, consulta Using service-linked roles for Amazon Redshift nella Amazon Redshift Management Guide.
Per informazioni sulle autorizzazioni di amministratore di sola lettura per Lake Formation, consulta Lake Formation personas e IAM permissions reference nella Developer Guide.AWS Lake Formation
Configura le autorizzazioni per il catalogo di destinazione AWS Glue
Prima di creare un catalogo di destinazione per l'integrazione zero-ETL, è necessario creare il ruolo di creazione del target Lake Formation e il ruolo di trasferimento dei AWS Glue dati. Usa il ruolo di creazione del target Lake Formation per creare il catalogo dei target. Quando crei il catalogo di destinazione, inserisci il ruolo di trasferimento dati Glue nel campo ruolo IAM nella sezione Accesso dai motori.
Il ruolo di creazione del target deve essere un amministratore di Lake Formation e richiede le seguenti autorizzazioni.
{ "Version": "2012-10-17", "Statement": [ { "Sid": "VisualEditor0", "Effect": "Allow", "Action": "lakeformation:RegisterResource", "Resource": "*" }, { "Sid": "VisualEditor1", "Effect": "Allow", "Action": [ "s3:PutEncryptionConfiguration", "iam:PassRole", "glue:CreateCatalog", "glue:GetCatalog", "s3:PutBucketTagging", "s3:PutLifecycleConfiguration", "s3:PutBucketPolicy", "s3:CreateBucket", "redshift-serverless:CreateNamespace", "s3:DeleteBucket", "s3:PutBucketVersioning", "redshift-serverless:CreateWorkgroup" ], "Resource": [ "arn:aws:glue:*:
account-id
:catalog", "arn:aws:glue:*:account-id
:catalog/*", "arn:aws:s3:::*", "arn:aws:redshift-serverless:*:account-id
:workgroup/*", "arn:aws:redshift-serverless:*:account-id
:namespace/*", "arn:aws:iam::account-id
:role/GlueDataCatalogDataTransferRole" ] } ] }
Il ruolo di creazione del target deve avere la seguente relazione di fiducia.
{ "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Principal": { "Service": "glue.amazonaws.com" }, "Action": "sts:AssumeRole" }, { "Effect": "Allow", "Principal": { "AWS": "arn:aws:iam::
account-id
:user/Username" }, "Action": "sts:AssumeRole" } ] }
Il ruolo di trasferimento dati Glue è necessario per le operazioni del catalogo MySQL e deve disporre delle seguenti autorizzazioni.
{ "Version": "2012-10-17", "Statement": [ { "Sid": "DataTransferRolePolicy", "Effect": "Allow", "Action": [ "kms:GenerateDataKey", "kms:Decrypt", "glue:GetCatalog", "glue:GetDatabase" ], "Resource": [ "*" ] } ] }
Il ruolo di trasferimento dati Glue deve avere la seguente relazione di trust.
{ "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Principal": { "Service": [ "glue.amazonaws.com", "redshift.amazonaws.com" ] }, "Action": "sts:AssumeRole" } ] }
Passaggi successivi
Con un di origine, un cluster Aurora DB e un data warehouse di destinazione Amazon Redshift Amazon SageMaker o Lakehouse, puoi creare un'integrazione zero-ETL e replicare i dati. Per istruzioni, consulta Creazione di integrazioni Zero-ETL di Aurora con Amazon Redshift.