Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Integrazioni Zero-ETL di Amazon RDS
L'estrazione, la trasformazione e il caricamento (ETL) è il processo di combinazione di dati provenienti da più fonti in un ampio data warehouse centrale.
Un'integrazione zero-ETL rende i dati del cluster in Amazon Redshift o in un lago quasi in tempo reale. Amazon SageMaker Una volta che i dati sono nel data warehouse o data lake di destinazione, puoi potenziare i tuoi carichi di lavoro di analisi, ML e intelligenza artificiale utilizzando le funzionalità integrate, come machine learning, viste materializzate, condivisione dei dati, accesso federato a più data store e data lake e integrazioni con SageMaker Amazon AI QuickSight e altro. Servizi AWS
Per creare un'integrazione zero-ETL, specificate un database RDS, un cluster come origine e un data warehouse o lakehouse supportati come destinazione. L'integrazione replica i dati dal database di origine nel data warehouse o nel lago di destinazione.
Il diagramma seguente illustra questa funzionalità per l'integrazione zero-ETL con Amazon Redshift:
Il diagramma seguente illustra questa funzionalità per l'integrazione zero-ETL con un lago: Amazon SageMaker
L'integrazione monitora lo stato della pipeline dei dati ed esegue il ripristino in caso di problemi quando possibile. Puoi creare integrazioni da più database RDS (cluster Aurora ) in un unico data warehouse o lago di destinazione, consentendoti di ricavare informazioni su più applicazioni.
Argomenti
Creazione di integrazioni Zero-ETL di Amazon RDS con Amazon Redshift
Creazione di integrazioni Zero-ETL di Amazon RDS con un lago Amazon SageMaker
Aggiungere dati a un database RDS di origine (cluster ) e interrogarlo
Visualizzazione e monitoraggio delle integrazioni Zero-ETL di Amazon RDS
Risoluzione dei problemi relativi alle integrazioni zero-ETL di Amazon RDS
Vantaggi
Le integrazioni Zero-ETL di RDS offrono i seguenti vantaggi:
-
Ti consentono di ottenere approfondimenti di tipo olistico da più origini dati.
-
Eliminano la necessità di creare e gestire pipeline dei dati complesse che eseguono operazioni di estrazione, trasformazione e caricamento (ETL). Le integrazioni Zero-ETL forniscono e gestiscono le pipeline per te, eliminando le sfide legate alla loro creazione e gestione.
-
Ti consentono di ridurre il carico e i costi operativi e di concentrarti sul miglioramento delle applicazioni.
-
Consenti di sfruttare le funzionalità di analisi e ML della destinazione di destinazione per ricavare informazioni dettagliate da dati transazionali e di altro tipo, per rispondere efficacemente a eventi critici e urgenti.
Concetti chiave
Per iniziare a utilizzare le integrazioni Zero-ETL, tieni presente i seguenti concetti:
- Integrazione
-
Una pipeline di dati completamente gestita che replica automaticamente i dati e gli schemi transazionali da un cluster di database RDS a un data warehouse o catalogo.
-
Il cluster del database RDS da cui vengono replicati i dati. È possibile specificare un'istanza DB Single-AZ o Multi-AZ oppure un cluster DB Multi-AZ.
- Target
-
Il data warehouse o il lago in cui vengono replicati i dati. Esistono due tipi di data warehouse: un data warehouse con cluster con provisioning e un data warehouse serverless. Un data warehouse con cluster con provisioning è costituito da un insieme di risorse di calcolo denominate nodi, strutturate in un gruppo denominato cluster. Un data warehouse serverless è composto da un gruppo di lavoro che archivia le risorse di calcolo e da un spazio dei nomi che ospita gli oggetti e gli utenti del database. Entrambi i data warehouse utilizzano un motore di analisi e contengono uno o più database.
Un target lakehouse è costituito da cataloghi, database, tabelle e viste. Per ulteriori informazioni sull'architettura Lakehouse, consulta Amazon SageMaker Lakehouse componentsla Guida per l'utente. Amazon SageMaker Unified Studio
I di più database di origine possono scrivere sullo stesso target.
Per ulteriori informazioni sui nodi principali e sui nodi di calcolo, consulta Architettura del sistema di data warehouse nella Guida per sviluppatori di database di Amazon Redshift.
Limitazioni
Le seguenti limitazioni si applicano alle integrazioni Zero-ETL di RDS .
Argomenti
Limitazioni generali
-
Il del database di origine deve trovarsi nella stessa regione della destinazione.
-
Non è possibile rinominare un se dispone di integrazioni esistenti.
-
Non è possibile creare più integrazioni tra gli stessi database di origine e di destinazione.
-
Non è possibile eliminare un di database con integrazioni esistenti. Devi prima eliminare tutte le integrazioni associate.
-
-
Non è possibile eliminare un'integrazione se il database di origine è interrotto.
-
Se il di database è all'origine di una distribuzione blu/verde, gli ambienti blu e verde non possono avere integrazioni zero-ETL esistenti durante lo switchover. Occorre eliminare l'integrazione, eseguire lo switchover e poi ricrearla.
-
Non è possibile creare un'integrazione per un database di origine in cui viene creata attivamente un'altra integrazione.
-
Durante la fase iniziale della creazione di un'integrazione o quando una tabella viene risincronizzata, il seeding dei dati dall'origine alla destinazione può richiedere 20-25 minuti o più, a seconda delle dimensioni del database di origine. Questo ritardo può portare a un aumento del ritardo di replica.
-
Alcuni tipi di dati non sono supportati. Per ulteriori informazioni, consulta Differenze tra i tipi di dati tra i database RDS e Amazon Redshift.
-
Le tabelle di sistema, le tabelle temporanee e le viste non vengono replicate nei magazzini di destinazione.
Limitazioni di RDS per MySQL
-
Il database di origine deve eseguire una versione supportata di RDS for MySQL. Per un elenco delle versioni supportate, consulta Regioni e motori DB supportati per le integrazioni Zero-ETL di Amazon RDS.
-
Le integrazioni Zero-ETL si basano sui log binari MySQL (binlog) per acquisire le modifiche continue dei dati. Non utilizzare il filtraggio dei dati basato su binlog, poiché può causare incongruenze di dati tra il database di origine e quello di destinazione.
-
Le integrazioni Zero-ETL sono supportate solo per i database configurati per l'utilizzo del motore di storage InnoDB.
-
I riferimenti a chiavi esterne con aggiornamenti di tabella predefiniti non sono supportati. In particolare,
ON DELETEleON UPDATEregole non sono supportate conCASCADESET NULL, eSET DEFAULTle azioni. Se si tenta di creare o aggiornare una tabella con tali riferimenti a un'altra tabella, la tabella entrerà in uno stato di errore. -
ALTER TABLEle operazioni di partizione provocano la risincronizzazione della tabella per ricaricare i dati da RDS al warehouse di destinazione. La tabella non sarà disponibile per l'interrogazione durante la risincronizzazione. Per ulteriori informazioni, consulta Una o più tabelle Amazon Redshift richiedono una risincronizzazione.
Limitazioni di Amazon Redshift
Per un elenco delle limitazioni di Amazon Redshift relative alle integrazioni Zero-ETL, consulta Considerazioni sull'utilizzo delle integrazioni Zero-ETL con Amazon Redshift nella Amazon Redshift Management Guide.
Amazon SageMakerlimitazioni di Lakehouse
Di seguito è riportata una limitazione per le integrazioni Amazon SageMaker Lakehouse Zero-ETL.
-
I nomi dei cataloghi hanno una lunghezza massima di 19 caratteri.
Quote
Il tuo account ha le seguenti quote relative alle integrazioni RDS Zero-ETL. Salvo dove diversamente specificato, ogni quota fa riferimento a una Regione specifica.
| Nome | Predefinito | Descrizione |
|---|---|---|
| Integrazioni | 100 | Numero totale di integrazioni all'interno di un Account AWS. |
| Integrazioni per target | 50 | Il numero di integrazioni che inviano dati a un data warehouse o a un lago di destinazione singola. |
| Integrazioni per istanza di origine | 5 |
Inoltre, il warehouse di destinazione impone determinati limiti al numero di tabelle consentite in ogni istanza DB o nodo del cluster. Per ulteriori informazioni su quote e limiti di Amazon Redshift, consulta Quote e limiti in Amazon Redshift nella Amazon Redshift Management Guide.
Regioni supportate
Le integrazioni RDS Zero-ETL sono disponibili in un sottoinsieme di. Regioni AWS Per un elenco delle regioni supportate, consultare Regioni e motori DB supportati per le integrazioni Zero-ETL di Amazon RDS.
