Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Prerequisiti per utilizzare Apache Iceberg Tables come destinazione
Seleziona una delle opzioni seguenti per completare i prerequisiti richiesti.
Argomenti
Prerequisiti per la consegna a Iceberg Tables in Amazon S3
Prima di iniziare, completa i prerequisiti seguenti.
-
Crea un bucket Amazon S3: devi creare un bucket Amazon S3 per aggiungere il percorso del file di metadati durante la creazione delle tabelle. Per ulteriori informazioni, consulta Creare un bucket S3.
-
Creare un ruolo IAM con le autorizzazioni richieste: Firehose necessita di un ruolo IAM con autorizzazioni specifiche per AWS Glue accedere alle tabelle e scrivere dati su Amazon S3. Lo stesso ruolo viene utilizzato per concedere AWS Glue l'accesso ai bucket Amazon S3. È necessario fornire questo ruolo IAM quando si crea una tabella Iceberg e un flusso Firehose. Per ulteriori informazioni, consulta Concedi a Firehose l'accesso alle tabelle Amazon S3.
-
Creazione di tabelle Apache Iceberg: se si configurano chiavi univoche nel flusso Firehose per aggiornamenti ed eliminazioni, Firehose verifica se la tabella e le chiavi uniche esistono come parte della creazione dello stream. In questo scenario, è necessario creare tabelle prima di creare il flusso Firehose. È possibile utilizzare AWS Glue per creare tabelle Apache Iceberg. Per ulteriori informazioni, consulta Creazione di tabelle Apache Iceberg. Se non si configurano chiavi univoche nello stream Firehose, non è necessario creare tabelle Iceberg prima di creare uno stream Firehose.
Nota
Firehose supporta la versione e il formato di tabella seguenti per le tabelle Apache Iceberg.
-
Versione in formato tabella: Firehose supporta solo il formato tabella V2
. Non create tabelle in formato V1, altrimenti si verifica un errore e i dati vengono invece inviati al bucket di errore S3. -
Formato di archiviazione dati: Firehose scrive i dati su Apache Iceberg Tables in formato Parquet.
-
Funzionamento a livello di riga: Firehose supporta la modalità Merge-on-Read (MOR) di scrittura dei dati su Apache Iceberg Tables.
-
Prerequisiti per la distribuzione alle tabelle Amazon S3
Per distribuire dati ai bucket di tabella Amazon S3, completare i prerequisiti seguenti.
-
Crea un bucket S3 Table, un namespace, tabelle nel table bucket e altri passaggi di integrazione descritti in Guida introduttiva ad Amazon S3 Tables. I nomi delle colonne devono essere in minuscolo a causa delle limitazioni imposte dall'integrazione del catalogo S3 Tables, come specificato nelle limitazioni di integrazione del catalogo di tabelle S3.
-
Crea un ruolo IAM con le autorizzazioni richieste: Firehose necessita di un ruolo IAM con autorizzazioni specifiche per AWS Glue accedere alle tabelle e scrivere dati nelle tabelle in un bucket di tabelle Amazon S3. Per scrivere su tabelle in un bucket di tabelle S3, devi inoltre fornire al ruolo IAM le autorizzazioni richieste in. AWS Lake Formation Puoi configurare questo ruolo IAM quando si crea un flusso Firehose. Per ulteriori informazioni, consulta Concedere a Firehose l'accesso alle tabelle Amazon S3.
-
Configura AWS Lake Formation le autorizzazioni: AWS Lake Formation gestisce l'accesso alle risorse delle tabelle. Lake Formation utilizza il proprio modello di autorizzazioni che consente un controllo granulare degli accessi per le risorse del Catalogo dati.
Per step-by-step l'integrazione, consulta il blog Crea un data lake per lo streaming di dati con Amazon S3 Tables e Amazon Data Firehose
