View a markdown version of this page

Crea una consegna da tavolo in streaming - Flusso di dati Amazon Kinesis
Utilizzo di Console di gestione AWSUtilizzo di AWS CLI

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Crea una consegna da tavolo in streaming

Crea una distribuzione che invii continuamente i record da un flusso di Amazon Kinesis Data Streams a una tabella di streaming su Apache Iceberg supportata da un bucket di tabelle S3. Puoi creare una consegna con o con. Console di gestione AWS AWS CLI Quando crei una consegna, Amazon Kinesis Data Streams crea la tabella Iceberg di destinazione nel bucket di tabelle specificato.

Nota

Prima di creare una consegna, completa i prerequisiti inGuida introduttiva alle tabelle di streaming, incluso il ruolo di esecuzione del servizio IAM descritto in. Autorizzazioni IAM per la distribuzione dei dati Una distribuzione di tabelle in streaming richiede uno AWS Glue schema in Schema Registry e una coda di lettere morte.

Utilizzo di Console di gestione AWS

  1. Apri la console Kinesis all'indirizzo. https://console.aws.amazon.com/kinesis

  2. Nel pannello di navigazione, scegli Streaming tables, quindi scegli Create streaming table.

  3. Fase 1: Configurazione del codice sorgente. In Dettagli spedizione, inserisci un nome di spedizione. I caratteri accettabili sono lettere maiuscole e minuscole, numeri, trattini bassi, trattini e punti. Per Source, scegli lo stream da cui spedire. On-Demand Vengono visualizzati solo On-Demand gli stream. Scegli Avanti.

  4. Fase 2: Configurazione della destinazione. In Configurazione della conversione dei record, scegli un formato di conversione dei record:

    • JSON — Record JSON convalidati rispetto a uno schema in AWS Glue Schema Registry. Fornisci lo schema ARN nel registro Glue Schema.

    • Glue Schema registry JSON: converte i record utilizzando uno AWS Glue schema JSON dello Schema Registry.

    Per il registro Glue Schema, specificate lo schema ARN o scegliete Browse per selezionarne uno.

  5. Nella Tabella di destinazione, specifica dove Amazon Kinesis Data Streams crea la tabella Iceberg:

    • ARN del bucket da tavolo S3: l'ARN del bucket da tabella S3. Scegli Browse S3 per selezionarne uno.

    • Namespace: lo spazio dei nomi per la tabella (solo lettere minuscole, numeri e trattini bassi).

    • Nome della tabella: il nome della tabella da creare.

    • Nome della colonna: il nome di un campo data-ora dello schema utilizzato per partizionare la tabella per ora. Il campo deve essere un campo stringa con il formato data-ora nello schema.

    • Tipo di compressione: scegli ZSTD, Snappy o Nessuno.

    • Aggiornamento dei dati: il tempo massimo di buffering in secondi prima della consegna dei record (minimo 300, massimo 900).

    Scegli Avanti.

  6. Fase 3: Configurazione aggiuntiva. Configura quanto segue, quindi scegli Avanti:

    • Configurazione della crittografia: per impostazione predefinita, i dati vengono crittografati con la crittografia predefinita di Amazon S3. Per utilizzare una chiave gestita dal cliente, seleziona Personalizza le impostazioni di crittografia (avanzate).

    • Accesso al servizio: per il ruolo IAM ARN, scegli o crea il ruolo IAM che concede l'accesso alla destinazione. Scegli Crea ruolo IAM per crearne uno.

    • Dead letter queue: per l'URI del bucket S3, scegli il bucket Amazon S3 che memorizza i record non recapitabili. Facoltativamente, imposta un prefisso di output per l'errore del bucket S3.

    • Consegna dei log: opzionalmente, seleziona Deliver to Amazon CloudWatch Logs per acquisire la diagnostica di consegna.

    • Tag: aggiungi facoltativamente tag chiave-valore per identificare e organizzare la consegna.

  7. Fase 4: Rivedi e crea. Rivedi la tua configurazione, quindi scegli Crea tabella di streaming. La distribuzione passa da CREATING a ACTIVE una volta completato il provisioning.

Utilizzo di AWS CLI

Utilizzate il create-channel comando per creare una tabella di distribuzione in streaming. Questa configurazione richiede uno AWS Glue schema di Schema Registry e una coda di lettere morte: 

aws kinesis create-channel \
    --channel-name "my-iceberg-delivery" \
    --service-execution-role-arn "arn:aws:iam::123456789012:role/my-channel-role" \
    --stream-configuration-list '[
        {
            "StreamARN": "arn:aws:kinesis:us-east-1:123456789012:stream/my-stream",
            "RecordConfiguration": {
                "RecordFormatType": "JSON",
                "GSRSchemaARN": "arn:aws:glue:us-east-1:123456789012:schema/my-registry/my-schema"
            }
        }
    ]' \
    --s3-tables-destination-configuration '{
        "DataFreshnessInSeconds": 300,
        "DeadLetterQueueS3Configuration": {
            "BucketARN": "arn:aws:s3:::my-dlq-bucket",
            "ExpectedBucketOwner": "123456789012",
            "ErrorOutputPrefix": "dlq/"
        },
        "S3TablesConfigurationList": [
            {
                "TableBucketARN": "arn:aws:s3tables:us-east-1:123456789012:bucket/my-table-bucket",
                "Namespace": "my_namespace",
                "TableName": "my_table",
                "CompressionType": "ZSTD",
                "PartitionSpec": {
                    "PartitionFields": [
                        {
                            "SourceName": "timestamp",
                            "Transform": "TIME_HOUR"
                        }
                    ]
                }
            }
        ]
    }'

Il comando restituisce il canale ARN (). ChannelARN Usalo con describe-channel per verificare che la consegna raggiunga lo stato ATTIVO. Consulta Descrivi una consegna di tavoli in streaming.

Riferimento API: consulta il CreateChannel documento di riferimento per le API di Amazon Kinesis Data Streams.