View a markdown version of this page

Buat pengiriman tabel streaming - Amazon Kinesis Data Streams
Menggunakan Konsol Manajemen AWSMenggunakan AWS CLI

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Buat pengiriman tabel streaming

Buat pengiriman yang terus mengirimkan catatan dari aliran Amazon Kinesis Data Streams ke tabel streaming di Apache Iceberg yang didukung oleh bucket tabel S3. Anda dapat membuat pengiriman dengan Konsol Manajemen AWS atau AWS CLI. Saat Anda membuat pengiriman, Amazon Kinesis Data Streams membuat tabel Iceberg tujuan di bucket tabel yang Anda tentukan.

catatan

Sebelum Anda membuat pengiriman, lengkapi prasyarat diMemulai dengan tabel streaming, termasuk peran eksekusi layanan IAM yang dijelaskan dalamIzin IAM untuk pengiriman data. Pengiriman tabel streaming memerlukan skema di AWS Glue Schema Registry dan antrian huruf mati.

Menggunakan Konsol Manajemen AWS

  1. Buka konsol Kinesis dihttps://console.aws.amazon.com/kinesis.

  2. Di panel navigasi, pilih Tabel streaming, lalu pilih Buat tabel streaming.

  3. Langkah 1: Konfigurasi sumber. Di bawah Detail pengiriman, masukkan Nama Pengiriman. Karakter yang dapat diterima adalah huruf besar dan kecil, angka, garis bawah, tanda hubung, dan titik. Untuk Sumber, pilih On-Demand aliran yang akan dikirimkan. Hanya On-Demand stream yang ditampilkan. Pilih Berikutnya.

  4. Langkah 2: Konfigurasi tujuan. Di bawah Konfigurasi konversi rekaman, pilih format konversi rekaman:

    • JSON — Catatan JSON yang divalidasi terhadap skema di Schem AWS Glue a Registry. Berikan skema ARN di bawah registri Skema Glue.

    • Glue Schema registry JSON — Mengkonversi catatan menggunakan AWS Glue skema Schema Registry JSON.

    Untuk registri Skema Glue, tentukan skema ARN atau pilih Browse untuk memilih satu.

  5. Di bawah Tabel Tujuan, tentukan tempat Amazon Kinesis Data Streams membuat tabel Iceberg:

    • Bucket meja S3 ARN — ARN dari bucket meja S3. Pilih Browse S3 untuk memilih salah satu.

    • Namespace — namespace untuk tabel (huruf kecil, angka, dan garis bawah saja).

    • Nama tabel — nama tabel yang akan dibuat.

    • Nama kolom — nama bidang tanggal-waktu dari skema Anda yang digunakan untuk mempartisi tabel berdasarkan jam. Bidang harus berupa bidang string dengan format tanggal-waktu dalam skema.

    • Jenis kompresi — pilih ZSTD, Snappy, atau None.

    • Kesegaran data — waktu buffering maksimum dalam detik sebelum catatan dikirimkan (minimal 300, maksimum 900).

    Pilih Berikutnya.

  6. Langkah 3: Konfigurasi tambahan. Konfigurasikan yang berikut ini, lalu pilih Berikutnya:

    • Konfigurasi enkripsi — secara default, data dienkripsi dengan enkripsi Amazon S3 default. Untuk menggunakan kunci yang dikelola pelanggan, pilih Ku stomisasi pengaturan enkripsi (lanjutan).

    • Akses layanan — untuk peran IAM ARN, pilih atau buat peran IAM yang memberikan akses ke tujuan. Pilih Buat peran IAM untuk membuatnya.

    • Antrian huruf mati — untuk URI bucket S3, pilih bucket Amazon S3 yang menyimpan catatan yang tidak dapat dikirim. Secara opsional mengatur awalan keluaran kesalahan bucket S3.

    • Pengiriman log — secara opsional pilih Kirim ke Amazon CloudWatch Log untuk menangkap diagnostik pengiriman.

    • Tag — secara opsional menambahkan tag nilai kunci untuk mengidentifikasi dan mengatur pengiriman Anda.

  7. Langkah 4: Tinjau dan buat. Tinjau konfigurasi Anda, lalu pilih Buat tabel streaming. Transisi pengiriman dari CREATING ke ACTIVE setelah penyediaan selesai.

Menggunakan AWS CLI

Gunakan create-channel perintah untuk membuat pengiriman tabel streaming. Konfigurasi ini memerlukan skema dari S AWS Glue chema Registry dan antrean huruf mati: 

aws kinesis create-channel \
    --channel-name "my-iceberg-delivery" \
    --service-execution-role-arn "arn:aws:iam::123456789012:role/my-channel-role" \
    --stream-configuration-list '[
        {
            "StreamARN": "arn:aws:kinesis:us-east-1:123456789012:stream/my-stream",
            "RecordConfiguration": {
                "RecordFormatType": "JSON",
                "GSRSchemaARN": "arn:aws:glue:us-east-1:123456789012:schema/my-registry/my-schema"
            }
        }
    ]' \
    --s3-tables-destination-configuration '{
        "DataFreshnessInSeconds": 300,
        "DeadLetterQueueS3Configuration": {
            "BucketARN": "arn:aws:s3:::my-dlq-bucket",
            "ExpectedBucketOwner": "123456789012",
            "ErrorOutputPrefix": "dlq/"
        },
        "S3TablesConfigurationList": [
            {
                "TableBucketARN": "arn:aws:s3tables:us-east-1:123456789012:bucket/my-table-bucket",
                "Namespace": "my_namespace",
                "TableName": "my_table",
                "CompressionType": "ZSTD",
                "PartitionSpec": {
                    "PartitionFields": [
                        {
                            "SourceName": "timestamp",
                            "Transform": "TIME_HOUR"
                        }
                    ]
                }
            }
        ]
    }'

Perintah mengembalikan saluran ARN (ChannelARN). Gunakan dengan describe-channel untuk memverifikasi pengiriman mencapai status AKTIF. Lihat Jelaskan pengiriman tabel streaming.

Referensi API — lihat CreateChannel di Refer ensi API Amazon Kinesis Data Streams.