Setelah mempertimbangkan dengan cermat, kami memutuskan untuk menghentikan Amazon Kinesis Data Analytics untuk aplikasi SQL dalam dua langkah:
1. Mulai 15 Oktober 2025, Anda tidak akan dapat membuat Kinesis Data Analytics baru untuk aplikasi SQL.
2. Kami akan menghapus aplikasi Anda mulai 27 Januari 2026. Anda tidak akan dapat memulai atau mengoperasikan Amazon Kinesis Data Analytics untuk aplikasi SQL. Support tidak akan lagi tersedia untuk Amazon Kinesis Data Analytics untuk SQL sejak saat itu. Untuk informasi selengkapnya, lihat Amazon Kinesis Data Analytics untuk penghentian Aplikasi SQL.
Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Menggunakan Fitur Penemuan Skema pada Data Statis
catatan
Setelah 12 September 2023, Anda tidak akan dapat membuat aplikasi baru menggunakan Kinesis Data Firehose sebagai sumber jika Anda belum menggunakan Kinesis Data Analytics untuk SQL. Untuk informasi selengkapnya, lihat Batasan-batasan.
Fitur penemuan skema dapat menghasilkan skema baik dari data dalam aliran maupun data dalam file statis yang disimpan dalam bucket Amazon S3. Misalkan Anda ingin membuat skema untuk aplikasi Kinesis Data Analytics untuk tujuan referensi atau saat data streaming langsung tidak tersedia. Anda dapat menggunakan fitur penemuan skema pada file statis yang berisi sampel data dalam format yang diharapkan dari data streaming atau referensi Anda. Kinesis Data Analytics dapat menjalankan penemuan skema pada data sampel dari file JSON atau CSV yang disimpan di bucket Amazon S3. Menggunakan penemuan skema pada file data baik menggunakan konsol, maupun API DiscoverInputSchema dengan parameter S3Configuration
yang ditentukan.
Menjalankan Penemuan Skema Menggunakan Konsol
Untuk menjalankan penemuan pada file statis menggunakan konsol, lakukan hal berikut:
Tambahkan objek data referensi ke bucket S3.
Pilih Connect reference data (Sambungkan data referensi) di halaman utama aplikasi di konsol Kinesis Data Analytics.
Sediakan bucket, data jalur dan IAM role untuk mengakses objek Amazon S3 yang berisi data referensi.
Pilih Discover schema (Temukan skema).
Untuk informasi selengkapnya tentang cara menambahkan data referensi dan menemukan skema di konsol, lihat Contoh: Menambahkan Data Referensi ke Aplikasi Kinesis Data Analytics.
Menjalankan Penemuan Skema Menggunakan API
Untuk menjalankan penemuan pada file statis menggunakan API, Anda menyediakan API dengan struktur S3Configuration
menggunakan informasi berikut:
-
BucketARN
: Amazon Resource Name (ARN) dari bucket Amazon S3 yang berisi file. Untuk format ARN bucket Amazon S3, lihat Amazon Resource Names () ARNs dan Amazon Service Namespaces: Amazon Simple Storage Service (Amazon S3). -
RoleARN
: ARN IAM role dengan kebijakanAmazonS3ReadOnlyAccess
. Untuk informasi tentang cara menambahkan kebijakan ke peran, lihat Mengubah Peran. -
FileKey
: Nama file objek.
Untuk menghasilkan skema dari objek Amazon S3 menggunakan API DiscoverInputSchema
-
Pastikan Anda memiliki AWS CLI pengaturan. Untuk informasi selengkapnya, lihat Langkah 2: Mengatur AWS Command Line Interface (AWS CLI) dalam bagian Memulai.
-
Buat file bernama
data.csv
dengan konten berikut:year,month,state,producer_type,energy_source,units,consumption 2001,1,AK,TotalElectricPowerIndustry,Coal,ShortTons,47615 2001,1,AK,ElectricGeneratorsElectricUtilities,Coal,ShortTons,16535 2001,1,AK,CombinedHeatandPowerElectricPower,Coal,ShortTons,22890 2001,1,AL,TotalElectricPowerIndustry,Coal,ShortTons,3020601 2001,1,AL,ElectricGeneratorsElectricUtilities,Coal,ShortTons,2987681
-
Masuk ke konsol Amazon S3 di. https://console.aws.amazon.com/s3/
-
Buat bucket Amazon S3 dan unggah file
data.csv
yang Anda buat. Catat ARN dari bucket yang dibuat. Untuk informasi tentang membuat bucket Amazon S3 dan mengunggah file, lihat Memulai dengan Amazon Simple Storage Service. -
Buka konsol IAM di https://console.aws.amazon.com/iam/
. Buat peran dengan kebijakan AmazonS3ReadOnlyAccess
. Catat ARN peran baru. Untuk informasi selengkapnya tentang membuat peran, lihat Membuat Peran untuk Mendelegasikan Izin ke Layanan Amazon. Untuk informasi tentang cara menambahkan kebijakan ke peran, lihat Mengubah Peran. -
Jalankan
DiscoverInputSchema
perintah berikut di AWS CLI, ganti bucket Amazon S3 dan peran IAM Anda: ARNs$aws kinesisanalytics discover-input-schema --s3-configuration '{ "RoleARN": "arn:aws:iam::123456789012:role/service-role/your-IAM-role", "BucketARN": "arn:aws:s3:::your-bucket-name", "FileKey": "data.csv" }'
-
Responsnya terlihat seperti berikut ini:
{ "InputSchema": { "RecordEncoding": "UTF-8", "RecordColumns": [ { "SqlType": "INTEGER", "Name": "COL_year" }, { "SqlType": "INTEGER", "Name": "COL_month" }, { "SqlType": "VARCHAR(4)", "Name": "state" }, { "SqlType": "VARCHAR(64)", "Name": "producer_type" }, { "SqlType": "VARCHAR(4)", "Name": "energy_source" }, { "SqlType": "VARCHAR(16)", "Name": "units" }, { "SqlType": "INTEGER", "Name": "consumption" } ], "RecordFormat": { "RecordFormatType": "CSV", "MappingParameters": { "CSVMappingParameters": { "RecordRowDelimiter": "\r\n", "RecordColumnDelimiter": "," } } } }, "RawInputRecords": [ "year,month,state,producer_type,energy_source,units,consumption\r\n2001,1,AK,TotalElectricPowerIndustry,Coal,ShortTons,47615\r\n2001,1,AK,ElectricGeneratorsElectricUtilities,Coal,ShortTons,16535\r\n2001,1,AK,CombinedHeatandPowerElectricPower,Coal,ShortTons,22890\r\n2001,1,AL,TotalElectricPowerIndustry,Coal,ShortTons,3020601\r\n2001,1,AL,ElectricGeneratorsElectricUtilities,Coal,ShortTons,2987681" ], "ParsedInputRecords": [ [ null, null, "state", "producer_type", "energy_source", "units", null ], [ "2001", "1", "AK", "TotalElectricPowerIndustry", "Coal", "ShortTons", "47615" ], [ "2001", "1", "AK", "ElectricGeneratorsElectricUtilities", "Coal", "ShortTons", "16535" ], [ "2001", "1", "AK", "CombinedHeatandPowerElectricPower", "Coal", "ShortTons", "22890" ], [ "2001", "1", "AL", "TotalElectricPowerIndustry", "Coal", "ShortTons", "3020601" ], [ "2001", "1", "AL", "ElectricGeneratorsElectricUtilities", "Coal", "ShortTons", "2987681" ] ] }