Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Aktifkan konversi format rekaman
Jika Anda mengaktifkan konversi format rekaman, Anda tidak dapat menyetel tujuan Amazon Data Firehose menjadi Amazon OpenSearch Service, Amazon Redshift, atau Splunk. Dengan konversi format diaktifkan, Amazon S3 adalah satu-satunya tujuan yang dapat Anda gunakan untuk aliran Firehose Anda. Bagian berikut menunjukkan cara mengaktifkan konversi format rekaman dari operasi konsol dan Firehose API. Untuk contoh cara mengatur konversi format rekaman dengan CloudFormation, lihat AWS::DataFirehose: DeliveryStream.
Aktifkan konversi format rekaman dari konsol
Anda dapat mengaktifkan konversi format data di konsol saat membuat atau memperbarui aliran Firehose. Dengan konversi format data diaktifkan, Amazon S3 adalah satu-satunya tujuan yang dapat Anda konfigurasi untuk aliran Firehose. Selain itu, kompresi Amazon S3 akan dinonaktifkan ketika Anda mengaktifkan konversi format. Namun, kompresi Snappy terjadi secara otomatis sebagai bagian dari proses konversi. Format pembingkaian untuk Snappy yang digunakan Amazon Data Firehose dalam hal ini kompatibel dengan Hadoop. Ini berarti Anda dapat menggunakan hasil kompresi Snappy dan menjalankan kueri pada data ini di Athena. Untuk format pembingkaian Snappy yang diandalkan Hadoop, lihat .java. BlockCompressorStream
Untuk mengaktifkan konversi format data untuk aliran Firehose data
-
Masuk ke Konsol Manajemen AWS, dan buka konsol Amazon Data Firehose di. https://console.aws.amazon.com/firehose/
-
Pilih aliran Firehose untuk diperbarui, atau buat aliran Firehose baru dengan mengikuti langkah-langkahnya. Tutorial: Membuat aliran Firehose dari konsol
-
Di bawah Mengonversi format catatan, atur Konversi format catatan ke Diaktifkan.
-
Pilih format output yang Anda inginkan. Untuk informasi selengkapnya tentang kedua opsi, lihat Apache Parquet
dan Apache ORC . -
Pilih AWS Glue tabel untuk menentukan skema untuk catatan sumber Anda. Atur Wilayah, basis data, tabel, dan versi tabel.
Mengelola konversi format rekaman dari Firehose API
Jika Anda ingin Amazon Data Firehose mengonversi format data input Anda dari JSON ke Parket atau ORC, tentukan DataFormatConversionConfigurationelemen opsional di Extendeds3 atau di Extendeds3. DestinationConfiguration DestinationUpdate Jika Anda menentukan DataFormatConversionConfiguration, pembatasan berikut berlaku.
-
Di BufferingHints, Anda tidak dapat mengatur
SizeInMBske nilai kurang dari 64 jika Anda mengaktifkan konversi format rekaman. Selain itu, bila konversi format tidak diaktifkan, nilai defaultnya adalah 5. Nilai menjadi 128 saat Anda mengaktifkannya. -
Anda harus mengatur
CompressionFormatdi Extendeds3 DestinationConfiguration atau di Extendeds3 ke. DestinationUpdateUNCOMPRESSEDNilai default-nyaCompressionFormatisUNCOMPRESSED. Oleh karena itu, Anda juga dapat membiarkannya tidak ditentukan di DestinationConfigurationExtendeds3. Data masih dikompresi sebagai bagian dari proses serialisasi, menggunakan kompresi Snappy secara default. Format pembingkaian untuk Snappy yang digunakan Amazon Data Firehose dalam hal ini kompatibel dengan Hadoop. Ini berarti Anda dapat menggunakan hasil kompresi Snappy dan menjalankan kueri pada data ini di Athena. Untuk format pembingkaian Snappy yang diandalkan Hadoop, lihat .java. BlockCompressorStreamBila Anda mengonfigurasi serializer, Anda dapat memilih jenis kompresi lainnya.
