Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Memahami pengiriman data di Amazon Data Firehose
Saat Anda mengirim data ke aliran Firehose, data akan dikirim secara otomatis ke tujuan yang Anda pilih. Tabel berikut menjelaskan pengiriman data ke tujuan yang berbeda.
| Tujuan | Detail |
|---|---|
| Amazon S3 |
Untuk pengiriman data ke Amazon S3, Firehose menggabungkan beberapa catatan masuk berdasarkan konfigurasi buffering aliran Firehose Anda. Kinesis Data Firehose kemudian memberikan catatan tersebut ke Amazon S3 sebagai objek Amazon S3. Secara default, Firehose menggabungkan data tanpa pembatas apa pun. Jika Anda ingin memiliki pembatas baris baru di antara catatan, Anda dapat menambahkan pembatas baris baru dengan mengaktifkan fitur dalam konfigurasi konsol Firehose atau parameter API. Pengiriman data antara Firehose dan tujuan Amazon S3 dienkripsi dengan TLS (HTTPS). |
| Amazon Redshift |
Untuk pengiriman data ke Amazon Redshift, Firehose pertama-tama mengirimkan data masuk ke bucket S3 Anda dalam format yang dijelaskan sebelumnya. Firehose kemudian mengeluarkan perintah Amazon COPY Redshift untuk memuat data dari bucket S3 ke cluster yang disediakan Amazon Redshift atau workgroup Amazon Redshift Serverless. Pastikan bahwa setelah Amazon Data Firehose menggabungkan beberapa catatan masuk ke objek Amazon S3, objek Amazon S3 dapat disalin ke klaster yang disediakan Amazon Redshift atau grup kerja Amazon Redshift Tanpa Server. Untuk informasi selengkapnya, lihat Parameter Format Data Perintah SALIN Amazon Redshift. |
| OpenSearch Layanan dan Tanpa OpenSearch Server | Untuk pengiriman data ke OpenSearch Layanan dan OpenSearch Tanpa Server, Amazon Data Firehose menyangga catatan masuk berdasarkan konfigurasi buffering aliran Firehose Anda. Kemudian menghasilkan permintaan massal OpenSearch Layanan atau OpenSearch Tanpa Server untuk mengindeks beberapa catatan ke kluster OpenSearch Layanan atau koleksi Tanpa OpenSearch Server Anda. Pastikan rekaman Anda dikodekan UTF-8 dan diratakan ke objek JSON satu baris sebelum Anda mengirimkannya ke Amazon Data Firehose. Selain itu, rest.action.multi.allow_explicit_index opsi untuk kluster OpenSearch Layanan Anda harus disetel ke true (default) untuk mengambil permintaan massal dengan indeks eksplisit yang ditetapkan per catatan. Untuk informasi selengkapnya, lihat Opsi Lanjutan Konfigurasi OpenSearch Layanan di Panduan Pengembang OpenSearch Layanan Amazon. |
| Splunk |
Untuk pengiriman data ke Splunk, Amazon Data Firehose menggabungkan byte yang Anda kirim. Jika Anda ingin pembatas dalam data, seperti karakter baris baru, Anda harus memasukkannya sendiri. Pastikan bahwa Splunk dikonfigurasi untuk mengurai pembatas tersebut. Untuk mengarahkan ulang data yang dikirim ke bucket kesalahan S3 (cadangan S3) kembali ke Splunk, ikuti langkah-langkah yang disebutkan dalam dokumentasi Splunk. |
| Titik akhir HTTP | Untuk pengiriman data ke titik akhir HTTP yang dimiliki oleh penyedia layanan pihak ketiga yang didukung, Anda dapat menggunakan layanan Amazon Lambda terintegrasi untuk membuat fungsi untuk mengubah rekaman masuk ke format yang sesuai dengan format yang diharapkan integrasi penyedia layanan. Hubungi penyedia layanan pihak ketiga yang titik akhir HTTP-nya Anda pilih sebagai tujuan untuk mempelajari lebih lanjut tentang format catatan yang diterima. |
| Kepingan salju |
Untuk pengiriman data ke Snowflake, Amazon Data Firehose secara internal menyangga data selama satu detik dan menggunakan operasi API streaming Snowflake untuk menyisipkan data ke Snowflake. Secara default, catatan yang Anda sisipkan disiram dan dimasukkan ke tabel Snowflake setiap detik. Setelah Anda melakukan panggilan insert, Firehose memancarkan CloudWatch metrik yang mengukur berapa lama waktu yang dibutuhkan untuk data untuk berkomitmen ke Snowflake. Firehose saat ini hanya mendukung satu item JSON sebagai muatan rekaman dan tidak mendukung array JSON. Pastikan payload input Anda adalah objek JSON yang valid dan terbentuk dengan baik tanpa tanda kutip ganda, tanda kutip, atau karakter escape tambahan. |
Setiap tujuan Firehose memiliki frekuensi pengiriman datanya sendiri. Untuk informasi selengkapnya, lihat Konfigurasikan petunjuk buffering.
Catatan duplikat
Amazon Data Firehose menggunakan at-least-once semantik untuk pengiriman data. Dalam beberapa keadaan, seperti ketika waktu pengiriman data habis, percobaan ulang pengiriman oleh Amazon Data Firehose mungkin memperkenalkan duplikat jika permintaan pengiriman data asli akhirnya berhasil. Ini berlaku untuk semua jenis tujuan yang didukung Amazon Data Firehose, kecuali untuk tujuan Amazon S3, Apache Iceberg Tables, dan tujuan Snowflake.
Topik
