Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Pantau Amazon Data Firehose dengan metrik CloudWatch
penting
Pastikan untuk mengaktifkan alarm pada semua CloudWatch metrik yang termasuk tujuan Anda untuk mengidentifikasi kesalahan tepat waktu.
Amazon Data Firehose terintegrasi dengan CloudWatch metrik Amazon sehingga Anda dapat mengumpulkan, melihat, dan menganalisis CloudWatch metrik untuk aliran Firehose Anda. Misalnya, Anda dapat memantau IncomingRecords metrik IncomingBytes dan untuk melacak data yang dicerna ke Amazon Data Firehose dari produsen data.
Amazon Data Firehose mengumpulkan dan menerbitkan CloudWatch metrik setiap menit. Namun, jika ledakan data masuk hanya terjadi selama beberapa detik, data tersebut mungkin tidak sepenuhnya ditangkap atau terlihat dalam metrik satu menit. Ini karena CloudWatch metrik dikumpulkan dari Amazon Data Firehose selama interval satu menit.
Metrik yang dikumpulkan untuk streaming Firehose tidak dikenai biaya. Untuk informasi tentang metrik agen Kinesis, lihat Memantau kesehatan Agen Kinesis.
Topik
CloudWatch metrik untuk partisi dinamis
Jika partisi dinam is diaktifkan, namespace AWS/Firehose menyertakan metrik berikut.
| Metrik | Deskripsi |
|---|---|
ActivePartitionsLimit |
Jumlah maksimum partisi aktif yang diproses oleh aliran Firehose sebelum mengirim data ke bucket kesalahan. Statistik: Minimum, Maksimum, Rata-rata, Jumlah, Sampel Unit: Hitungan |
PartitionCount |
Jumlah partisi yang sedang diproses, dengan kata lain, jumlah partisi aktif. Jumlah ini bervariasi antara 1 dan batas jumlah partisi 500 (default). Statistik: Minimum, Maksimum, Rata-rata, Jumlah, Sampel Unit: Hitungan |
PartitionCountExceeded |
Metrik ini menunjukkan jika Anda melebihi batas jumlah partisi. Ini memancarkan 1 atau 0 berdasarkan apakah batas dilanggar atau tidak. |
JQProcessing.Duration |
Mengembalikan jumlah waktu yang dibutuhkan untuk mengeksekusi ekspresi JQ dalam fungsi JQ Lambda. Unit: Milidetik |
PerPartitionThroughput |
Menunjukkan throughput yang sedang diproses per partisi. Metrik ini memungkinkan Anda untuk memantau throughput per partisi. Unit: StandardUnit.BytesSecond |
DeliveryToS3.ObjectCount |
Menunjukkan jumlah objek yang dikirim ke bucket S3 Anda. Statistik: Minimum, Maksimum, Rata-rata, Jumlah, Sampel Unit: Hitungan |
CloudWatch metrik untuk pengiriman data
Namespace AWS/Firehose mencakup metrik tingkat layanan berikut. Jika Anda melihat penurunan kecil pada rata-rata untuk BackupToS3.Success, DeliveryToS3.Success, DeliveryToSplunk.Success, DeliveryToAmazonOpenSearchService.Success, atau DeliveryToRedshift.Success, hal itu tidak menunjukkan adanya kehilangan data. Amazon Data Firehose mencoba lagi kesalahan pengiriman dan tidak bergerak maju sampai catatan berhasil dikirim ke tujuan yang dikonfigurasi atau ke bucket S3 cadangan.
Topik
Pengiriman ke OpenSearch Layanan
| Metrik | Deskripsi |
|---|---|
DeliveryToAmazonOpenSearchService.Bytes |
Jumlah byte yang diindeks ke OpenSearch Layanan selama periode waktu yang ditentukan. Statistik: Minimum, Maksimum, Rata-rata, Jumlah, Sampel Unit: Byte |
DeliveryToAmazonOpenSearchService.DataFreshness |
Usia (dari masuk ke Amazon Data Firehose hingga sekarang) dari catatan tertua di Amazon Data Firehose. Setiap catatan yang lebih tua dari usia ini telah dikirimkan ke OpenSearch Layanan. Statistik: Minimum, Maksimum, Rata-rata, Jumlah, Sampel Unit: detik |
DeliveryToAmazonOpenSearchService.Records |
Jumlah catatan yang diindeks ke OpenSearch Layanan selama periode waktu yang ditentukan. Statistik: Minimum, Maksimum, Rata-rata, Jumlah, Sampel Unit: Hitungan |
DeliveryToAmazonOpenSearchService.Success |
Jumlah catatan yang berhasil diindeks. |
DeliveryToS3.Bytes |
Jumlah byte yang dikirim ke Amazon S3 selama periode waktu yang ditentukan. Amazon Data Firehose memancarkan metrik ini hanya jika Anda mengaktifkan pencadangan untuk semua dokumen. Statistik: Minimum, Maksimum, Rata-rata, Jumlah, Sampel Unit: Hitungan |
DeliveryToS3.DataFreshness |
Usia (dari masuk ke Amazon Data Firehose hingga sekarang) dari catatan tertua di Amazon Data Firehose. Semua catatan yang lebih lama dari usia ini telah dikirim ke bucket S3. Amazon Data Firehose memancarkan metrik ini hanya jika Anda mengaktifkan pencadangan untuk semua dokumen. Unit: detik |
DeliveryToS3.Records |
Jumlah catatan yang dikirim ke Amazon S3 selama periode waktu yang ditentukan. Amazon Data Firehose memancarkan metrik ini hanya jika Anda mengaktifkan pencadangan untuk semua dokumen. Statistik: Minimum, Maksimum, Rata-rata, Jumlah, Sampel Unit: Hitungan |
DeliveryToS3.Success |
Jumlah perintah put Amazon S3 yang sukses. Amazon Data Firehose selalu memancarkan metrik ini terlepas dari apakah pencadangan diaktifkan hanya untuk dokumen yang gagal atau untuk semua dokumen. |
DeliveryToAmazonOpenSearchService.AuthFailure |
Authentication/authorization kesalahan. Verifikasi kebijakan OS/ES cluster dan izin peran. 0 menunjukkan bahwa tidak ada masalah. 1 menunjukkan kegagalan otentikasi. |
DeliveryToAmazonOpenSearchService.DeliveryRejected |
Kesalahan pengiriman ditolak. Verifikasi kebijakan OS/ES cluster dan izin peran. 0 menunjukkan bahwa tidak ada masalah. 1 menunjukkan bahwa ada kegagalan pengiriman. |
Pengiriman ke OpenSearch Serverless
| Metrik | Deskripsi |
|---|---|
DeliveryToAmazonOpenSearchServerless.Bytes |
Jumlah byte yang diindeks ke OpenSearch Serverless selama periode waktu yang ditentukan. Statistik: Minimum, Maksimum, Rata-rata, Jumlah, Sampel Unit: Byte |
DeliveryToAmazonOpenSearchServerless.DataFreshness |
Usia (dari masuk ke Amazon Data Firehose hingga sekarang) dari catatan tertua di Amazon Data Firehose. Setiap catatan yang lebih tua dari usia ini telah dikirim ke OpenSearch Serverless. Unit: detik |
DeliveryToAmazonOpenSearchServerless.Records |
Jumlah catatan yang diindeks ke OpenSearch Serverless selama periode waktu yang ditentukan. Statistik: Minimum, Maksimum, Rata-rata, Jumlah, Sampel Unit: Hitungan |
DeliveryToAmazonOpenSearchServerless.Success |
Jumlah catatan yang berhasil diindeks. |
DeliveryToS3.Bytes |
Jumlah byte yang dikirim ke Amazon S3 selama periode waktu yang ditentukan. Amazon Data Firehose memancarkan metrik ini hanya jika Anda mengaktifkan pencadangan untuk semua dokumen. Statistik: Minimum, Maksimum, Rata-rata, Jumlah, Sampel Unit: Hitungan |
DeliveryToS3.DataFreshness |
Usia (dari masuk ke Amazon Data Firehose hingga sekarang) dari catatan tertua di Amazon Data Firehose. Semua catatan yang lebih lama dari usia ini telah dikirim ke bucket S3. Amazon Data Firehose memancarkan metrik ini hanya jika Anda mengaktifkan pencadangan untuk semua dokumen. Unit: detik |
DeliveryToS3.Records |
Jumlah catatan yang dikirim ke Amazon S3 selama periode waktu yang ditentukan. Amazon Data Firehose memancarkan metrik ini hanya jika Anda mengaktifkan pencadangan untuk semua dokumen. Unit: Hitungan |
DeliveryToS3.Success |
Jumlah perintah put Amazon S3 yang sukses. Amazon Data Firehose selalu memancarkan metrik ini terlepas dari apakah pencadangan diaktifkan hanya untuk dokumen yang gagal atau untuk semua dokumen. |
DeliveryToAmazonOpenSearchServerless.AuthFailure |
Authentication/authorization kesalahan. Verifikasi kebijakan OS/ES cluster dan izin peran. 0 menunjukkan bahwa tidak ada masalah. 1 menunjukkan bahwa ada kegagalan otentikasi. |
DeliveryToAmazonOpenSearchServerless.DeliveryRejected |
Kesalahan pengiriman ditolak. Verifikasi kebijakan OS/ES cluster dan izin peran. 0 menunjukkan bahwa tidak ada masalah. 1 menunjukkan bahwa ada kegagalan pengiriman. |
Pengiriman ke Amazon Redshift
| Metrik | Deskripsi |
|---|---|
DeliveryToRedshift.Bytes |
Jumlah byte yang disalin ke Amazon Redshift selama periode waktu yang ditentukan. Statistik: Minimum, Maksimum, Rata-rata, Jumlah, Sampel Unit: Hitungan |
DeliveryToRedshift.Records |
Jumlah catatan yang disalin ke Amazon Redshift selama periode waktu yang ditentukan. Statistik: Minimum, Maksimum, Rata-rata, Jumlah, Sampel Unit: Hitungan |
DeliveryToRedshift.Success |
Jumlah perintah Amazon Redshift COPY yang berhasil. |
DeliveryToS3.Bytes |
Jumlah byte yang dikirim ke Amazon S3 selama periode waktu yang ditentukan. Statistik: Minimum, Maksimum, Rata-rata, Jumlah, Sampel Unit: Byte |
DeliveryToS3.DataFreshness |
Usia (dari masuk ke Amazon Data Firehose hingga sekarang) dari catatan tertua di Amazon Data Firehose. Setiap catatan yang lebih tua dari usia ini dikirim ke bucket S3. Unit: detik |
DeliveryToS3.Records |
Jumlah catatan yang dikirim ke Amazon S3 selama periode waktu yang ditentukan. Statistik: Minimum, Maksimum, Rata-rata, Jumlah, Sampel Unit: Hitungan |
DeliveryToS3.Success |
Jumlah perintah put Amazon S3 yang sukses. |
DeliveryToRedshift.DataFreshness |
Usia (dari masuk ke Amazon Data Firehose hingga sekarang) dari catatan tertua di Amazon Data Firehose. Setiap catatan yang lebih tua dari usia ini dikirim ke cluster Amazon Redshift. |
BackupToS3.Bytes |
Jumlah byte yang dikirimkan ke Amazon S3 untuk dicadangkan selama periode waktu yang ditentukan. Amazon Data Firehose memancarkan metrik ini saat pencadangan ke Amazon S3 diaktifkan. Statistik: Minimum, Maksimum, Rata-rata, Jumlah, Sampel Unit: Hitungan |
BackupToS3.DataFreshness |
Usia (dari masuk ke Amazon Data Firehose hingga sekarang) dari catatan tertua di Amazon Data Firehose. Semua catatan yang lebih lama dari usia ini telah dikirim ke bucket Amazon S3 untuk dicadangkan. Amazon Data Firehose memancarkan metrik ini saat pencadangan ke Amazon S3 diaktifkan. Statistik: Minimum, Maksimum, Rata-rata, Sampel Unit: detik |
BackupToS3.Records |
Jumlah catatan yang dikirim ke Amazon S3 untuk dicadangkan selama periode waktu yang ditentukan. Amazon Data Firehose memancarkan metrik ini saat pencadangan ke Amazon S3 diaktifkan. Statistik: Minimum, Maksimum, Rata-rata, Jumlah, Sampel Unit: Hitungan |
BackupToS3.Success |
Jumlah Amazon S3 yang berhasil menempatkan perintah untuk cadangan. Amazon Data Firehose memancarkan metrik ini saat pencadangan ke Amazon S3 diaktifkan. |
Pengiriman ke Amazon S3
Metrik dalam tabel berikut terkait dengan pengiriman ke Amazon S3 ketika itu adalah tujuan utama aliran Firehose.
| Metrik | Deskripsi |
|---|---|
DeliveryToS3.Bytes |
Jumlah byte yang dikirim ke Amazon S3 selama periode waktu yang ditentukan. Ketika transformasi data diaktifkan, metrik ini mencerminkan ukuran byte yang telah diproses sebelumnya sebelum transformasi. Statistik: Minimum, Maksimum, Rata-rata, Jumlah, Sampel Unit: Byte |
DeliveryToS3.DataFreshness |
Usia (dari masuk ke Amazon Data Firehose hingga sekarang) dari catatan tertua di Amazon Data Firehose. Semua catatan yang lebih lama dari usia ini telah dikirim ke bucket S3. Statistik: Minimum, Maksimum, Rata-rata, Sampel Unit: detik |
DeliveryToS3.Records |
Jumlah catatan yang dikirim ke Amazon S3 selama periode waktu yang ditentukan. Statistik: Minimum, Maksimum, Rata-rata, Jumlah, Sampel Unit: Hitungan |
DeliveryToS3.Success |
Jumlah perintah put Amazon S3 yang sukses. |
BackupToS3.Bytes |
Jumlah byte yang dikirimkan ke Amazon S3 untuk dicadangkan selama periode waktu yang ditentukan. Amazon Data Firehose memancarkan metrik ini saat pencadangan diaktifkan (yang hanya mungkin jika transformasi data juga diaktifkan). Statistik: Minimum, Maksimum, Rata-rata, Jumlah, Sampel Unit: Hitungan |
BackupToS3.DataFreshness |
Usia (dari masuk ke Amazon Data Firehose hingga sekarang) dari catatan tertua di Amazon Data Firehose. Semua catatan yang lebih lama dari usia ini telah dikirim ke bucket Amazon S3 untuk dicadangkan. Amazon Data Firehose memancarkan metrik ini saat pencadangan diaktifkan (yang hanya mungkin jika transformasi data juga diaktifkan). Statistik: Minimum, Maksimum, Rata-rata, Sampel Unit: detik |
BackupToS3.Records |
Jumlah catatan yang dikirim ke Amazon S3 untuk dicadangkan selama periode waktu yang ditentukan. Amazon Data Firehose memancarkan metrik ini saat pencadangan diaktifkan (yang hanya mungkin jika transformasi data juga diaktifkan). Statistik: Minimum, Maksimum, Rata-rata, Jumlah, Sampel Unit: Hitungan |
BackupToS3.Success |
Jumlah Amazon S3 yang berhasil menempatkan perintah untuk cadangan. Amazon Data Firehose memancarkan metrik ini saat pencadangan diaktifkan (yang hanya mungkin jika transformasi data juga diaktifkan). |
Pengiriman ke Snowflake
| Metrik | Deskripsi |
|---|---|
DeliveryToSnowflake.Bytes |
Jumlah byte yang dikirim ke Snowflake selama periode waktu yang ditentukan. Statistik: Minimum, Maksimum, Rata-rata, Jumlah, Sampel Unit: Byte |
DeliveryToSnowflake.DataFreshness |
Usia (dari masuk ke Firehose hingga sekarang) dari rekor tertua di Firehose. Setiap catatan yang lebih tua dari usia ini telah dikirim ke Snowflake. Perhatikan bahwa perlu beberapa detik untuk mengkomit data ke Snowflake setelah panggilan insert Firehose berhasil. Untuk waktu yang dibutuhkan untuk melakukan komit data ke Snowflake, lihat Statistik: Minimum, Maksimum, Rata-rata, Sampel Unit: detik |
DeliveryToSnowflake.DataCommitLatency |
Waktu yang dibutuhkan data untuk dikomitmen ke Snowflake setelah Firehose berhasil memasukkan catatan. Statistik: Minimum, Maksimum, Rata-rata, Sampel Unit: detik |
DeliveryToSnowflake.Records |
Jumlah catatan yang dikirim ke Snowflake selama periode waktu yang ditentukan. Statistik: Minimum, Maksimum, Rata-rata, Jumlah, Sampel Unit: Hitungan |
DeliveryToSnowflake.Success |
Jumlah panggilan sisipan yang berhasil dilakukan ke Snowflake. |
DeliveryToS3.Bytes |
Jumlah byte yang dikirim ke Amazon S3 selama periode waktu yang ditentukan. Metrik ini hanya tersedia saat pengiriman ke Snowflake gagal dan Firehose mencoba mencadangkan data yang gagal ke S3. Statistik: Minimum, Maksimum, Rata-rata, Jumlah, Sampel Unit: Byte |
DeliveryToS3.Records |
Jumlah catatan yang dikirim ke Amazon S3 selama periode waktu yang ditentukan. Metrik ini hanya tersedia saat pengiriman ke Snowflake gagal dan Firehose mencoba mencadangkan data yang gagal ke S3. Statistik: Minimum, Maksimum, Rata-rata, Jumlah, Sampel Unit: Hitungan |
DeliveryToS3.Success |
Jumlah perintah put Amazon S3 yang sukses. Metrik ini hanya tersedia saat pengiriman ke Snowflake gagal dan Firehose mencoba mencadangkan data yang gagal ke S3. |
BackupToS3.DataFreshness |
Usia (dari ke Firehose hingga sekarang) dari rekor tertua di Firehose. Setiap catatan yang lebih tua dari usia ini dicadangkan ke bucket Amazon S3. Metrik ini tersedia saat aliran Firehose dikonfigurasi untuk mencadangkan semua data. Statistik: Minimum, Maksimum, Rata-rata, Sampel Unit: detik |
BackupToS3.Records |
Jumlah catatan yang dikirim ke Amazon S3 untuk dicadangkan selama periode waktu yang ditentukan. Metrik ini tersedia saat aliran Firehose dikonfigurasi untuk mencadangkan semua data. Statistik: Minimum, Maksimum, Rata-rata, Jumlah, Sampel Units:Count |
BackupToS3.Bytes |
Jumlah byte yang dikirimkan ke Amazon S3 untuk dicadangkan selama periode waktu yang ditentukan. Metrik ini tersedia saat aliran Firehose dikonfigurasi untuk mencadangkan semua data. Statistik: Minimum, Maksimum, Rata-rata, Jumlah, Sampel Units:Count |
BackupToS3.Success |
Jumlah Amazon S3 yang berhasil menempatkan perintah untuk cadangan. Firehose memancarkan metrik ini saat aliran Firehose dikonfigurasi untuk mencadangkan semua data. |
Pengiriman ke Splunk
| Metrik | Deskripsi |
|---|---|
DeliveryToSplunk.Bytes |
Jumlah byte yang dikirim ke Splunk selama periode waktu yang ditentukan. Statistik: Minimum, Maksimum, Rata-rata, Jumlah, Sampel Unit: Byte |
DeliveryToSplunk.DataAckLatency |
Perkiraan durasi yang diperlukan untuk menerima pengakuan dari Splunk setelah Amazon Data Firehose mengirimkan data. Tren yang meningkat atau menurun untuk metrik ini lebih berguna daripada nilai perkiraan absolut. Tren yang meningkat dapat mengindikasikan laju pengindeksan dan pengakuan yang lebih lambat dari pengindeks Splunk. Statistik: Minimum, Maksimum, Rata-rata, Sampel Unit: detik |
DeliveryToSplunk.DataFreshness |
Usia (dari masuk ke Amazon Data Firehose hingga sekarang) dari catatan tertua di Amazon Data Firehose. Semua catatan yang lebih lama dari usia ini telah dikirim ke Splunk. Statistik: Minimum, Maksimum, Rata-rata, Sampel Unit: detik |
DeliveryToSplunk.Records |
Jumlah catatan yang dikirim ke Splunk selama periode waktu yang ditentukan. Statistik: Minimum, Maksimum, Rata-rata, Jumlah, Sampel Unit: Hitungan |
DeliveryToSplunk.Success |
Jumlah catatan yang berhasil diindeks. |
DeliveryToS3.Success |
Jumlah perintah put Amazon S3 yang sukses. Metrik ini dikeluarkan saat pencadangan ke Amazon S3 diaktifkan. |
BackupToS3.Bytes |
Jumlah byte yang dikirimkan ke Amazon S3 untuk dicadangkan selama periode waktu yang ditentukan. Amazon Data Firehose memancarkan metrik ini saat aliran Firehose dikonfigurasi untuk mencadangkan semua dokumen. Statistik: Minimum, Maksimum, Rata-rata, Jumlah, Sampel Unit: Hitungan |
BackupToS3.DataFreshness |
Usia (dari masuk ke Amazon Data Firehose hingga sekarang) dari catatan tertua di Amazon Data Firehose. Semua catatan yang lebih lama dari usia ini telah dikirim ke bucket Amazon S3 untuk dicadangkan. Amazon Data Firehose memancarkan metrik ini saat aliran Firehose dikonfigurasi untuk mencadangkan semua dokumen. Statistik: Minimum, Maksimum, Rata-rata, Sampel Unit: detik |
BackupToS3.Records |
Jumlah catatan yang dikirim ke Amazon S3 untuk dicadangkan selama periode waktu yang ditentukan. Amazon Data Firehose memancarkan metrik ini saat aliran Firehose dikonfigurasi untuk mencadangkan semua dokumen. Statistik: Minimum, Maksimum, Rata-rata, Jumlah, Sampel Unit: Hitungan |
BackupToS3.Success |
Jumlah perintah pemasangan Amazon S3 yang berhasil untuk cadangan. Amazon Data Firehose memancarkan metrik ini saat aliran Firehose dikonfigurasi untuk mencadangkan semua dokumen. |
Pengiriman ke Titik Akhir HTTP
| Metrik | Deskripsi |
|---|---|
DeliveryToHttpEndpoint.Bytes |
Jumlah byte yang berhasil dikirim ke titik akhir HTTP. Statistik: Minimum, Maksimum, Rata-rata, Jumlah, Sampel Unit: Byte |
DeliveryToHttpEndpoint.Records |
Jumlah catatan yang berhasil dikirim ke titik akhir HTTP. Metrik ini hanya dipancarkan untuk upaya pengiriman yang berhasil dan tidak dipancarkan ketika upaya pengiriman gagal. Statistik: Minimum, Maksimum, Rata-rata, Jumlah, Sampel Unit: Jumlah |
DeliveryToHttpEndpoint.DataFreshness |
Usia rekor tertua di Amazon Data Firehose. Statistik: Minimum, Maksimum, Rata-rata, Sampel Unit: detik |
DeliveryToHttpEndpoint.Success |
Jumlah catatan yang berhasil dikirim ke titik akhir HTTP per upaya pengiriman. Tidak seperti Statistik: Minimum, Maksimum, Rata-rata, Jumlah, Sampel Unit: Hitungan |
DeliveryToHttpEndpoint.ProcessedBytes |
Jumlah percobaan byte diproses, termasuk percobaan ulang. |
DeliveryToHttpEndpoint.ProcessedRecords |
Jumlah percobaan catatan termasuk percobaan ulang. |
Metrik penyerapan data
Topik
Penyerapan data melalui Kinesis Data Streams
| Metrik | Deskripsi |
|---|---|
DataReadFromKinesisStream.Bytes |
Bila sumber data adalah aliran data Kinesis, metrik ini menunjukkan jumlah byte yang dibaca dari aliran data tersebut. Jumlah ini termasuk pembacaan ulang karena failover. Statistik: Minimum, Maksimum, Rata-rata, Jumlah, Sampel Unit: Byte |
DataReadFromKinesisStream.Records |
Bila sumber data adalah aliran data Kinesis, metrik ini menunjukkan jumlah catatan yang dibaca dari aliran data tersebut. Jumlah ini termasuk pembacaan ulang karena failover. Statistik: Minimum, Maksimum, Rata-rata, Jumlah, Sampel Unit: Hitungan |
ThrottledDescribeStream |
Frekuensi total operasi Statistik: Minimum, Maksimum, Rata-rata, Jumlah, Sampel Unit: Hitungan |
ThrottledGetRecords |
Frekuensi total operasi Statistik: Minimum, Maksimum, Rata-rata, Jumlah, Sampel Unit: Hitungan |
ThrottledGetShardIterator |
Frekuensi total operasi Statistik: Minimum, Maksimum, Rata-rata, Jumlah, Sampel Unit: Hitungan |
KinesisMillisBehindLatest |
Bila sumber data adalah aliran data Kinesis, metrik ini menunjukkan bahwa jumlah milidetik yang terakhir dicatat dalam pembacaan tertinggal dari catatan terbaru dalam aliran data Kinesis. Statistik: Minimum, Maksimum, Rata-rata, Sampel Unit: Milidetik |
Penyerapan data melalui Direct PUT
| Metrik | Deskripsi |
|---|---|
BackupToS3.Bytes |
Jumlah byte yang dikirimkan ke Amazon S3 untuk dicadangkan selama periode waktu yang ditentukan. Amazon Data Firehose memancarkan metrik ini saat transformasi data diaktifkan untuk tujuan Amazon S3 atau Amazon Redshift. Statistik: Minimum, Maksimum, Rata-rata, Jumlah, Sampel Unit: Byte |
BackupToS3.DataFreshness |
Usia (dari masuk ke Amazon Data Firehose hingga sekarang) dari catatan tertua di Amazon Data Firehose. Semua catatan yang lebih lama dari usia ini telah dikirim ke bucket Amazon S3 untuk dicadangkan. Amazon Data Firehose memancarkan metrik ini saat transformasi data diaktifkan untuk tujuan Amazon S3 atau Amazon Redshift. Statistik: Minimum, Maksimum, Rata-rata, Sampel Unit: detik |
BackupToS3.Records |
Jumlah catatan yang dikirim ke Amazon S3 untuk dicadangkan selama periode waktu yang ditentukan. Amazon Data Firehose memancarkan metrik ini saat transformasi data diaktifkan untuk tujuan Amazon S3 atau Amazon Redshift. Statistik: Minimum, Maksimum, Rata-rata, Jumlah, Sampel Unit: Hitungan |
BackupToS3.Success |
Jumlah perintah pemasangan Amazon S3 yang berhasil untuk cadangan. Amazon Data Firehose memancarkan metrik ini saat transformasi data diaktifkan untuk tujuan Amazon S3 atau Amazon Redshift. |
BytesPerSecondLimit |
Jumlah maksimum byte per detik saat ini yang dapat dikonsumsi oleh aliran Firehose sebelum pelambatan. Untuk meminta peningkatan batas ini, kunjungi Pusat Dukungan AWS |
DeliveryToAmazonOpenSearchService.Bytes |
Jumlah byte yang diindeks ke OpenSearch Layanan selama periode waktu yang ditentukan. Statistik: Minimum, Maksimum, Rata-rata, Jumlah, Sampel Unit: Byte |
DeliveryToAmazonOpenSearchService.DataFreshness |
Usia (dari masuk ke Amazon Data Firehose hingga sekarang) dari catatan tertua di Amazon Data Firehose. Setiap catatan yang lebih tua dari usia ini telah dikirimkan ke OpenSearch Layanan. Statistik: Minimum, Maksimum, Rata-rata, Sampel Unit: detik |
DeliveryToAmazonOpenSearchService.Records |
Jumlah catatan yang diindeks ke OpenSearch Layanan selama periode waktu yang ditentukan. Statistik: Minimum, Maksimum, Rata-rata, Jumlah, Sampel Unit: Hitungan |
DeliveryToAmazonOpenSearchService.Success |
Jumlah catatan yang berhasil diindeks. |
DeliveryToRedshift.Bytes |
Jumlah byte yang disalin ke Amazon Redshift selama periode waktu yang ditentukan. Statistik: Minimum, Maksimum, Rata-rata, Jumlah, Sampel Unit: Byte |
DeliveryToRedshift.Records |
Jumlah catatan yang disalin ke Amazon Redshift selama periode waktu yang ditentukan. Statistik: Minimum, Maksimum, Rata-rata, Jumlah, Sampel Unit: Hitungan |
DeliveryToRedshift.Success |
Jumlah perintah Amazon Redshift COPY yang berhasil. |
DeliveryToS3.Bytes |
Jumlah byte yang dikirim ke Amazon S3 selama periode waktu yang ditentukan. Statistik: Minimum, Maksimum, Rata-rata, Jumlah, Sampel Unit: Byte |
DeliveryToS3.DataFreshness |
Usia (dari masuk ke Amazon Data Firehose hingga sekarang) dari catatan tertua di Amazon Data Firehose. Semua catatan yang lebih lama dari usia ini telah dikirim ke bucket S3. Statistik: Minimum, Maksimum, Rata-rata, Sampel Unit: detik |
DeliveryToS3.Records |
Jumlah catatan yang dikirim ke Amazon S3 selama periode waktu yang ditentukan. Statistik: Minimum, Maksimum, Rata-rata, Jumlah, Sampel Unit: Hitungan |
DeliveryToS3.Success |
Jumlah perintah put Amazon S3 yang sukses. |
DeliveryToSplunk.Bytes |
Jumlah byte yang dikirim ke Splunk selama periode waktu yang ditentukan. Statistik: Minimum, Maksimum, Rata-rata, Jumlah, Sampel Unit: Byte |
DeliveryToSplunk.DataAckLatency |
Perkiraan durasi yang diperlukan untuk menerima pengakuan dari Splunk setelah Amazon Data Firehose mengirimkan data. Tren yang meningkat atau menurun untuk metrik ini lebih berguna daripada nilai perkiraan absolut. Tren yang meningkat dapat mengindikasikan laju pengindeksan dan pengakuan yang lebih lambat dari pengindeks Splunk. Statistik: Minimum, Maksimum, Rata-rata, Sampel Unit: detik |
DeliveryToSplunk.DataFreshness |
Usia (dari masuk ke Amazon Data Firehose hingga sekarang) dari catatan tertua di Amazon Data Firehose. Semua catatan yang lebih lama dari usia ini telah dikirim ke Splunk. Statistik: Minimum, Maksimum, Rata-rata, Sampel Unit: detik |
DeliveryToSplunk.Records |
Jumlah catatan yang dikirim ke Splunk selama periode waktu yang ditentukan. Statistik: Minimum, Maksimum, Rata-rata, Jumlah, Sampel Unit: Hitungan |
DeliveryToSplunk.Success |
Jumlah catatan yang berhasil diindeks. |
IncomingBytes |
Jumlah byte yang berhasil masuk ke aliran Firehose selama periode waktu yang ditentukan. Penyerapan data dapat dibatasi ketika melebihi salah satu batas aliran Firehose. Data yang dibatasi tidak akan dihitung. Statistik: Minimum, Maksimum, Rata-rata, Jumlah, Sampel Unit: Byte |
IncomingPutRequests |
Jumlah keberhasilan PutRecord dan PutRecordBatch permintaan selama periode waktu tertentu. Statistik: Minimum, Maksimum, Rata-rata, Jumlah, Sampel Unit: Hitungan |
IncomingRecords |
Jumlah rekaman yang berhasil dicerna ke aliran Firehose selama periode waktu yang ditentukan. Penyerapan data dapat dibatasi ketika melebihi salah satu batas aliran Firehose. Data yang dibatasi tidak akan dihitung. Statistik: Minimum, Maksimum, Rata-rata, Jumlah, Sampel Unit: Hitungan |
RecordsPerSecondLimit |
Jumlah maksimum rekaman per detik saat ini yang dapat dicerna oleh aliran Firehose sebelum pelambatan. Statistik: Minimum, Maksimum, Rata-rata, Jumlah, Sampel Unit: Hitungan |
ThrottledRecords |
Jumlah catatan yang dibatasi karena penyerapan data melebihi salah satu batas aliran Firehose. Statistik: Minimum, Maksimum, Rata-rata, Jumlah, Sampel Unit: Hitungan |
Penyerapan data dari MSK
| Metrik | Deskripsi |
|---|---|
DataReadFromSource.Records
|
Jumlah catatan yang dibaca dari sumber Topik Kafka. Statistik: Minimum, Maksimum, Rata-rata, Jumlah, Sampel Unit: Hitungan |
DataReadFromSource.Bytes
|
Jumlah byte yang dibaca dari sumber Topik Kafka. Statistik: Minimum, Maksimum, Rata-rata, Jumlah, Sampel Unit: Byte |
SourceThrottled.Delay
|
Jumlah waktu cluster sumber Kafka tertunda dalam mengembalikan catatan dari sumber Topik Kafka. Statistik: Minimum, Maksimum, Rata-rata, Sampel Unit: Milidetik |
BytesPerSecondLimit
|
Batas throughput saat ini di mana Firehose akan membaca dari setiap partisi sumber Topik Kafka. Statistik: Minimum, Maksimum, Rata-rata, Jumlah, Sampel Unit: Bytes/sec |
KafkaOffsetLag
|
Perbedaan antara offset terbesar dari rekaman yang dibaca Firehose dari sumber Kafka Topic dan offset terbesar dari rekaman yang tersedia dari sumber Kafka Topic. Statistik: Minimum, Maksimum, Rata-rata, Jumlah, Sampel Unit: Hitungan |
FailedValidation.Records
|
Jumlah catatan yang gagal validasi rekaman. Statistik: Minimum, Maksimum, Rata-rata, Jumlah, Sampel Unit: Hitungan |
FailedValidation.Bytes
|
Jumlah byte yang gagal validasi rekaman. Statistik: Minimum, Maksimum, Rata-rata, Jumlah, Sampel Unit: Byte |
DataReadFromSource.Backpressured
|
Menunjukkan bahwa aliran Firehose tertunda dalam membaca catatan dari partisi sumber baik karena BytesPerSecondLimit per partisi telah terlampaui atau aliran pengiriman normal lambat atau telah berhenti Unit: Boolean |
API-level CloudWatch metrik
AWS/FirehoseNamespace mencakup API-level metrik berikut.
| Metrik | Deskripsi |
|---|---|
DescribeDeliveryStream.Latency |
Waktu yang dibutuhkan per operasi Statistik: Minimum, Maksimum, Rata-rata, Sampel Unit: Milidetik |
DescribeDeliveryStream.Requests |
Jumlah total permintaan Statistik: Minimum, Maksimum, Rata-rata, Jumlah, Sampel Unit: Hitungan |
ListDeliveryStreams.Latency |
Waktu yang dibutuhkan per operasi Statistik: Minimum, Maksimum, Rata-rata, Sampel Unit: Milidetik |
ListDeliveryStreams.Requests |
Jumlah total permintaan Statistik: Minimum, Maksimum, Rata-rata, Jumlah, Sampel Unit: Hitungan |
PutRecord.Bytes |
Jumlah byte yang dimasukkan ke aliran Firehose yang digunakan Statistik: Minimum, Maksimum, Rata-rata, Jumlah, Sampel Unit: Byte |
PutRecord.Latency |
Waktu yang dibutuhkan per operasi Statistik: Minimum, Maksimum, Rata-rata, Sampel Unit: Milidetik |
PutRecord.Requests |
Jumlah total permintaan Statistik: Minimum, Maksimum, Rata-rata, Jumlah, Sampel Unit: Hitungan |
PutRecordBatch.Bytes |
Jumlah byte yang dimasukkan ke aliran Firehose yang digunakan Statistik: Minimum, Maksimum, Rata-rata, Jumlah, Sampel Unit: Byte |
PutRecordBatch.Latency |
Waktu yang dibutuhkan per operasi Statistik: Minimum, Maksimum, Rata-rata, Sampel Unit: Milidetik |
PutRecordBatch.Records |
Jumlah total catatan dari operasi Statistik: Minimum, Maksimum, Rata-rata, Jumlah, Sampel Unit: Hitungan |
PutRecordBatch.Requests |
Jumlah total permintaan Statistik: Minimum, Maksimum, Rata-rata, Jumlah, Sampel Unit: Hitungan |
PutRequestsPerSecondLimit |
Jumlah maksimum permintaan put per detik yang dapat ditangani oleh aliran Firehose sebelum pelambatan. Nomor ini termasuk PutRecord dan PutRecordBatch permintaan. Statistik: Minimum, Maksimum, Rata-rata, Jumlah, Sampel Unit: Hitungan |
ThrottledDescribeStream |
Frekuensi total operasi Statistik: Minimum, Maksimum, Rata-rata, Jumlah, Sampel Unit: Hitungan |
ThrottledGetRecords |
Frekuensi total operasi Statistik: Minimum, Maksimum, Rata-rata, Jumlah, Sampel Unit: Hitungan |
ThrottledGetShardIterator |
Frekuensi total operasi Statistik: Minimum, Maksimum, Rata-rata, Jumlah, Sampel Unit: Hitungan |
UpdateDeliveryStream.Latency |
Waktu yang dibutuhkan per operasi Statistik: Minimum, Maksimum, Rata-rata, Sampel Unit: Milidetik |
UpdateDeliveryStream.Requests |
Jumlah total permintaan Statistik: Minimum, Maksimum, Rata-rata, Jumlah, Sampel Unit: Hitungan |
CloudWatch Metrik Transformasi Data
Jika transformasi data dengan Lambda diaktifkan, namespace AWS/Firehose mencakup metrik berikut.
| Metrik | Deskripsi |
|---|---|
ExecuteProcessing.Duration |
Waktu yang dibutuhkan untuk setiap pemanggilan fungsi Lambda yang dilakukan oleh Firehose. Unit: Milidetik |
ExecuteProcessing.Success |
Jumlah pemanggilan fungsi Lambda yang berhasil dari jumlah total pemanggilan fungsi Lambda. |
SucceedProcessing.Records |
Jumlah catatan yang berhasil diproses selama periode waktu yang ditentukan. Unit: Hitungan |
SucceedProcessing.Bytes |
Jumlah byte yang berhasil diproses selama periode waktu yang ditentukan. Unit: Byte |
CloudWatch Metrik Dekompresi Log
Jika dekompresi diaktifkan untuk pengiriman CloudWatch Log, AWS/Firehose namespace menyertakan metrik berikut.
| Metrik | Deskripsi |
|---|---|
OutputDecompressedBytes.Success |
Data yang berhasil didekompresi dalam byte Statistik: Minimum, Maksimum, Rata-rata, Jumlah, Sampel Unit: Byte |
OutputDecompressedBytes.Failed |
Data yang gagal didekompresi dalam byte Statistik: Minimum, Maksimum, Rata-rata, Jumlah, Sampel Unit: Byte |
OutputDecompressedRecords.Success |
Jumlah catatan yang berhasil didekompresi Statistik: Minimum, Maksimum, Rata-rata, Jumlah, Sampel Unit: Hitungan |
OutputDecompressedRecords.Failed |
Jumlah catatan yang gagal didekompresi Statistik: Minimum, Maksimum, Rata-rata, Jumlah, Sampel Unit: Hitungan |
Format CloudWatch Metrik Konversi
Jika konversi format diaktifkan, namespace AWS/Firehose mencakup metrik berikut.
| Metrik | Deskripsi |
|---|---|
SucceedConversion.Records |
Jumlah catatan yang berhasil dikonversi. Unit: Hitungan |
SucceedConversion.Bytes |
Jumlah catatan yang berhasil dikonversi. Unit: Byte |
FailedConversion.Records |
Jumlah catatan yang tidak dapat dikonversi. Unit: Hitungan |
FailedConversion.Bytes |
Ukuran catatan yang tidak dapat dikonversi. Unit: Byte |
Server-Side CloudWatch Metrik Enkripsi (SSE)
Namespace AWS/Firehose mencakup metrik berikut yang terkait dengan SSE.
| Metrik | Deskripsi |
|---|---|
KMSKeyAccessDenied |
Berapa kali layanan menemukan a Statistik: Minimum, Maksimum, Rata-rata, Jumlah, Sampel Unit: Hitungan |
KMSKeyDisabled |
Berapa kali layanan menemukan a Statistik: Minimum, Maksimum, Rata-rata, Jumlah, Sampel Unit: Hitungan |
KMSKeyInvalidState |
Berapa kali layanan menemukan a Statistik: Minimum, Maksimum, Rata-rata, Jumlah, Sampel Unit: Hitungan |
KMSKeyNotFound |
Berapa kali layanan menemukan a Statistik: Minimum, Maksimum, Rata-rata, Jumlah, Sampel Unit: Hitungan |
Dimensi untuk Amazon Data Firehose
Untuk memfilter metrik berdasarkan aliran Firehose, gunakan DeliveryStreamName dimensi.
Metrik Penggunaan Amazon Data Firehose
Anda dapat menggunakan metrik CloudWatch penggunaan untuk memberikan visibilitas ke dalam penggunaan sumber daya akun Anda. Gunakan metrik ini untuk memvisualisasikan penggunaan layanan Anda saat ini pada CloudWatch grafik dan dasbor.
Metrik penggunaan kuota layanan ada di namespace AWS/Usage dan dikumpulkan setiap tiga menit.
Saat ini, satu-satunya nama metrik di namespace ini yang diterbitkan CloudWatch adalahResourceCount. Metrik ini diterbitkan dengan dimensi Service, Class, Type, dan Resource.
| Metrik | Deskripsi |
|---|---|
ResourceCount |
Jumlah sumber daya yang ditentukan yang berjalan di akun Anda. Sumber daya tersebut ditentukan oleh dimensi yang dikaitkan dengan metrik. Statistik yang paling berguna untuk metrik ini adalah MAKSIMUM, yang mewakili jumlah maksimum sumber daya yang digunakan selama periode 3 menit. |
Dimensi berikut digunakan untuk menyempurnakan metrik penggunaan yang diterbitkan oleh Amazon Data Firehose.
| Dimensi | Deskripsi |
|---|---|
Service |
Nama AWS layanan yang berisi sumber daya. Untuk metrik penggunaan Amazon Data Firehose, nilai untuk dimensi ini adalah |
Class |
Kelas sumber daya yang akan dilacak. Metrik penggunaan API Amazon Data Firehose menggunakan dimensi ini dengan nilai |
Type |
Jenis sumber daya yang sedang ditelusuri. Saat ini, ketika dimensi Layanan adalah |
Resource |
Nama sumber AWS daya. Saat ini, ketika dimensi Layanan adalah |
