Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
Überwachen Sie Amazon Data Firehose mit Metriken CloudWatch
Wichtig
Achten Sie darauf, Alarme für alle CloudWatch Metriken zu aktivieren, die zu Ihrem Ziel gehören, um Fehler rechtzeitig zu erkennen.
Amazon Data Firehose ist in CloudWatch Amazon-Metriken integriert, sodass Sie CloudWatch Metriken für Ihre Firehose-Streams sammeln, anzeigen und analysieren können. Beispielsweise können Sie die IncomingBytes IncomingRecords And-Metriken überwachen, um die von Datenproduzenten in Amazon Data Firehose übernommenen Daten nachzuverfolgen.
Amazon Data Firehose sammelt und veröffentlicht jede Minute CloudWatch Metriken. Wenn eingehende Datenmengen jedoch nur für einige Sekunden auftreten, werden sie möglicherweise nicht vollständig erfasst oder sind in den einminütigen Metriken nicht sichtbar. Dies liegt daran, dass CloudWatch Metriken über Intervalle von einer Minute von Amazon Data Firehose aggregiert werden.
Die für Firehose gesammelten Metriken sind kostenlos. Weitere Informationen zu Kinesis-Agent-Metriken finden Sie unter Überwachen des Zustands des Kinesis-Agenten.
CloudWatch Metriken für die dynamische Partitionierung
Wenn die dynamische Partitionierung aktiviert ist, umfasst der AWS/Firehose-Namespace die folgenden Metriken.
| Metrik | Beschreibung |
|---|---|
ActivePartitionsLimit |
Die maximale Anzahl aktiver Partitionen, die ein Firehose-Stream verarbeitet, bevor Daten an den Fehler-Bucket gesendet werden. Gültige Statistiken: Minimum, Maximum, Durchschnitt, Summe, Stichproben Einheiten: Anzahl |
PartitionCount |
Die Anzahl der Partitionen, die verarbeitet werden, mit anderen Worten, die Anzahl der aktiven Partitionen. Diese Zahl variiert zwischen 1 und dem Limit für die Partitionsanzahl von 500 (Standard). Gültige Statistiken: Minimum, Maximum, Durchschnitt, Summe, Stichproben Einheiten: Anzahl |
PartitionCountExceeded |
Diese Metrik gibt an, ob Sie das Limit für die Partitionsanzahl überschreiten. Je nachdem, ob das Limit überschritten wurde oder nicht, gibt es 1 oder 0 aus. |
JQProcessing.Duration |
Gibt die Zeit zurück, die für die Ausführung des JQ-Ausdrucks in der JQ-Lambda-Funktion benötigt wurde. Einheiten: Millisekunden |
PerPartitionThroughput |
Gibt den Durchsatz an, der pro Partition verarbeitet wird. Mit dieser Metrik können Sie den Durchsatz pro Partition überwachen. Einheiten: StandardUnit. BytesSecond |
DeliveryToS3.ObjectCount |
Gibt die Anzahl der Objekte an, die an Ihren S3-Bucket geliefert werden. Gültige Statistiken: Minimum, Maximum, Durchschnitt, Summe, Stichproben Einheiten: Anzahl |
CloudWatch Metriken für die Datenbereitstellung
Der AWS/Firehose-Namespace enthält die folgenden Service-Level-Metriken. Wenn Sie bei BackupToS3.Success, DeliveryToS3.Success, DeliveryToSplunk.Success, DeliveryToAmazonOpenSearchService.Success oder DeliveryToRedshift.Success einen leichten Rückgang des Durchschnitts feststellen, bedeutet das nicht, dass es zu einem Datenverlust gekommen ist. Amazon Data Firehose versucht erneut, Fehler bei der Zustellung zu melden, und fährt erst dann fort, wenn die Datensätze erfolgreich entweder an das konfigurierte Ziel oder an den Backup-S3-Bucket übermittelt wurden.
Themen
Lieferung bis OpenSearch Service
| Metrik | Beschreibung |
|---|---|
DeliveryToAmazonOpenSearchService.Bytes |
Anzahl der Bytes, die über den angegebenen Zeitraum für OpenSearch Service indiziert wurden. Gültige Statistiken: Minimum, Maximum, Durchschnitt, Summe, Stichproben Einheiten: Byte |
DeliveryToAmazonOpenSearchService.DataFreshness |
Das Alter (vom Einstieg in Amazon Data Firehose bis heute) des ältesten Datensatzes in Amazon Data Firehose. Alle älteren Datensätze wurden für den OpenSearch -Service bereitgestellt. Gültige Statistiken: Minimum, Maximum, Durchschnitt, Summe, Stichproben Einheiten: Sekunden |
DeliveryToAmazonOpenSearchService.Records |
Die Anzahl der Aufzeichnungen, die über den angegebenen Zeitraum für OpenSearch Service indiziert wurden. Gültige Statistiken: Minimum, Maximum, Durchschnitt, Summe, Stichproben Einheiten: Anzahl |
DeliveryToAmazonOpenSearchService.Success |
Die Summe der erfolgreich indizierten Datensätze. |
DeliveryToS3.Bytes |
Die Anzahl der Bytes, die über den angegebenen Zeitraum für Amazon S3 bereitgestellt wurden. Amazon Data Firehose gibt diese Metrik nur aus, wenn Sie die Sicherung für alle Dokumente aktivieren. Gültige Statistiken: Minimum, Maximum, Durchschnitt, Summe, Stichproben Einheiten: Anzahl |
DeliveryToS3.DataFreshness |
Das Alter (vom Einstieg in Amazon Data Firehose bis heute) des ältesten Datensatzes in Amazon Data Firehose. Alle älteren Datensätze wurden für den S3-Bucket bereitgestellt. Amazon Data Firehose gibt diese Metrik nur aus, wenn Sie die Sicherung für alle Dokumente aktivieren. Einheiten: Sekunden |
DeliveryToS3.Records |
Die Anzahl der Datensätze, die über den angegebenen Zeitraum für Amazon S3 bereitgestellt wurden. Amazon Data Firehose gibt diese Metrik nur aus, wenn Sie die Sicherung für alle Dokumente aktivieren. Gültige Statistiken: Minimum, Maximum, Durchschnitt, Summe, Stichproben Einheiten: Anzahl |
DeliveryToS3.Success |
Die Summe der erfolgreichen Amazon-S3-PUT-Befehle. Amazon Data Firehose gibt diese Metrik immer aus, unabhängig davon, ob die Sicherung nur für fehlgeschlagene Dokumente oder für alle Dokumente aktiviert ist. |
DeliveryToAmazonOpenSearchService.AuthFailure |
Authentication/authorization error. Verify the OS/ESClusterrichtlinie und Rollenberechtigungen. 0 bedeutet, dass kein Problem vorhanden ist. 1 bedeutet, dass die Authentifizierung fehlgeschlagen ist. |
DeliveryToAmazonOpenSearchService.DeliveryRejected |
Fehler beim Ablehnen der Lieferung. Überprüfen Sie die OS/ES-Clusterrichtlinie und die Rollenberechtigungen. 0 bedeutet, dass kein Problem vorliegt. 1 bedeutet, dass ein Zustellungsfehler vorliegt. |
Lieferung an OpenSearch Serverless
| Metrik | Beschreibung |
|---|---|
DeliveryToAmazonOpenSearchServerless.Bytes |
Die Anzahl der Bytes, die über den angegebenen Zeitraum für OpenSearch Serverless indiziert wurden. Gültige Statistiken: Minimum, Maximum, Durchschnitt, Summe, Stichproben Einheiten: Byte |
DeliveryToAmazonOpenSearchServerless.DataFreshness |
Das Alter (vom Einstieg in Amazon Data Firehose bis heute) des ältesten Datensatzes in Amazon Data Firehose. Alle älteren Datensätze wurden für OpenSearch Serverless bereitgestellt. Einheiten: Sekunden |
DeliveryToAmazonOpenSearchServerless.Records |
Die Anzahl der Aufzeichnungen, die über den angegebenen Zeitraum für OpenSearch Serverless indiziert wurden. Gültige Statistiken: Minimum, Maximum, Durchschnitt, Summe, Stichproben Einheiten: Anzahl |
DeliveryToAmazonOpenSearchServerless.Success |
Die Summe der erfolgreich indizierten Datensätze. |
DeliveryToS3.Bytes |
Die Anzahl der Bytes, die über den angegebenen Zeitraum für Amazon S3 bereitgestellt wurden. Amazon Data Firehose gibt diese Metrik nur aus, wenn Sie die Sicherung für alle Dokumente aktivieren. Gültige Statistiken: Minimum, Maximum, Durchschnitt, Summe, Stichproben Einheiten: Anzahl |
DeliveryToS3.DataFreshness |
Das Alter (vom Einstieg in Amazon Data Firehose bis heute) des ältesten Datensatzes in Amazon Data Firehose. Alle älteren Datensätze wurden für den S3-Bucket bereitgestellt. Amazon Data Firehose gibt diese Metrik nur aus, wenn Sie die Sicherung für alle Dokumente aktivieren. Einheiten: Sekunden |
DeliveryToS3.Records |
Die Anzahl der Datensätze, die über den angegebenen Zeitraum für Amazon S3 bereitgestellt wurden. Amazon Data Firehose gibt diese Metrik nur aus, wenn Sie die Sicherung für alle Dokumente aktivieren. Einheiten: Anzahl |
DeliveryToS3.Success |
Die Summe der erfolgreichen Amazon-S3-PUT-Befehle. Amazon Data Firehose gibt diese Metrik immer aus, unabhängig davon, ob die Sicherung nur für fehlgeschlagene Dokumente oder für alle Dokumente aktiviert ist. |
DeliveryToAmazonOpenSearchServerless.AuthFailure |
Authentication/authorization error. Verify the OS/ESClusterrichtlinie und Rollenberechtigungen. 0 bedeutet, dass kein Problem vorhanden ist. 1 bedeutet, dass ein Authentifizierungsfehler vorliegt. |
DeliveryToAmazonOpenSearchServerless.DeliveryRejected |
Fehler beim Ablehnen der Lieferung. Überprüfen Sie die OS/ES-Clusterrichtlinie und die Rollenberechtigungen. 0 bedeutet, dass kein Problem vorliegt. 1 bedeutet, dass ein Zustellungsfehler vorliegt. |
Lieferung an Amazon Redshift
| Metrik | Beschreibung |
|---|---|
DeliveryToRedshift.Bytes |
Die Anzahl der Bytes, die über den angegebenen Zeitraum in Amazon Redshift kopiert wurden. Gültige Statistiken: Minimum, Maximum, Durchschnitt, Summe, Stichproben Einheiten: Anzahl |
DeliveryToRedshift.Records |
Die Anzahl der Datensätze, die über den angegebenen Zeitraum in Amazon Redshift kopiert wurden. Gültige Statistiken: Minimum, Maximum, Durchschnitt, Summe, Stichproben Einheiten: Anzahl |
DeliveryToRedshift.Success |
Die Summe der erfolgreichen Amazon-Redshift-COPY-Befehle. |
DeliveryToS3.Bytes |
Die Anzahl der Bytes, die über den angegebenen Zeitraum für Amazon S3 bereitgestellt wurden. Gültige Statistiken: Minimum, Maximum, Durchschnitt, Summe, Stichproben Einheiten: Byte |
DeliveryToS3.DataFreshness |
Das Alter (vom Einstieg in Amazon Data Firehose bis heute) des ältesten Datensatzes in Amazon Data Firehose. Alle älteren Datensätze wurden für den S3-Bucket bereitgestellt. Einheiten: Sekunden |
DeliveryToS3.Records |
Die Anzahl der Datensätze, die über den angegebenen Zeitraum für Amazon S3 bereitgestellt wurden. Gültige Statistiken: Minimum, Maximum, Durchschnitt, Summe, Stichproben Einheiten: Anzahl |
DeliveryToS3.Success |
Die Summe der erfolgreichen Amazon-S3-PUT-Befehle. |
BackupToS3.Bytes |
Die Anzahl der Bytes, die im angegebenen Zeitraum zum Backup an Amazon S3 geliefert wurden. Amazon Data Firehose gibt diese Metrik aus, wenn die Sicherung auf Amazon S3 aktiviert ist. Gültige Statistiken: Minimum, Maximum, Durchschnitt, Summe, Stichproben Einheiten: Anzahl |
BackupToS3.DataFreshness |
Das Alter (vom Einstieg in Amazon Data Firehose bis heute) des ältesten Datensatzes in Amazon Data Firehose. Alle älteren Datensätze wurden für den Amazon-S3-Bucket bereitgestellt. Amazon Data Firehose gibt diese Metrik aus, wenn die Sicherung auf Amazon S3 aktiviert ist. Gültige Statistiken: Minimum, Maximum, Durchschnitt, Stichproben Einheiten: Sekunden |
BackupToS3.Records |
Die Anzahl der Aufzeichnungen, die im angegebenen Zeitraum zum Backup an Amazon S3 geliefert wurden. Amazon Data Firehose gibt diese Metrik aus, wenn die Sicherung auf Amazon S3 aktiviert ist. Gültige Statistiken: Minimum, Maximum, Durchschnitt, Summe, Stichproben Einheiten: Anzahl |
BackupToS3.Success |
Die Summe der erfolgreichen Amazon-S3-PUT-Befehle für Backup. Amazon Data Firehose gibt diese Metrik aus, wenn die Sicherung auf Amazon S3 aktiviert ist. |
Bereitstellung für Amazon S3
Die Metriken in der folgenden Tabelle beziehen sich auf die Bereitstellung für Amazon S3, sofern das das Hauptziel des Firehose-Streams ist.
| Metrik | Beschreibung |
|---|---|
DeliveryToS3.Bytes |
Die Anzahl der Bytes, die über den angegebenen Zeitraum für Amazon S3 bereitgestellt wurden. Gültige Statistiken: Minimum, Maximum, Durchschnitt, Summe, Stichproben Einheiten: Byte |
DeliveryToS3.DataFreshness |
Das Alter (vom Einstieg in Amazon Data Firehose bis heute) des ältesten Datensatzes in Amazon Data Firehose. Alle älteren Datensätze wurden für den S3-Bucket bereitgestellt. Gültige Statistiken: Minimum, Maximum, Durchschnitt, Stichproben Einheiten: Sekunden |
DeliveryToS3.Records |
Die Anzahl der Datensätze, die über den angegebenen Zeitraum für Amazon S3 bereitgestellt wurden. Gültige Statistiken: Minimum, Maximum, Durchschnitt, Summe, Stichproben Einheiten: Anzahl |
DeliveryToS3.Success |
Die Summe der erfolgreichen Amazon-S3-PUT-Befehle. |
BackupToS3.Bytes |
Die Anzahl der Bytes, die im angegebenen Zeitraum zum Backup an Amazon S3 geliefert wurden. Amazon Data Firehose gibt diese Metrik aus, wenn das Backup aktiviert ist (was nur möglich ist, wenn auch die Datentransformation aktiviert ist). Gültige Statistiken: Minimum, Maximum, Durchschnitt, Summe, Stichproben Einheiten: Anzahl |
BackupToS3.DataFreshness |
Das Alter (vom Einstieg in Amazon Data Firehose bis heute) des ältesten Datensatzes in Amazon Data Firehose. Alle älteren Datensätze wurden für den Amazon-S3-Bucket bereitgestellt. Amazon Data Firehose gibt diese Metrik aus, wenn das Backup aktiviert ist (was nur möglich ist, wenn auch die Datentransformation aktiviert ist). Gültige Statistiken: Minimum, Maximum, Durchschnitt, Stichproben Einheiten: Sekunden |
BackupToS3.Records |
Die Anzahl der Aufzeichnungen, die im angegebenen Zeitraum zum Backup an Amazon S3 geliefert wurden. Amazon Data Firehose gibt diese Metrik aus, wenn das Backup aktiviert ist (was nur möglich ist, wenn auch die Datentransformation aktiviert ist). Gültige Statistiken: Minimum, Maximum, Durchschnitt, Summe, Stichproben Einheiten: Anzahl |
BackupToS3.Success |
Die Summe der erfolgreichen Amazon-S3-PUT-Befehle für Backup. Amazon Data Firehose gibt diese Metrik aus, wenn das Backup aktiviert ist (was nur möglich ist, wenn auch die Datentransformation aktiviert ist). |
Lieferung nach Snowflake
| Metrik | Beschreibung |
|---|---|
DeliveryToSnowflake.Bytes |
Die Anzahl der Bytes, die über den angegebenen Zeitraum für Snowflake bereitgestellt wurden. Gültige Statistiken: Minimum, Maximum, Durchschnitt, Summe, Stichproben Einheiten: Byte |
DeliveryToSnowflake.DataFreshness |
Das Alter (vom Einstieg in Firehose bis heute) des ältesten Datensatzes in Firehose. Alle älteren Datensätze wurden für Snowflake bereitgestellt. Beachten Sie, dass es einige Sekunden dauern kann, Daten an Snowflake zu übertragen, nachdem der Firehose-Insert-Aufruf erfolgreich war. Die Zeit, die benötigt wird, um Daten an Snowflake zu übertragen, finden Sie in der Metrik. Gültige Statistiken: Minimum, Maximum, Durchschnitt, Stichproben Einheiten: Sekunden |
DeliveryToSnowflake.DataCommitLatency |
Die Zeit, die benötigt wird, bis die Daten an Snowflake übergeben werden, nachdem Firehose erfolgreich Datensätze eingefügt hat. Gültige Statistiken: Minimum, Maximum, Durchschnitt, Stichproben Einheiten: Sekunden |
DeliveryToSnowflake.Records |
Die Anzahl der Datensätze, die über den angegebenen Zeitraum für Snowflake bereitgestellt wurden. Gültige Statistiken: Minimum, Maximum, Durchschnitt, Summe, Stichproben Einheiten: Anzahl |
DeliveryToSnowflake.Success |
Die Summe der erfolgreichen Insert-Aufrufe an Snowflake. |
DeliveryToS3.Bytes |
Die Anzahl der Bytes, die über den angegebenen Zeitraum für Amazon S3 bereitgestellt wurden. Diese Metrik ist nur verfügbar, wenn die Lieferung an Snowflake fehlschlägt und Firehose versucht, fehlgeschlagene Daten auf S3 zu sichern. Gültige Statistiken: Minimum, Maximum, Durchschnitt, Summe, Stichproben Einheiten: Byte |
DeliveryToS3.Records |
Die Anzahl der Datensätze, die über den angegebenen Zeitraum für Amazon S3 bereitgestellt wurden. Diese Metrik ist nur verfügbar, wenn die Lieferung an Snowflake fehlschlägt und Firehose versucht, fehlgeschlagene Daten auf S3 zu sichern. Gültige Statistiken: Minimum, Maximum, Durchschnitt, Summe, Stichproben Einheiten: Anzahl |
DeliveryToS3.Success |
Die Summe der erfolgreichen Amazon-S3-PUT-Befehle. Diese Metrik ist nur verfügbar, wenn die Lieferung an Snowflake fehlschlägt und Firehose versucht, fehlgeschlagene Daten auf S3 zu sichern. |
BackupToS3.DataFreshness |
Das Alter (vom Into Firehose bis heute) des ältesten Datensatzes in Firehose. Alle älteren Datensätze werden für den Amazon-S3-Bucket gesichert. Diese Metrik ist verfügbar, wenn der Firehose-Stream so konfiguriert ist, dass alle Daten gesichert werden. Gültige Statistiken: Minimum, Maximum, Durchschnitt, Stichproben Einheiten: Sekunden |
BackupToS3.Records |
Die Anzahl der Aufzeichnungen, die im angegebenen Zeitraum zum Backup an Amazon S3 geliefert wurden. Diese Metrik ist verfügbar, wenn der Firehose-Stream so konfiguriert ist, dass alle Daten gesichert werden. Gültige Statistiken: Minimum, Maximum, Durchschnitt, Summe, Stichproben Einheiten: Anzahl |
BackupToS3.Bytes |
Die Anzahl der Bytes, die im angegebenen Zeitraum zum Backup an Amazon S3 geliefert wurden. Diese Metrik ist verfügbar, wenn der Firehose-Stream so konfiguriert ist, dass alle Daten gesichert werden. Gültige Statistiken: Minimum, Maximum, Durchschnitt, Summe, Stichproben Einheiten: Anzahl |
BackupToS3.Success |
Die Summe der erfolgreichen Amazon-S3-PUT-Befehle für Backup. Firehose gibt diese Metrik aus, wenn der Firehose-Stream so konfiguriert ist, dass alle Daten gesichert werden. |
Bereitstellung für Splunk
| Metrik | Beschreibung |
|---|---|
DeliveryToSplunk.Bytes |
Die Anzahl der Bytes, die über den angegebenen Zeitraum für Splunk bereitgestellt wurden Gültige Statistiken: Minimum, Maximum, Durchschnitt, Summe, Stichproben Einheiten: Byte |
DeliveryToSplunk.DataAckLatency |
Der ungefähre Zeitraum bis zum Erhalt einer Bestätigung von Splunk, nachdem Amazon Data Firehose Daten an Splunk gesendet hat. Die Beobachtung des steigenden oder fallenden Trends für diese Metrik ist nützlicher als der ungefähre absolute Wert. Steigende Trends können auf langsamere Indizierungs- und Bestätigungsraten von Splunk-Indexerstellungsmodulen hindeuten. Gültige Statistiken: Minimum, Maximum, Durchschnitt, Stichproben Einheiten: Sekunden |
DeliveryToSplunk.DataFreshness |
Das Alter (vom Einstieg in Amazon Data Firehose bis heute) des ältesten Datensatzes in Amazon Data Firehose. Alle älteren Datensätze wurden für Splunk bereitgestellt. Gültige Statistiken: Minimum, Maximum, Durchschnitt, Stichproben Einheiten: Sekunden |
DeliveryToSplunk.Records |
Die Anzahl der Datensätze, die über den angegebenen Zeitraum für Splunk bereitgestellt wurden Gültige Statistiken: Minimum, Maximum, Durchschnitt, Summe, Stichproben Einheiten: Anzahl |
DeliveryToSplunk.Success |
Die Summe der erfolgreich indizierten Datensätze. |
DeliveryToS3.Success |
Die Summe der erfolgreichen Amazon-S3-PUT-Befehle. Diese Metrik wird ausgegeben, wenn die Sicherung in Amazon S3 aktiviert ist. |
BackupToS3.Bytes |
Die Anzahl der Bytes, die im angegebenen Zeitraum zum Backup an Amazon S3 geliefert wurden. Amazon Data Firehose gibt diese Metrik aus, wenn der Firehose-Stream so konfiguriert ist, dass alle Dokumente gesichert werden. Gültige Statistiken: Minimum, Maximum, Durchschnitt, Summe, Stichproben Einheiten: Anzahl |
BackupToS3.DataFreshness |
Das Alter (vom Einstieg in Amazon Data Firehose bis heute) des ältesten Datensatzes in Amazon Data Firehose. Alle älteren Datensätze wurden für den Amazon-S3-Bucket bereitgestellt. Amazon Data Firehose gibt diese Metrik aus, wenn der Firehose-Stream so konfiguriert ist, dass alle Dokumente gesichert werden. Gültige Statistiken: Minimum, Maximum, Durchschnitt, Stichproben Einheiten: Sekunden |
BackupToS3.Records |
Die Anzahl der Aufzeichnungen, die im angegebenen Zeitraum zum Backup an Amazon S3 geliefert wurden. Amazon Data Firehose gibt diese Metrik aus, wenn der Firehose-Stream so konfiguriert ist, dass alle Dokumente gesichert werden. Gültige Statistiken: Minimum, Maximum, Durchschnitt, Summe, Stichproben Einheiten: Anzahl |
BackupToS3.Success |
Die Summe der erfolgreichen Amazon-S3-PUT-Befehle für Backup. Amazon Data Firehose gibt diese Metrik aus, wenn der Firehose-Stream so konfiguriert ist, dass alle Dokumente gesichert werden. |
Lieferung an HTTP-Endpunkte
| Metrik | Beschreibung |
|---|---|
DeliveryToHttpEndpoint.Bytes |
Die Anzahl der Byte, die erfolgreich an den HTTP-Endpunkt übertragen wurden. Gültige Statistiken: Minimum, Maximum, Durchschnitt, Summe, Stichproben Einheiten: Byte |
DeliveryToHttpEndpoint.Records |
Die Anzahl der Aufzeichnungen, die erfolgreich an den HTTP-Endpunkt übertragen wurden. Gültige Statistiken: Minimum, Maximum, Durchschnitt, Summe, Stichproben Einheiten: Anzahl |
DeliveryToHttpEndpoint.DataFreshness |
Alter des ältesten Datensatzes in Amazon Data Firehose. Gültige Statistiken: Minimum, Maximum, Durchschnitt, Stichproben Einheiten: Sekunden |
DeliveryToHttpEndpoint.Success |
Die Summe aller erfolgreichen Datenbereitstellungsanfragen an den HTTP-Endpunkt. Gültige Statistiken: Minimum, Maximum, Durchschnitt, Summe, Stichproben Einheiten: Anzahl |
DeliveryToHttpEndpoint.ProcessedBytes |
Die Anzahl der versuchten verarbeiteten Bytes, einschließlich Wiederholungen. |
DeliveryToHttpEndpoint.ProcessedRecords |
Die Anzahl der versuchten Datensätze, einschließlich Wiederholungen. |
Datenaufnahmelmetriken
Themen
Datenerfassungsleistung durch Kinesis Data Streams
| Metrik | Beschreibung |
|---|---|
DataReadFromKinesisStream.Bytes |
Wenn die Datenquelle ein Kinesis Data Stream ist, gibt diese Metrik die Anzahl der aus diesem Datenstrom gelesenen Bytes an. Diese Zahl beinhaltet wiederholte Leseoperationen aufgrund von Failovers. Gültige Statistiken: Minimum, Maximum, Durchschnitt, Summe, Stichproben Einheiten: Byte |
DataReadFromKinesisStream.Records |
Wenn die Datenquelle ein Kinesis Data Stream ist, gibt diese Metrik die Anzahl der aus diesem Datenstrom gelesenen Datensätze an. Diese Zahl beinhaltet wiederholte Leseoperationen aufgrund von Failovers. Gültige Statistiken: Minimum, Maximum, Durchschnitt, Summe, Stichproben Einheiten: Anzahl |
ThrottledDescribeStream |
Die Gesamtzahl, wie oft die Gültige Statistiken: Minimum, Maximum, Durchschnitt, Summe, Stichproben Einheiten: Anzahl |
ThrottledGetRecords |
Die Gesamtzahl, wie oft die Gültige Statistiken: Minimum, Maximum, Durchschnitt, Summe, Stichproben Einheiten: Anzahl |
ThrottledGetShardIterator |
Die Gesamtzahl, wie oft die Gültige Statistiken: Minimum, Maximum, Durchschnitt, Summe, Stichproben Einheiten: Anzahl |
KinesisMillisBehindLatest |
Wenn die Datenquelle ein Kinesis-Datenstrom ist, gibt diese Metrik die Anzahl der Millisekunden an, die der zuletzt gelesene Datensatz hinter dem neuesten Datensatz im Kinesis-Datenstrom liegt. Gültige Statistiken: Minimum, Maximum, Durchschnitt, Stichproben Einheiten: Millisekunden |
Datenaufnahme über Direct PUT
| Metrik | Beschreibung |
|---|---|
BackupToS3.Bytes |
Die Anzahl der Bytes, die im angegebenen Zeitraum zum Backup an Amazon S3 geliefert wurden. Amazon Data Firehose gibt diese Metrik aus, wenn die Datentransformation für Amazon-S3- oder Amazon-Redshift-Ziele aktiviert ist. Gültige Statistiken: Minimum, Maximum, Durchschnitt, Summe, Stichproben Einheiten: Byte |
BackupToS3.DataFreshness |
Das Alter (vom Einstieg in Amazon Data Firehose bis heute) des ältesten Datensatzes in Amazon Data Firehose. Alle älteren Datensätze wurden für den Amazon-S3-Bucket bereitgestellt. Amazon Data Firehose gibt diese Metrik aus, wenn die Datentransformation für Amazon-S3- oder Amazon-Redshift-Ziele aktiviert ist. Gültige Statistiken: Minimum, Maximum, Durchschnitt, Stichproben Einheiten: Sekunden |
BackupToS3.Records |
Die Anzahl der Aufzeichnungen, die im angegebenen Zeitraum zum Backup an Amazon S3 geliefert wurden. Amazon Data Firehose gibt diese Metrik aus, wenn die Datentransformation für Amazon-S3- oder Amazon-Redshift-Ziele aktiviert ist. Gültige Statistiken: Minimum, Maximum, Durchschnitt, Summe, Stichproben Einheiten: Anzahl |
BackupToS3.Success |
Die Summe der erfolgreichen Amazon-S3-PUT-Befehle für Backup. Amazon Data Firehose gibt diese Metrik aus, wenn die Datentransformation für Amazon-S3- oder Amazon-Redshift-Ziele aktiviert ist. |
BytesPerSecondLimit |
Die aktuelle maximale Anzahl von Byte pro Sekunde, die ein Firehose-Stream vor der Drosselung aufnehmen kann. Um eine Erhöhung dieses Limit zu beantragen, gehen Sie zum AWS
-Support Center |
DeliveryToAmazonOpenSearchService.Bytes |
Anzahl der Bytes, die über den angegebenen Zeitraum für OpenSearch Service indiziert wurden. Gültige Statistiken: Minimum, Maximum, Durchschnitt, Summe, Stichproben Einheiten: Byte |
DeliveryToAmazonOpenSearchService.DataFreshness |
Das Alter (vom Einstieg in Amazon Data Firehose bis heute) des ältesten Datensatzes in Amazon Data Firehose. Alle älteren Datensätze wurden für den OpenSearch -Service bereitgestellt. Gültige Statistiken: Minimum, Maximum, Durchschnitt, Stichproben Einheiten: Sekunden |
DeliveryToAmazonOpenSearchService.Records |
Die Anzahl der Aufzeichnungen, die über den angegebenen Zeitraum für OpenSearch Service indiziert wurden. Gültige Statistiken: Minimum, Maximum, Durchschnitt, Summe, Stichproben Einheiten: Anzahl |
DeliveryToAmazonOpenSearchService.Success |
Die Summe der erfolgreich indizierten Datensätze. |
DeliveryToRedshift.Bytes |
Die Anzahl der Bytes, die über den angegebenen Zeitraum in Amazon Redshift kopiert wurden. Gültige Statistiken: Minimum, Maximum, Durchschnitt, Summe, Stichproben Einheiten: Byte |
DeliveryToRedshift.Records |
Die Anzahl der Datensätze, die über den angegebenen Zeitraum in Amazon Redshift kopiert wurden. Gültige Statistiken: Minimum, Maximum, Durchschnitt, Summe, Stichproben Einheiten: Anzahl |
DeliveryToRedshift.Success |
Die Summe der erfolgreichen Amazon-Redshift-COPY-Befehle. |
DeliveryToS3.Bytes |
Die Anzahl der Bytes, die über den angegebenen Zeitraum für Amazon S3 bereitgestellt wurden. Gültige Statistiken: Minimum, Maximum, Durchschnitt, Summe, Stichproben Einheiten: Byte |
DeliveryToS3.DataFreshness |
Das Alter (vom Einstieg in Amazon Data Firehose bis heute) des ältesten Datensatzes in Amazon Data Firehose. Alle älteren Datensätze wurden für den S3-Bucket bereitgestellt. Gültige Statistiken: Minimum, Maximum, Durchschnitt, Stichproben Einheiten: Sekunden |
DeliveryToS3.Records |
Die Anzahl der Datensätze, die über den angegebenen Zeitraum für Amazon S3 bereitgestellt wurden. Gültige Statistiken: Minimum, Maximum, Durchschnitt, Summe, Stichproben Einheiten: Anzahl |
DeliveryToS3.Success |
Die Summe der erfolgreichen Amazon-S3-PUT-Befehle. |
DeliveryToSplunk.Bytes |
Die Anzahl der Bytes, die über den angegebenen Zeitraum für Splunk bereitgestellt wurden Gültige Statistiken: Minimum, Maximum, Durchschnitt, Summe, Stichproben Einheiten: Byte |
DeliveryToSplunk.DataAckLatency |
Der ungefähre Zeitraum bis zum Erhalt einer Bestätigung von Splunk, nachdem Amazon Data Firehose Daten an Splunk gesendet hat. Die Beobachtung des steigenden oder fallenden Trends für diese Metrik ist nützlicher als der ungefähre absolute Wert. Steigende Trends können auf langsamere Indizierungs- und Bestätigungsraten von Splunk-Indexerstellungsmodulen hindeuten. Gültige Statistiken: Minimum, Maximum, Durchschnitt, Stichproben Einheiten: Sekunden |
DeliveryToSplunk.DataFreshness |
Das Alter (vom Einstieg in Amazon Data Firehose bis heute) des ältesten Datensatzes in Amazon Data Firehose. Alle älteren Datensätze wurden für Splunk bereitgestellt. Gültige Statistiken: Minimum, Maximum, Durchschnitt, Stichproben Einheiten: Sekunden |
DeliveryToSplunk.Records |
Die Anzahl der Datensätze, die über den angegebenen Zeitraum für Splunk bereitgestellt wurden Gültige Statistiken: Minimum, Maximum, Durchschnitt, Summe, Stichproben Einheiten: Anzahl |
DeliveryToSplunk.Success |
Die Summe der erfolgreich indizierten Datensätze. |
IncomingBytes |
Anzahl der Byte, die im angegebenen Zeitraum erfolgreich in Firehose Firehose-Stream aufgenommen wurden. Die Datenerfassung kann gedrosselt werden, wenn sie einen der Firehose-Stream-Grenzwerte überschreitet. Gedrosselte Daten werden für Gültige Statistiken: Minimum, Maximum, Durchschnitt, Summe, Stichproben Einheiten: Byte |
IncomingPutRequests |
Die Anzahl der erfolgreichen PutRecord PutRecordBatch N-Anfragen in einem bestimmten Zeitraum. Gültige Statistiken: Minimum, Maximum, Durchschnitt, Summe, Stichproben Einheiten: Anzahl |
IncomingRecords |
Anzahl der Datensätze, die im angegebenen Zeitraum erfolgreich in Firehose Firehose-Stream aufgenommen wurden. Die Datenerfassung kann gedrosselt werden, wenn sie einen der Firehose-Stream-Grenzwerte überschreitet. Gedrosselte Daten werden für Gültige Statistiken: Minimum, Maximum, Durchschnitt, Summe, Stichproben Einheiten: Anzahl |
RecordsPerSecondLimit |
Die aktuelle maximale Anzahl von Datensätzen pro Sekunde, die ein Firehose-Stream vor der Drosselung aufnehmen kann. Gültige Statistiken: Minimum, Maximum, Durchschnitt, Summe, Stichproben Einheiten: Anzahl |
ThrottledRecords |
Anzahl der Datensätze, die gedrosselt wurden, weil die Datenaufnahme eines der Firehose-Streamlimits überschritten hat. Gültige Statistiken: Minimum, Maximum, Durchschnitt, Summe, Stichproben Einheiten: Anzahl |
Datenerfassungsleistung
| Metrik | Beschreibung |
|---|---|
DataReadFromSource.Records
|
Die Anzahl der Datensätze, die aus dem Quell-Kafka-Thema gelesen wurden. Gültige Statistiken: Minimum, Maximum, Durchschnitt, Summe, Stichproben Einheiten: Anzahl |
DataReadFromSource.Bytes
|
Die Anzahl der Bytes, die aus dem Quell-Kafka-Thema gelesen wurden. Gültige Statistiken: Minimum, Maximum, Durchschnitt, Summe, Stichproben Einheiten: Byte |
SourceThrottled.Delay
|
Der Zeitraum, um den der Quell-Kafka-Cluster bei der Rückgabe der Datensätze aus dem Quell-Kafka-Thema verzögert ist. Gültige Statistiken: Minimum, Maximum, Durchschnitt, Stichproben Einheiten: Millisekunden |
BytesPerSecondLimit
|
Aktuelle Durchsatzgrenze, bei der Firehose von jeder Partition des Quell-Kafka-Topics liest. Gültige Statistiken: Minimum, Maximum, Durchschnitt, Summe, Stichproben Einheiten: Bytes/Sekunde |
KafkaOffsetLag
|
Die Differenz zwischen dem größten Offset des Datensatzes, den Firehose aus dem Quell-Kafka-Topic gelesen hat, und dem größten Offset des Datensatzes, der aus dem Quell-Kafka-Topic verfügbar ist. Gültige Statistiken: Minimum, Maximum, Durchschnitt, Summe, Stichproben Einheiten: Anzahl |
FailedValidation.Records
|
Die Anzahl der Datensätze, die bei der Datensatzüberprüfung fehlgeschlagen sind. Gültige Statistiken: Minimum, Maximum, Durchschnitt, Summe, Stichproben Einheiten: Anzahl |
FailedValidation.Bytes
|
Die Anzahl der Bytes, die bei der Datensatzüberprüfung fehlgeschlagen sind. Gültige Statistiken: Minimum, Maximum, Durchschnitt, Summe, Stichproben Einheiten: Byte |
DataReadFromSource.Backpressured
|
Zeigt an, dass ein Firehose-Stream beim Lesen von Datensätzen aus der Quellpartition verzögert ist, BytesPerSecondLimit entweder weil die Partition überschritten wurde oder dass der normale Zustellungsfluss langsam ist oder gestoppt wurde Einheiten: boolescher Wert |
Metriken auf API-Ebene CloudWatch
Der AWS/Firehose-Namespace enthält die folgenden API-Metriken.
| Metrik | Beschreibung |
|---|---|
DescribeDeliveryStream.Latency |
Die Dauer pro Gültige Statistiken: Minimum, Maximum, Durchschnitt, Stichproben Einheiten: Millisekunden |
DescribeDeliveryStream.Requests |
Die Gesamtanzahl der Gültige Statistiken: Minimum, Maximum, Durchschnitt, Summe, Stichproben Einheiten: Anzahl |
ListDeliveryStreams.Latency |
Die Dauer pro Gültige Statistiken: Minimum, Maximum, Durchschnitt, Stichproben Einheiten: Millisekunden |
ListDeliveryStreams.Requests |
Die Gesamtanzahl der Gültige Statistiken: Minimum, Maximum, Durchschnitt, Summe, Stichproben Einheiten: Anzahl |
PutRecord.Bytes |
Anzahl der Bytes, die im angegebenen Zeitraum an den Gültige Statistiken: Minimum, Maximum, Durchschnitt, Summe, Stichproben Einheiten: Byte |
PutRecord.Latency |
Die Dauer pro Gültige Statistiken: Minimum, Maximum, Durchschnitt, Stichproben Einheiten: Millisekunden |
PutRecord.Requests |
Die Gesamtanzahl der Gültige Statistiken: Minimum, Maximum, Durchschnitt, Summe, Stichproben Einheiten: Anzahl |
PutRecordBatch.Bytes |
Anzahl der Bytes, die im angegebenen Zeitraum an den Gültige Statistiken: Minimum, Maximum, Durchschnitt, Summe, Stichproben Einheiten: Byte |
PutRecordBatch.Latency |
Die Dauer pro Gültige Statistiken: Minimum, Maximum, Durchschnitt, Stichproben Einheiten: Millisekunden |
PutRecordBatch.Records |
Die Gesamtanzahl der Datensätze der Gültige Statistiken: Minimum, Maximum, Durchschnitt, Summe, Stichproben Einheiten: Anzahl |
PutRecordBatch.Requests |
Die Gesamtanzahl der Gültige Statistiken: Minimum, Maximum, Durchschnitt, Summe, Stichproben Einheiten: Anzahl |
PutRequestsPerSecondLimit |
Die maximale Anzahl von Put-Anfragen pro Sekunde, die ein Firehose-Stream vor der Drosselung verarbeiten kann. Diese Zahl beinhaltet auch Anfragen PutRecord . PutRecordBatch Gültige Statistiken: Minimum, Maximum, Durchschnitt, Summe, Stichproben Einheiten: Anzahl |
ThrottledDescribeStream |
Die Gesamtzahl, wie oft die Gültige Statistiken: Minimum, Maximum, Durchschnitt, Summe, Stichproben Einheiten: Anzahl |
ThrottledGetRecords |
Die Gesamtzahl, wie oft die Gültige Statistiken: Minimum, Maximum, Durchschnitt, Summe, Stichproben Einheiten: Anzahl |
ThrottledGetShardIterator |
Die Gesamtzahl, wie oft die Gültige Statistiken: Minimum, Maximum, Durchschnitt, Summe, Stichproben Einheiten: Anzahl |
UpdateDeliveryStream.Latency |
Die Dauer pro Gültige Statistiken: Minimum, Maximum, Durchschnitt, Stichproben Einheiten: Millisekunden |
UpdateDeliveryStream.Requests |
Die Gesamtanzahl der Gültige Statistiken: Minimum, Maximum, Durchschnitt, Summe, Stichproben Einheiten: Anzahl |
CloudWatch Metriken zur Datentransformation
Wenn die Datentransformation mit Lambda aktiviert ist, enthält der AWS/Firehose-Namespace die folgenden Metriken.
| Metrik | Beschreibung |
|---|---|
ExecuteProcessing.Duration |
Die Zeit, die für Firehose ausgeführten Lambda-Funktionsaufruf benötigt wird. Einheiten: Millisekunden |
ExecuteProcessing.Success |
Die Summe der erfolgreichen Lambda-Funktionsaufrufe im Vergleich zur Summe der gesamten Lambda-Funktionsaufrufe. |
SucceedProcessing.Records |
Anzahl der Aufzeichnungen, die im angegebenen Zeitraum erfolgreich übertragen wurden. Einheiten: Anzahl |
SucceedProcessing.Bytes |
Anzahl der Bytes, die im angegebenen Zeitraum erfolgreich übertragen wurden. Einheiten: Byte |
CloudWatch Protokolliert Dekomprimierungsmetriken
Wenn die Dekomprimierung für die CloudWatch Protokollzustellung aktiviert ist, umfasst der AWS/Firehose Namespace die folgenden Metriken.
| Metrik | Beschreibung |
|---|---|
OutputDecompressedBytes.Success |
Daten wurden erfolgreich dekomprimiert (in Byte) Gültige Statistiken: Minimum, Maximum, Durchschnitt, Summe, Stichproben Einheiten: Byte |
OutputDecompressedBytes.Failed |
Fehlgeschlagene dekomprimierte Daten in Byte Gültige Statistiken: Minimum, Maximum, Durchschnitt, Summe, Stichproben Einheiten: Byte |
OutputDecompressedRecords.Success |
Anzahl erfolgreicher dekomprimierter Datensätze Gültige Statistiken: Minimum, Maximum, Durchschnitt, Summe, Stichproben Einheiten: Anzahl |
OutputDecompressedRecords.Failed |
Anzahl der fehlgeschlagenen dekomprimierten Datensätze Gültige Statistiken: Minimum, Maximum, Durchschnitt, Summe, Stichproben Einheiten: Anzahl |
CloudWatch Formatkonvertierungsmetriken
Wenn die Formatkonvertierung aktiviert ist, enthält der AWS/Firehose-Namespace enthält die folgenden Metriken.
| Metrik | Beschreibung |
|---|---|
SucceedConversion.Records |
Die Anzahl der erfolgreich konvertierten Datensätze. Einheiten: Anzahl |
SucceedConversion.Bytes |
Die Größe der erfolgreich konvertierten Datensätze. Einheiten: Byte |
FailedConversion.Records |
Die Anzahl der Datensätze, die nicht konvertiert werden konnten. Einheiten: Anzahl |
FailedConversion.Bytes |
Die Größe der Datensätze, die nicht konvertiert werden konnten. Einheiten: Byte |
Serverseitige Verschlüsselungsmetriken (SSE) CloudWatch Metriken
Der AWS/Firehose-Namespace enthält die folgenden Metriken, die sich auf SSE beziehen.
| Metrik | Beschreibung |
|---|---|
KMSKeyAccessDenied |
Gibt an, wie oft der Dienst auf einen Gültige Statistiken: Minimum, Maximum, Durchschnitt, Summe, Stichproben Einheiten: Anzahl |
KMSKeyDisabled |
Gibt an, wie oft der Dienst auf einen Gültige Statistiken: Minimum, Maximum, Durchschnitt, Summe, Stichproben Einheiten: Anzahl |
KMSKeyInvalidState |
Gibt an, wie oft der Dienst auf einen Gültige Statistiken: Minimum, Maximum, Durchschnitt, Summe, Stichproben Einheiten: Anzahl |
KMSKeyNotFound |
Gibt an, wie oft der Dienst auf einen Gültige Statistiken: Minimum, Maximum, Durchschnitt, Summe, Stichproben Einheiten: Anzahl |
Abmessungen für Amazon Data Firehose
Verwenden Sie die DeliveryStreamName Dimension, um Metriken nach Firehose-Stream zu filtern.
Nutzungsmetriken Amazon Data Firehose
Sie können CloudWatch -Nutzungsmetriken verwenden, um einen Einblick in die Ressourcennutzung Ihres Kontos zu gewähren. Verwenden Sie diese Metriken, um Ihre aktuelle Servicenutzung für CloudWatch -Diagramme und -Dashboards zu visualisieren.
Die Metriken für die AWS Service-Kontingentnutzung befinden sich im /Usage-Namespace und werden alle drei Minuten erfasst.
Derzeit ist der einzige Metrikname in diesem Namespace, der CloudWatch veröffentlicht wirdResourceCount,. Diese Metrik wird mit den Dimensionen Service, Class, Type undResource veröffentlicht.
| Metrik | Beschreibung |
|---|---|
ResourceCount |
Die Anzahl der angegebenen Ressourcen, die in Ihrem Konto ausgeführt werden. Die Ressourcen werden durch die Dimensionen definiert, die der Metrik zugeordnet sind. Die nützlichste Statistik für diese Metrik ist MAXIMUM, die die maximale Anzahl der Ressourcen darstellt, die während des 3-Minuten-Zeitraums verwendet werden. |
Die folgenden Dimensionen werden verwendet, um die Nutzungsmetriken zu verfeinern, die von Amazon Data Firehose veröffentlicht werden.
| Dimension | Beschreibung |
|---|---|
Service |
Der Name des AWS -Service, der die Ressource enthält. Für Amazon Data Firehose-Nutzungsmetriken lautet |
Class |
Die Klasse der nachverfolgten Ressource. API-Nutzungsmetriken von Amazon Data Firehose verwenden diese Dimension mit dem Wert. |
Type |
Der Typ der nachverfolgten Ressource. Wenn die Service-Dimension |
Resource |
Der Name der AWS Ressource. Wenn die Service-Dimension |
