Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.
Supervise Amazon Data Firehose con métricas CloudWatch
importante
Asegúrese de activar las alarmas en todas CloudWatch las métricas que pertenezcan a su destino para identificar los errores de manera oportuna.
Amazon Data Firehose se integra con CloudWatch las métricas de Amazon para que pueda recopilar, ver y analizar CloudWatch las métricas de sus transmisiones de Firehose. Por ejemplo, puede supervisar las métricas IncomingBytes y IncomingRecords para hacer un seguimiento de los datos ingeridos en Amazon Data Firehose procedentes de productores de datos.
Amazon Data Firehose recopila y publica CloudWatch métricas cada minuto. Sin embargo, si las ráfagas de datos de entrada se producen solo durante unos segundos, es posible que no se capturen por completo ni sean visibles en las métricas de un minuto. Esto se debe a que CloudWatch las métricas se agregan desde Amazon Data Firehose en intervalos de un minuto.
Las métricas recopiladas para los flujos de Firehose son gratuitas. Para obtener información acerca de las métricas de agente de Kinesis, consulte Supervisión del estado del agente de Kinesis.
Temas
CloudWatch métricas para el particionamiento dinámico
Si la partición dinámica está habilitada, el espacio de nombres AWS/Firehose incluye las siguientes métricas.
| Métrica | Descripción |
|---|---|
ActivePartitionsLimit |
Número máximo de particiones activas que procesa un flujo de Firehose antes de enviar los datos al bucket de errores. Estadísticas: Minimum, Maximum, Average, Sum, Samples Unidades: recuento |
PartitionCount |
Número de particiones que se procesan, es decir, el recuento de particiones activas. Este número varía entre 1 y el límite del recuento de particiones de 500 (valor predeterminado). Estadísticas: Minimum, Maximum, Average, Sum, Samples Unidades: recuento |
PartitionCountExceeded |
Esta métrica indica si supera el límite del recuento de particiones. Emite 1 o 0 en función de si se supera el límite o no. |
JQProcessing.Duration |
Devuelve el tiempo que se tardó en ejecutar la expresión JQ en la función de Lambda JQ. Unidades: milisegundos |
PerPartitionThroughput |
Indica el rendimiento que se procesa por partición. Esta métrica le permite supervisar el rendimiento por partición. Unidades:. StandardUnit BytesSecond |
DeliveryToS3.ObjectCount |
Indica la cantidad de objetos que se van a entregar en su bucket de S3. Estadísticas: Minimum, Maximum, Average, Sum, Samples Unidades: recuento |
CloudWatch métricas para la entrega de datos
El espacio de nombres AWS/Firehose incluye las siguientes métricas de nivel de servicio. Si observa pequeñas caídas en el promedio de BackupToS3.Success, DeliveryToS3.Success, DeliveryToSplunk.Success, DeliveryToAmazonOpenSearchService.Success o DeliveryToRedshift.Success, eso no indica que se estén perdiendo datos. Amazon Data Firehose vuelve a intentar los errores de entrega y no avanza hasta que los registros se entreguen correctamente en el destino configurado o el bucket de S3 de copias de seguridad.
Temas
Entrega al OpenSearch servicio
| Métrica | Descripción |
|---|---|
DeliveryToAmazonOpenSearchService.Bytes |
El número de bytes indexados al OpenSearch Servicio durante el período de tiempo especificado. Estadísticas: Minimum, Maximum, Average, Sum, Samples Unidades: bytes |
DeliveryToAmazonOpenSearchService.DataFreshness |
Antigüedad (desde que se incorporó a Amazon Data Firehose hasta ahora) del registro más antiguo de Amazon Data Firehose. Todos los registros con una antigüedad superior a esta edad se han entregado al OpenSearch Servicio. Estadísticas: Minimum, Maximum, Average, Sum, Samples Unidades: segundos |
DeliveryToAmazonOpenSearchService.Records |
El número de registros indexados al OpenSearch Servicio durante el período de tiempo especificado. Estadísticas: Minimum, Maximum, Average, Sum, Samples Unidades: recuento |
DeliveryToAmazonOpenSearchService.Success |
La suma de los registros indexados correctamente. |
DeliveryToS3.Bytes |
Número de bytes entregados en Amazon S3 durante el periodo de tiempo especificado. Amazon Data Firehose emite esta métrica solo cuando se habilita la copia de seguridad de todos los documentos. Estadísticas: Minimum, Maximum, Average, Sum, Samples Unidades: recuento |
DeliveryToS3.DataFreshness |
Antigüedad (desde que se incorporó a Amazon Data Firehose hasta ahora) del registro más antiguo de Amazon Data Firehose. Los registros anteriores a este valor se han enviado al bucket de S3. Amazon Data Firehose emite esta métrica solo cuando se habilita la copia de seguridad de todos los documentos. Unidades: segundos |
DeliveryToS3.Records |
Número de registros entregados en Amazon S3 durante el periodo de tiempo especificado. Amazon Data Firehose emite esta métrica solo cuando se habilita la copia de seguridad de todos los documentos. Estadísticas: Minimum, Maximum, Average, Sum, Samples Unidades: recuento |
DeliveryToS3.Success |
Suma de comandos put de Amazon S3 ejecutados correctamente. Amazon Data Firehose siempre emite esta métrica, independientemente de si la copia de seguridad está habilitada solo para los documentos con errores o para todos los documentos. |
DeliveryToAmazonOpenSearchService.AuthFailure |
Authentication/authorization error. Verify the OS/ESpermisos de rol y política de clúster. Un 0 indica que no hay ningún problema y un 1 indica un error de autenticación. |
DeliveryToAmazonOpenSearchService.DeliveryRejected |
Error de entrega rechazada. Compruebe la política del OS/ES clúster y los permisos de los roles. Un 0 indica que no hay ningún problema y un 1 indica que se ha producido un error en la entrega. |
Entrega a OpenSearch Serverless
| Métrica | Descripción |
|---|---|
DeliveryToAmazonOpenSearchServerless.Bytes |
El número de bytes indexados a OpenSearch Serverless durante el período de tiempo especificado. Estadísticas: Minimum, Maximum, Average, Sum, Samples Unidades: bytes |
DeliveryToAmazonOpenSearchServerless.DataFreshness |
Antigüedad (desde que se incorporó a Amazon Data Firehose hasta ahora) del registro más antiguo de Amazon Data Firehose. Todos los registros con una antigüedad superior a esta edad se han enviado a OpenSearch Serverless. Unidades: segundos |
DeliveryToAmazonOpenSearchServerless.Records |
El número de registros indexados en OpenSearch Serverless durante el período de tiempo especificado. Estadísticas: Minimum, Maximum, Average, Sum, Samples Unidades: recuento |
DeliveryToAmazonOpenSearchServerless.Success |
La suma de los registros indexados correctamente. |
DeliveryToS3.Bytes |
Número de bytes entregados en Amazon S3 durante el periodo de tiempo especificado. Amazon Data Firehose emite esta métrica solo cuando se habilita la copia de seguridad de todos los documentos. Estadísticas: Minimum, Maximum, Average, Sum, Samples Unidades: recuento |
DeliveryToS3.DataFreshness |
Antigüedad (desde que se incorporó a Amazon Data Firehose hasta ahora) del registro más antiguo de Amazon Data Firehose. Los registros anteriores a este valor se han enviado al bucket de S3. Amazon Data Firehose emite esta métrica solo cuando se habilita la copia de seguridad de todos los documentos. Unidades: segundos |
DeliveryToS3.Records |
Número de registros entregados en Amazon S3 durante el periodo de tiempo especificado. Amazon Data Firehose emite esta métrica solo cuando se habilita la copia de seguridad de todos los documentos. Unidades: recuento |
DeliveryToS3.Success |
Suma de comandos put de Amazon S3 ejecutados correctamente. Amazon Data Firehose siempre emite esta métrica, independientemente de si la copia de seguridad está habilitada solo para los documentos con errores o para todos los documentos. |
DeliveryToAmazonOpenSearchServerless.AuthFailure |
Authentication/authorization error. Verify the OS/ESpermisos de rol y política de clúster. Un 0 indica que no hay ningún problema y un 1 indica que se ha producido un error de autenticación. |
DeliveryToAmazonOpenSearchServerless.DeliveryRejected |
Error de entrega rechazada. Compruebe la política del OS/ES clúster y los permisos de los roles. Un 0 indica que no hay ningún problema y un 1 indica que se ha producido un error en la entrega. |
Entrega en Amazon Redshift
| Métrica | Descripción |
|---|---|
DeliveryToRedshift.Bytes |
Número de bytes copiados en Amazon Redshift durante el periodo de tiempo especificado. Estadísticas: Minimum, Maximum, Average, Sum, Samples Unidades: recuento |
DeliveryToRedshift.Records |
Número de registros copiados en Amazon Redshift durante el periodo de tiempo especificado. Estadísticas: Minimum, Maximum, Average, Sum, Samples Unidades: recuento |
DeliveryToRedshift.Success |
Suma de comandos COPY de Amazon Redshift ejecutados correctamente. |
DeliveryToS3.Bytes |
Número de bytes entregados en Amazon S3 durante el periodo de tiempo especificado. Estadísticas: Minimum, Maximum, Average, Sum, Samples Unidades: bytes |
DeliveryToS3.DataFreshness |
Antigüedad (desde que se incorporó a Amazon Data Firehose hasta ahora) del registro más antiguo de Amazon Data Firehose. Todos los registros con una antigüedad superior a esta edad se envían al bucket de S3. Unidades: segundos |
DeliveryToS3.Records |
Número de registros entregados en Amazon S3 durante el periodo de tiempo especificado. Estadísticas: Minimum, Maximum, Average, Sum, Samples Unidades: recuento |
DeliveryToS3.Success |
Suma de comandos put de Amazon S3 ejecutados correctamente. |
DeliveryToRedshift.DataFreshness |
Antigüedad (desde que se incorporó a Amazon Data Firehose hasta ahora) del registro más antiguo de Amazon Data Firehose. Cualquier registro que sea anterior a esta edad se envía al clúster de Amazon Redshift. |
BackupToS3.Bytes |
Número de bytes entregados en Amazon S3 para copias de seguridad durante el periodo de tiempo especificado. Amazon Data Firehose emite esta métrica cuando se habilita la copia de seguridad en Amazon S3. Estadísticas: Minimum, Maximum, Average, Sum, Samples Unidades: recuento |
BackupToS3.DataFreshness |
Antigüedad (desde que se incorporó a Amazon Data Firehose hasta ahora) del registro más antiguo de Amazon Data Firehose. Los registros anteriores a este valor se han entregado en el bucket de Amazon S3 con fines de copia de seguridad. Amazon Data Firehose emite esta métrica cuando se habilita la copia de seguridad en Amazon S3. Estadísticas: Minimum, Maximum, Average, Samples Unidades: segundos |
BackupToS3.Records |
Número de registros entregados en Amazon S3 para copias de seguridad durante el periodo de tiempo especificado. Amazon Data Firehose emite esta métrica cuando se habilita la copia de seguridad en Amazon S3. Estadísticas: Minimum, Maximum, Average, Sum, Samples Unidades: recuento |
BackupToS3.Success |
Suma de comandos put de Amazon S3 ejecutados correctamente para la copia de seguridad. Amazon Data Firehose emite esta métrica cuando se habilita la copia de seguridad en Amazon S3. |
Entrega en Amazon S3
Las métricas de la tabla siguiente están relacionadas con la entrega en Amazon S3 cuando es el destino principal del flujo de Firehose.
| Métrica | Descripción |
|---|---|
DeliveryToS3.Bytes |
Número de bytes entregados en Amazon S3 durante el periodo de tiempo especificado. Estadísticas: Minimum, Maximum, Average, Sum, Samples Unidades: bytes |
DeliveryToS3.DataFreshness |
Antigüedad (desde que se incorporó a Amazon Data Firehose hasta ahora) del registro más antiguo de Amazon Data Firehose. Los registros anteriores a este valor se han enviado al bucket de S3. Estadísticas: Minimum, Maximum, Average, Samples Unidades: segundos |
DeliveryToS3.Records |
Número de registros entregados en Amazon S3 durante el periodo de tiempo especificado. Estadísticas: Minimum, Maximum, Average, Sum, Samples Unidades: recuento |
DeliveryToS3.Success |
Suma de comandos put de Amazon S3 ejecutados correctamente. |
BackupToS3.Bytes |
Número de bytes entregados en Amazon S3 para copias de seguridad durante el periodo de tiempo especificado. Amazon Data Firehose emite esta métrica cuando la copia de seguridad está habilitada (lo que solo es posible cuando la transformación de datos también está habilitada). Estadísticas: Minimum, Maximum, Average, Sum, Samples Unidades: recuento |
BackupToS3.DataFreshness |
Antigüedad (desde que se incorporó a Amazon Data Firehose hasta ahora) del registro más antiguo de Amazon Data Firehose. Los registros anteriores a este valor se han entregado en el bucket de Amazon S3 con fines de copia de seguridad. Amazon Data Firehose emite esta métrica cuando la copia de seguridad está habilitada (lo que solo es posible cuando la transformación de datos también está habilitada). Estadísticas: Minimum, Maximum, Average, Samples Unidades: segundos |
BackupToS3.Records |
Número de registros entregados en Amazon S3 para copias de seguridad durante el periodo de tiempo especificado. Amazon Data Firehose emite esta métrica cuando la copia de seguridad está habilitada (lo que solo es posible cuando la transformación de datos también está habilitada). Estadísticas: Minimum, Maximum, Average, Sum, Samples Unidades: recuento |
BackupToS3.Success |
Suma de comandos put de Amazon S3 ejecutados correctamente para la copia de seguridad. Amazon Data Firehose emite esta métrica cuando la copia de seguridad está habilitada (lo que solo es posible cuando la transformación de datos también está habilitada). |
Entrega a Snowflake
| Métrica | Descripción |
|---|---|
DeliveryToSnowflake.Bytes |
El número de bytes enviados a Snowflake durante el periodo de tiempo especificado. Estadísticas: Minimum, Maximum, Average, Sum, Samples Unidades: bytes |
DeliveryToSnowflake.DataFreshness |
Antigüedad (desde que se introdujo en Firehose hasta la fecha actual) del registro más antiguo de Firehose. Los registros anteriores a este valor que se han enviado a Snowflake. Tenga en cuenta que el envío de datos en Snowflake puede tardar unos segundos después de que la llamada de inserción de Firehose se haya realizado correctamente. Para ver el tiempo que se tarda en enviar los datos a Snowflake, consulte la métrica Estadísticas: Minimum, Maximum, Average, Samples Unidades: segundos |
DeliveryToSnowflake.DataCommitLatency |
Tiempo que tardan los datos en enviarse a Snowflake después de que Firehose haya insertado los registros correctamente. Estadísticas: Minimum, Maximum, Average, Samples Unidades: segundos |
DeliveryToSnowflake.Records |
El número de registros enviados a Snowflake durante el periodo de tiempo especificado. Estadísticas: Minimum, Maximum, Average, Sum, Samples Unidades: recuento |
DeliveryToSnowflake.Success |
La suma de las llamadas de inserción realizadas correctamente a Snowflake. |
DeliveryToS3.Bytes |
Número de bytes entregados en Amazon S3 durante el periodo de tiempo especificado. Esta métrica solo está disponible cuando se produce un error en la entrega a Snowflake, y Firehose intenta hacer copias de seguridad de los datos fallidos en S3. Estadísticas: Minimum, Maximum, Average, Sum, Samples Unidades: bytes |
DeliveryToS3.Records |
Número de registros entregados en Amazon S3 durante el periodo de tiempo especificado. Esta métrica solo está disponible cuando se produce un error en la entrega a Snowflake, y Firehose intenta hacer copias de seguridad de los datos fallidos en S3. Estadísticas: Minimum, Maximum, Average, Sum, Samples Unidades: recuento |
DeliveryToS3.Success |
Suma de comandos put de Amazon S3 ejecutados correctamente. Esta métrica solo está disponible cuando se produce un error en la entrega a Snowflake, y Firehose intenta hacer copias de seguridad de los datos fallidos en S3. |
BackupToS3.DataFreshness |
Antigüedad (desde que se introdujo en Firehose hasta la fecha actual) del registro más antiguo de Firehose. Los registros anteriores a este valor tienen copia de seguridad en el bucket de Amazon S3. Esta métrica está disponible cuando el flujo de Firehose está configurado para hacer copias de seguridad de todos los datos. Estadísticas: Minimum, Maximum, Average, Samples Unidades: segundos |
BackupToS3.Records |
Número de registros entregados en Amazon S3 para copias de seguridad durante el periodo de tiempo especificado. Esta métrica está disponible cuando el flujo de Firehose está configurado para hacer copias de seguridad de todos los datos. Estadísticas: Minimum, Maximum, Average, Sum, Samples Unidades: recuento |
BackupToS3.Bytes |
Número de bytes entregados en Amazon S3 para copias de seguridad durante el periodo de tiempo especificado. Esta métrica está disponible cuando el flujo de Firehose está configurado para hacer copias de seguridad de todos los datos. Estadísticas: Minimum, Maximum, Average, Sum, Samples Unidades: contar |
BackupToS3.Success |
Suma de comandos put de Amazon S3 ejecutados correctamente para la copia de seguridad. Firehose emite esta métrica cuando el flujo de Firehose está configurado para hacer copias de seguridad de todos los documentos. |
Entrega a Splunk
| Métrica | Descripción |
|---|---|
DeliveryToSplunk.Bytes |
El número de bytes enviados a Splunk durante el periodo de tiempo especificado. Estadísticas: Minimum, Maximum, Average, Sum, Samples Unidades: bytes |
DeliveryToSplunk.DataAckLatency |
Duración aproximada que se tarda en recibir la confirmación de Splunk una vez que Amazon Data Firehose envía los datos. La tendencia creciente o decreciente de esta métrica es más útil que el valor aproximado absoluto. Las tendencias crecientes pueden indicar velocidades de indexación y de reconocimiento más lentas de los indexadores de Splunk. Estadísticas: Minimum, Maximum, Average, Samples Unidades: segundos |
DeliveryToSplunk.DataFreshness |
Antigüedad (desde que se incorporó a Amazon Data Firehose hasta ahora) del registro más antiguo de Amazon Data Firehose. Los registros anteriores a este valor se han enviado a Splunk. Estadísticas: Minimum, Maximum, Average, Samples Unidades: segundos |
DeliveryToSplunk.Records |
El número de registros enviados a Splunk durante el periodo de tiempo especificado. Estadísticas: Minimum, Maximum, Average, Sum, Samples Unidades: recuento |
DeliveryToSplunk.Success |
La suma de los registros indexados correctamente. |
DeliveryToS3.Success |
Suma de comandos put de Amazon S3 ejecutados correctamente. Esta métrica se emite cuando la copia de seguridad en Amazon S3 está habilitada. |
BackupToS3.Bytes |
Número de bytes entregados en Amazon S3 para copias de seguridad durante el periodo de tiempo especificado. Amazon Data Firehose emite esta métrica cuando el flujo de Firehose está configurado para hacer copias de seguridad de todos los documentos. Estadísticas: Minimum, Maximum, Average, Sum, Samples Unidades: recuento |
BackupToS3.DataFreshness |
Antigüedad (desde que se incorporó a Amazon Data Firehose hasta ahora) del registro más antiguo de Amazon Data Firehose. Los registros anteriores a este valor se han entregado en el bucket de Amazon S3 con fines de copia de seguridad. Amazon Data Firehose emite esta métrica cuando el flujo de Firehose está configurado para hacer copias de seguridad de todos los documentos. Estadísticas: Minimum, Maximum, Average, Samples Unidades: segundos |
BackupToS3.Records |
Número de registros entregados en Amazon S3 para copias de seguridad durante el periodo de tiempo especificado. Amazon Data Firehose emite esta métrica cuando el flujo de Firehose está configurado para hacer copias de seguridad de todos los documentos. Estadísticas: Minimum, Maximum, Average, Sum, Samples Unidades: recuento |
BackupToS3.Success |
Suma de comandos put de Amazon S3 ejecutados correctamente para la copia de seguridad. Amazon Data Firehose emite esta métrica cuando el flujo de Firehose está configurado para hacer copias de seguridad de todos los documentos. |
Entrega en puntos de conexión HTTP
| Métrica | Descripción |
|---|---|
DeliveryToHttpEndpoint.Bytes |
Número de bytes entregados correctamente en el punto de conexión HTTP. Estadísticas: Minimum, Maximum, Average, Sum, Samples Unidades: bytes |
DeliveryToHttpEndpoint.Records |
Número de registros entregados correctamente en el punto de conexión HTTP. Estadísticas: Minimum, Maximum, Average, Sum, Samples Unidades: recuentos. |
DeliveryToHttpEndpoint.DataFreshness |
Antigüedad del registro más antiguo de Amazon Data Firehose. Estadísticas: Minimum, Maximum, Average, Samples Unidades: segundos |
DeliveryToHttpEndpoint.Success |
Suma de todas las solicitudes de entrega de datos realizadas correctamente al punto de conexión HTTP. Estadísticas: Minimum, Maximum, Average, Sum, Samples Unidades: recuento |
DeliveryToHttpEndpoint.ProcessedBytes |
Número de bytes procesados intentados, incluidos los reintentos. |
DeliveryToHttpEndpoint.ProcessedRecords |
Número de registros intentados, incluidos los reintentos. |
Métricas de ingesta de datos
Temas
Ingesta de datos a través de Kinesis Data Streams
| Métrica | Descripción |
|---|---|
DataReadFromKinesisStream.Bytes |
Cuando el origen de datos es un flujo de datos de Kinesis, esta métrica indica el número de bytes leídos de dicho flujo. Este número incluye las repeticiones de lecturas debido a conmutaciones por error. Estadísticas: Minimum, Maximum, Average, Sum, Samples Unidades: bytes |
DataReadFromKinesisStream.Records |
Cuando el origen de datos es un flujo de datos de Kinesis, esta métrica indica el número de registros leídos de dicho flujo. Este número incluye las repeticiones de lecturas debido a conmutaciones por error. Estadísticas: Minimum, Maximum, Average, Sum, Samples Unidades: recuento |
ThrottledDescribeStream |
El número total de veces que se limita la operación Estadísticas: Minimum, Maximum, Average, Sum, Samples Unidades: recuento |
ThrottledGetRecords |
El número total de veces que se limita la operación Estadísticas: Minimum, Maximum, Average, Sum, Samples Unidades: recuento |
ThrottledGetShardIterator |
El número total de veces que se limita la operación Estadísticas: Minimum, Maximum, Average, Sum, Samples Unidades: recuento |
KinesisMillisBehindLatest |
Cuando el origen de datos es una secuencia de datos de Kinesis, esta métrica indica el número de milisegundos de retraso que lleva el último registro leído con respecto al registro más reciente de la secuencia de datos de Kinesis. Estadísticas: Minimum, Maximum, Average, Samples Unidades: milisegundos |
Ingesta de datos a través de Direct PUT
| Métrica | Descripción |
|---|---|
BackupToS3.Bytes |
Número de bytes entregados en Amazon S3 para copias de seguridad durante el periodo de tiempo especificado. Amazon Data Firehose emite esta métrica cuando la transformación de datos está habilitada para los destinos de Amazon S3 o Amazon Redshift. Estadísticas: Minimum, Maximum, Average, Sum, Samples Unidades: bytes |
BackupToS3.DataFreshness |
Antigüedad (desde que se incorporó a Amazon Data Firehose hasta ahora) del registro más antiguo de Amazon Data Firehose. Los registros anteriores a este valor se han entregado en el bucket de Amazon S3 con fines de copia de seguridad. Amazon Data Firehose emite esta métrica cuando la transformación de datos está habilitada para los destinos de Amazon S3 o Amazon Redshift. Estadísticas: Minimum, Maximum, Average, Samples Unidades: segundos |
BackupToS3.Records |
Número de registros entregados en Amazon S3 para copias de seguridad durante el periodo de tiempo especificado. Amazon Data Firehose emite esta métrica cuando la transformación de datos está habilitada para los destinos de Amazon S3 o Amazon Redshift. Estadísticas: Minimum, Maximum, Average, Sum, Samples Unidades: recuento |
BackupToS3.Success |
Suma de comandos put de Amazon S3 ejecutados correctamente para la copia de seguridad. Amazon Data Firehose emite esta métrica cuando la transformación de datos está habilitada para los destinos de Amazon S3 o Amazon Redshift. |
BytesPerSecondLimit |
Número máximo actual de bytes por segundo que un flujo de Firehose puede ingerir antes de la limitación. Para solicitar un aumento de este límite, vaya a AWS
Support Center |
DeliveryToAmazonOpenSearchService.Bytes |
El número de bytes indexados al OpenSearch Servicio durante el período de tiempo especificado. Estadísticas: Minimum, Maximum, Average, Sum, Samples Unidades: bytes |
DeliveryToAmazonOpenSearchService.DataFreshness |
Antigüedad (desde que se incorporó a Amazon Data Firehose hasta ahora) del registro más antiguo de Amazon Data Firehose. Todos los registros con una antigüedad superior a esta edad se han entregado al OpenSearch Servicio. Estadísticas: Minimum, Maximum, Average, Samples Unidades: segundos |
DeliveryToAmazonOpenSearchService.Records |
El número de registros indexados al OpenSearch Servicio durante el período de tiempo especificado. Estadísticas: Minimum, Maximum, Average, Sum, Samples Unidades: recuento |
DeliveryToAmazonOpenSearchService.Success |
La suma de los registros indexados correctamente. |
DeliveryToRedshift.Bytes |
Número de bytes copiados en Amazon Redshift durante el periodo de tiempo especificado. Estadísticas: Minimum, Maximum, Average, Sum, Samples Unidades: bytes |
DeliveryToRedshift.Records |
Número de registros copiados en Amazon Redshift durante el periodo de tiempo especificado. Estadísticas: Minimum, Maximum, Average, Sum, Samples Unidades: recuento |
DeliveryToRedshift.Success |
Suma de comandos COPY de Amazon Redshift ejecutados correctamente. |
DeliveryToS3.Bytes |
Número de bytes entregados en Amazon S3 durante el periodo de tiempo especificado. Estadísticas: Minimum, Maximum, Average, Sum, Samples Unidades: bytes |
DeliveryToS3.DataFreshness |
Antigüedad (desde que se incorporó a Amazon Data Firehose hasta ahora) del registro más antiguo de Amazon Data Firehose. Los registros anteriores a este valor se han enviado al bucket de S3. Estadísticas: Minimum, Maximum, Average, Samples Unidades: segundos |
DeliveryToS3.Records |
Número de registros entregados en Amazon S3 durante el periodo de tiempo especificado. Estadísticas: Minimum, Maximum, Average, Sum, Samples Unidades: recuento |
DeliveryToS3.Success |
Suma de comandos put de Amazon S3 ejecutados correctamente. |
DeliveryToSplunk.Bytes |
El número de bytes enviados a Splunk durante el periodo de tiempo especificado. Estadísticas: Minimum, Maximum, Average, Sum, Samples Unidades: bytes |
DeliveryToSplunk.DataAckLatency |
Duración aproximada que se tarda en recibir la confirmación de Splunk una vez que Amazon Data Firehose envía los datos. La tendencia creciente o decreciente de esta métrica es más útil que el valor aproximado absoluto. Las tendencias crecientes pueden indicar velocidades de indexación y de reconocimiento más lentas de los indexadores de Splunk. Estadísticas: Minimum, Maximum, Average, Samples Unidades: segundos |
DeliveryToSplunk.DataFreshness |
Antigüedad (desde que se incorporó a Amazon Data Firehose hasta ahora) del registro más antiguo de Amazon Data Firehose. Los registros anteriores a este valor se han enviado a Splunk. Estadísticas: Minimum, Maximum, Average, Samples Unidades: segundos |
DeliveryToSplunk.Records |
El número de registros enviados a Splunk durante el periodo de tiempo especificado. Estadísticas: Minimum, Maximum, Average, Sum, Samples Unidades: recuento |
DeliveryToSplunk.Success |
La suma de los registros indexados correctamente. |
IncomingBytes |
El número de bytes ingeridos correctamente en el flujo de Firehose durante el periodo de tiempo especificado. La ingesta de datos se puede limitar si se supera uno de los límites del flujo de Firehose. Los datos limitados no se tendrán en cuenta para Estadísticas: Minimum, Maximum, Average, Sum, Samples Unidades: bytes |
IncomingPutRequests |
El número de PutRecordBatch solicitudes PutRecord satisfactorias y durante un período de tiempo específico. Estadísticas: Minimum, Maximum, Average, Sum, Samples Unidades: recuento |
IncomingRecords |
El número de registros ingeridos correctamente en el flujo de Firehose durante el periodo de tiempo especificado. La ingesta de datos se puede limitar si se supera uno de los límites del flujo de Firehose. Los datos limitados no se tendrán en cuenta para Estadísticas: Minimum, Maximum, Average, Sum, Samples Unidades: recuento |
RecordsPerSecondLimit |
Número máximo actual de registros por segundo que un flujo de Firehose puede ingerir antes de la limitación. Estadísticas: Minimum, Maximum, Average, Sum, Samples Unidades: recuento |
ThrottledRecords |
Número de registros que se limitaron porque la ingesta de datos superó uno de los límites del flujo de Firehose. Estadísticas: Minimum, Maximum, Average, Sum, Samples Unidades: recuento |
Ingesta de datos de MSK
| Métrica | Descripción |
|---|---|
DataReadFromSource.Records
|
Número de registros leídos del tema de Kafka de origen. Estadísticas: Minimum, Maximum, Average, Sum, Samples Unidades: recuento |
DataReadFromSource.Bytes
|
Número de bytes leídos del tema de Kafka de origen. Estadísticas: Minimum, Maximum, Average, Sum, Samples Unidades: bytes |
SourceThrottled.Delay
|
Tiempo que tarda el clúster de Kafka de origen en devolver los registros del tema de Kafka de origen. Estadísticas: Minimum, Maximum, Average, Samples Unidades: milisegundos |
BytesPerSecondLimit
|
Límite actual de rendimiento al que Firehose va a leer desde cada partición del tema de Kafka de origen. Estadísticas: Minimum, Maximum, Average, Sum, Samples Unidades: bytes/segundo |
KafkaOffsetLag
|
Diferencia entre el mayor desplazamiento del registro que Firehose ha leído del tema de Kafka de origen y el mayor desplazamiento del registro disponible del tema de Kafka de origen. Estadísticas: Minimum, Maximum, Average, Sum, Samples Unidades: recuento |
FailedValidation.Records
|
Número de registros que no han superado la validación de registros. Estadísticas: Minimum, Maximum, Average, Sum, Samples Unidades: recuento |
FailedValidation.Bytes
|
Número de bytes que no han superado la validación de registros. Estadísticas: Minimum, Maximum, Average, Sum, Samples Unidades: bytes |
DataReadFromSource.Backpressured
|
Indica que una transmisión de Firehose se retrasa en la lectura de registros de la partición de origen, ya sea porque se ha superado BytesPerSecondLimit cada partición o porque el flujo normal de entrega es lento o se ha detenido Unidades: booleano |
Métricas a nivel de API CloudWatch
El espacio de nombres AWS/Firehose incluye las siguientes métricas de nivel de API.
| Métrica | Descripción |
|---|---|
DescribeDeliveryStream.Latency |
El tiempo que tarda cada operación Estadísticas: Minimum, Maximum, Average, Samples Unidades: milisegundos |
DescribeDeliveryStream.Requests |
El número total de solicitudes Estadísticas: Minimum, Maximum, Average, Sum, Samples Unidades: recuento |
ListDeliveryStreams.Latency |
El tiempo que tarda cada operación Estadísticas: Minimum, Maximum, Average, Samples Unidades: milisegundos |
ListDeliveryStreams.Requests |
El número total de solicitudes Estadísticas: Minimum, Maximum, Average, Sum, Samples Unidades: recuento |
PutRecord.Bytes |
Número de bytes insertados en el flujo de Firehose mediante Estadísticas: Minimum, Maximum, Average, Sum, Samples Unidades: bytes |
PutRecord.Latency |
El tiempo que tarda cada operación Estadísticas: Minimum, Maximum, Average, Samples Unidades: milisegundos |
PutRecord.Requests |
El número total de solicitudes Estadísticas: Minimum, Maximum, Average, Sum, Samples Unidades: recuento |
PutRecordBatch.Bytes |
Número de bytes insertados en el flujo de Firehose mediante Estadísticas: Minimum, Maximum, Average, Sum, Samples Unidades: bytes |
PutRecordBatch.Latency |
El tiempo que tarda cada operación Estadísticas: Minimum, Maximum, Average, Samples Unidades: milisegundos |
PutRecordBatch.Records |
El número total de registros de las operaciones Estadísticas: Minimum, Maximum, Average, Sum, Samples Unidades: recuento |
PutRecordBatch.Requests |
El número total de solicitudes Estadísticas: Minimum, Maximum, Average, Sum, Samples Unidades: recuento |
PutRequestsPerSecondLimit |
Número máximo de solicitudes de put por segundo que un flujo de Firehose puede gestionar antes de la limitación. Este número incluye PutRecord y solicita. PutRecordBatch Estadísticas: Minimum, Maximum, Average, Sum, Samples Unidades: recuento |
ThrottledDescribeStream |
El número total de veces que se limita la operación Estadísticas: Minimum, Maximum, Average, Sum, Samples Unidades: recuento |
ThrottledGetRecords |
El número total de veces que se limita la operación Estadísticas: Minimum, Maximum, Average, Sum, Samples Unidades: recuento |
ThrottledGetShardIterator |
El número total de veces que se limita la operación Estadísticas: Minimum, Maximum, Average, Sum, Samples Unidades: recuento |
UpdateDeliveryStream.Latency |
El tiempo que tarda cada operación Estadísticas: Minimum, Maximum, Average, Samples Unidades: milisegundos |
UpdateDeliveryStream.Requests |
El número total de solicitudes Estadísticas: Minimum, Maximum, Average, Sum, Samples Unidades: recuento |
CloudWatch Métricas de transformación de datos
Si la transformación de datos con Lambda está habilitada, el espacio de nombres AWS/Firehose incluye las siguientes métricas.
| Métrica | Descripción |
|---|---|
ExecuteProcessing.Duration |
Tiempo que tarda cada invocación de una función de Lambda llevada a cabo por Firehose. Unidades: milisegundos |
ExecuteProcessing.Success |
Suma de las invocaciones de funciones de Lambda correctas con respecto a la suma del total de invocaciones de funciones de Lambda. |
SucceedProcessing.Records |
Número de registros procesados correctamente durante el periodo de tiempo especificado. Unidades: recuento |
SucceedProcessing.Bytes |
Número de bytes procesados correctamente durante el periodo de tiempo especificado. Unidades: bytes |
CloudWatch Métricas de descompresión de registros
Si la descompresión está habilitada para la entrega de CloudWatch registros, el espacio de AWS/Firehose nombres incluye las siguientes métricas.
| Métrica | Descripción |
|---|---|
OutputDecompressedBytes.Success |
Se descomprimieron correctamente los datos en bytes Estadísticas: Minimum, Maximum, Average, Sum, Samples Unidades: bytes |
OutputDecompressedBytes.Failed |
Error al descomprimir los datos en bytes Estadísticas: Minimum, Maximum, Average, Sum, Samples Unidades: bytes |
OutputDecompressedRecords.Success |
Número de registros descomprimidos correctamente Estadísticas: Minimum, Maximum, Average, Sum, Samples Unidades: recuento |
OutputDecompressedRecords.Failed |
Número de registros descomprimidos con errores Estadísticas: Minimum, Maximum, Average, Sum, Samples Unidades: recuento |
Métricas de conversión de formato CloudWatch
Si la conversión del formato está habilitada, el espacio de nombres AWS/Firehose incluye las siguientes métricas.
| Métrica | Descripción |
|---|---|
SucceedConversion.Records |
El número de registros convertidos correctamente. Unidades: recuento |
SucceedConversion.Bytes |
El tamaño de los registros convertidos correctamente. Unidades: bytes |
FailedConversion.Records |
El número de registros que no se han podido convertir. Unidades: recuento |
FailedConversion.Bytes |
El tamaño de los registros que no se han podido convertir. Unidades: bytes |
Métricas de cifrado del lado del servidor (SSE) CloudWatch
El espacio de nombres AWS/Firehose incluye las siguientes métricas relacionadas con SSE.
| Métrica | Descripción |
|---|---|
KMSKeyAccessDenied |
Número de veces que el servicio encuentra una excepción Estadísticas: Minimum, Maximum, Average, Sum, Samples Unidades: recuento |
KMSKeyDisabled |
Número de veces que el servicio encuentra una excepción Estadísticas: Minimum, Maximum, Average, Sum, Samples Unidades: recuento |
KMSKeyInvalidState |
Número de veces que el servicio encuentra una excepción Estadísticas: Minimum, Maximum, Average, Sum, Samples Unidades: recuento |
KMSKeyNotFound |
Número de veces que el servicio encuentra una excepción Estadísticas: Minimum, Maximum, Average, Sum, Samples Unidades: recuento |
Dimensiones de Amazon Data Firehose
Para filtrar las métricas por flujo de Firehose, utilice la dimensión DeliveryStreamName.
Métricas de uso de Amazon Data Firehose
Puedes usar las métricas CloudWatch de uso para proporcionar visibilidad sobre el uso de los recursos de tu cuenta. Usa estas métricas para visualizar tu uso actual del servicio en CloudWatch gráficos y paneles.
Las métricas de uso de la cuota de servicio se encuentran en el espacio AWS de nombres /Usage y se recopilan cada tres minutos.
Actualmente, el único nombre de métrica de este espacio de nombres que se publica es. CloudWatch ResourceCount Esta métrica se publica con las dimensiones Service, Class, Type y Resource.
| Métrica | Descripción |
|---|---|
ResourceCount |
El número de los recursos especificados que se ejecutan en su cuenta. Los recursos se definen por las dimensiones asociadas a la métrica. La estadística más útil para esta métrica es MAXIMUM, que representa la cantidad máxima de recursos utilizados durante un período de 3 minutos. |
Las siguientes dimensiones se utilizan para ajustar las métricas de uso publicadas por Amazon Data Firehose.
| Dimensión | Descripción |
|---|---|
Service |
El nombre del AWS servicio que contiene el recurso. En el caso de las métricas de uso de Amazon Data Firehose, el valor de esta dimensión es |
Class |
La clase de recurso a la que se realiza el seguimiento. Las métricas de uso de la API de Amazon Data Firehose utilizan esta dimensión con el valor |
Type |
El tipo de recurso al que se realiza el seguimiento. Actualmente, cuando la dimensión Service es |
Resource |
El nombre del AWS recurso. Actualmente, cuando la dimensión Service es |
