Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Surveillez Amazon Data Firehose à l'aide de métriques CloudWatch
Important
Assurez-vous d'activer les alarmes sur toutes les CloudWatch métriques appartenant à votre destination afin d'identifier les erreurs en temps opportun.
Amazon Data Firehose s'intègre aux CloudWatch métriques Amazon afin que vous puissiez collecter, consulter et analyser les CloudWatch métriques de vos flux Firehose. Par exemple, vous pouvez surveiller les IncomingRecords statistiques IncomingBytes et pour suivre les données ingérées dans Amazon Data Firehose par les producteurs de données.
Amazon Data Firehose collecte et publie des CloudWatch statistiques chaque minute. Toutefois, si les rafales de données entrantes ne se produisent que pendant quelques secondes, il se peut qu'elles ne soient pas entièrement capturées ou visibles dans les métriques d'une minute. Cela est dû au fait que CloudWatch les statistiques sont agrégées à partir d'Amazon Data Firehose à des intervalles d'une minute.
Les statistiques collectées pour les flux Firehose sont gratuites. Pour en savoir plus sur les métriques relatives à l'agent Kinesis, consultez Surveillez l'état de santé de Kinesis Agent.
Rubriques
CloudWatch métriques pour le partitionnement dynamique
Si le partitionnement dynamique est activé, l'espace de noms AWS/Firehose inclut les métriques suivantes.
| Métrique | Description |
|---|---|
ActivePartitionsLimit |
Le nombre maximum de partitions actives qu'un flux Firehose traite avant d'envoyer des données au compartiment d'erreurs. Statistiques : Minimum, Maximum, Moyenne, Somme, Exemples Unités : nombre |
PartitionCount |
Le nombre de partitions en cours de traitement, en d'autres termes, le nombre de partitions actives. Ce nombre varie entre un et la limite de 500 partitions (par défaut). Statistiques : Minimum, Maximum, Moyenne, Somme, Exemples Unités : nombre |
PartitionCountExceeded |
Cette métrique indique si vous dépassez la limite du nombre de partitions. Elle émet un ou zéro selon que la limite est dépassée ou non. |
JQProcessing.Duration |
Renvoie le temps nécessaire à l'exécution de l'expression JQ dans la fonction Lambda JQ. Unités : millisecondes |
PerPartitionThroughput |
Indique le débit traité par partition. Cette métrique vous permet de surveiller le débit par partition. Unités : StandardUnit.BytesSecond |
DeliveryToS3.ObjectCount |
Indique le nombre d'objets qui sont livrés à votre compartiment S3. Statistiques : Minimum, Maximum, Moyenne, Somme, Exemples Unités : nombre |
CloudWatch mesures pour la fourniture de données
L'espace de noms AWS/Firehose inclut les métriques au niveau des services suivantes. Si vous constatez de légères baisses de la moyenne pour BackupToS3.Success, DeliveryToS3.Success, DeliveryToSplunk.Success, DeliveryToAmazonOpenSearchService.Success ou DeliveryToRedshift.Success, cela n'indique pas qu'il y a une perte de données. Amazon Data Firehose tente une nouvelle tentative de livraison en cas d'erreur et n'avance pas tant que les enregistrements n'ont pas été correctement livrés à la destination configurée ou au compartiment S3 de sauvegarde.
Rubriques
Livraison au OpenSearch service
| Métrique | Description |
|---|---|
DeliveryToAmazonOpenSearchService.Bytes |
Le nombre d'octets indexés dans OpenSearch Service au cours de la période spécifiée. Statistiques : Minimum, Maximum, Moyenne, Somme, Exemples Unités : octets |
DeliveryToAmazonOpenSearchService.DataFreshness |
L'âge (de l'entrée dans Amazon Data Firehose à aujourd'hui) du plus ancien enregistrement d'Amazon Data Firehose. Tout enregistrement datant de plus de cet âge a été transmis au OpenSearch Service. Statistiques : Minimum, Maximum, Moyenne, Somme, Exemples Unités : secondes |
DeliveryToAmazonOpenSearchService.Records |
Le nombre d'enregistrements indexés dans OpenSearch Service au cours de la période spécifiée. Statistiques : Minimum, Maximum, Moyenne, Somme, Exemples Unités : nombre |
DeliveryToAmazonOpenSearchService.Success |
La somme des enregistrements indexés avec succès. |
DeliveryToS3.Bytes |
Le nombre d'octets fournis à Amazon S3 au cours de la période spécifiée. Amazon Data Firehose émet cette métrique uniquement lorsque vous activez la sauvegarde de tous les documents. Statistiques : Minimum, Maximum, Moyenne, Somme, Exemples Unités : nombre |
DeliveryToS3.DataFreshness |
L'âge (de l'entrée dans Amazon Data Firehose à aujourd'hui) du plus ancien enregistrement d'Amazon Data Firehose. Tous les enregistrements plus anciens ayant été remis au compartiment S3. Amazon Data Firehose émet cette métrique uniquement lorsque vous activez la sauvegarde de tous les documents. Unités : secondes |
DeliveryToS3.Records |
Le nombre d'enregistrements fournis à Amazon S3 au cours de la période spécifiée. Amazon Data Firehose émet cette métrique uniquement lorsque vous activez la sauvegarde de tous les documents. Statistiques : Minimum, Maximum, Moyenne, Somme, Exemples Unités : nombre |
DeliveryToS3.Success |
Somme des commandes put réussies d'Amazon S3. Amazon Data Firehose émet toujours cette métrique, que la sauvegarde soit activée pour les documents ayant échoué uniquement ou pour tous les documents. |
DeliveryToAmazonOpenSearchService.AuthFailure |
Authentication/authorization erreur. Vérifiez la politique du OS/ES cluster et les autorisations de rôle. Zéro signifie qu'aucun problème n'est survenu. Un signifie un échec d'authentification. |
DeliveryToAmazonOpenSearchService.DeliveryRejected |
Erreur de diffusion rejetée. Vérifiez la politique du OS/ES cluster et les autorisations de rôle. Zéro indique qu'il n'y a aucun problème. Un indique qu'il y a un échec de diffusion. |
Livraison vers OpenSearch Serverless
| Métrique | Description |
|---|---|
DeliveryToAmazonOpenSearchServerless.Bytes |
Le nombre d'octets indexés dans OpenSearch Serverless au cours de la période spécifiée. Statistiques : Minimum, Maximum, Moyenne, Somme, Exemples Unités : octets |
DeliveryToAmazonOpenSearchServerless.DataFreshness |
L'âge (de l'entrée dans Amazon Data Firehose à aujourd'hui) du plus ancien enregistrement d'Amazon Data Firehose. Tout enregistrement datant de plus de cet âge a été transmis à OpenSearch Serverless. Unités : secondes |
DeliveryToAmazonOpenSearchServerless.Records |
Le nombre d'enregistrements indexés dans OpenSearch Serverless au cours de la période spécifiée. Statistiques : Minimum, Maximum, Moyenne, Somme, Exemples Unités : nombre |
DeliveryToAmazonOpenSearchServerless.Success |
La somme des enregistrements indexés avec succès. |
DeliveryToS3.Bytes |
Le nombre d'octets fournis à Amazon S3 au cours de la période spécifiée. Amazon Data Firehose émet cette métrique uniquement lorsque vous activez la sauvegarde de tous les documents. Statistiques : Minimum, Maximum, Moyenne, Somme, Exemples Unités : nombre |
DeliveryToS3.DataFreshness |
L'âge (de l'entrée dans Amazon Data Firehose à aujourd'hui) du plus ancien enregistrement d'Amazon Data Firehose. Tous les enregistrements plus anciens ayant été remis au compartiment S3. Amazon Data Firehose émet cette métrique uniquement lorsque vous activez la sauvegarde de tous les documents. Unités : secondes |
DeliveryToS3.Records |
Le nombre d'enregistrements fournis à Amazon S3 au cours de la période spécifiée. Amazon Data Firehose émet cette métrique uniquement lorsque vous activez la sauvegarde de tous les documents. Unités : nombre |
DeliveryToS3.Success |
Somme des commandes put réussies d'Amazon S3. Amazon Data Firehose émet toujours cette métrique, que la sauvegarde soit activée pour les documents ayant échoué uniquement ou pour tous les documents. |
DeliveryToAmazonOpenSearchServerless.AuthFailure |
Authentication/authorization erreur. Vérifiez la politique du OS/ES cluster et les autorisations de rôle. Zéro signifie qu'aucun problème n'est survenu. Un signifie qu'il y a un échec d'authentification. |
DeliveryToAmazonOpenSearchServerless.DeliveryRejected |
Erreur de diffusion rejetée. Vérifiez la politique du OS/ES cluster et les autorisations de rôle. Zéro indique qu'il n'y a aucun problème. Un indique qu'il y a un échec de diffusion. |
Diffusion dans Amazon Redshift
| Métrique | Description |
|---|---|
DeliveryToRedshift.Bytes |
Le nombre d'octets copiés vers Amazon Redshift au cours de la période spécifiée. Statistiques : Minimum, Maximum, Moyenne, Somme, Exemples Unités : nombre |
DeliveryToRedshift.Records |
Le nombre d'enregistrements copiés vers Amazon Redshift au cours de la période spécifiée. Statistiques : Minimum, Maximum, Moyenne, Somme, Exemples Unités : nombre |
DeliveryToRedshift.Success |
Somme des commandes Amazon Redshift COPY réussies. |
DeliveryToS3.Bytes |
Le nombre d'octets fournis à Amazon S3 au cours de la période spécifiée. Statistiques : Minimum, Maximum, Moyenne, Somme, Exemples Unités : octets |
DeliveryToS3.DataFreshness |
L'âge (de l'entrée dans Amazon Data Firehose à aujourd'hui) du plus ancien enregistrement d'Amazon Data Firehose. Tout enregistrement datant de plus de cet âge est envoyé dans le compartiment S3. Unités : secondes |
DeliveryToS3.Records |
Le nombre d'enregistrements fournis à Amazon S3 au cours de la période spécifiée. Statistiques : Minimum, Maximum, Moyenne, Somme, Exemples Unités : nombre |
DeliveryToS3.Success |
Somme des commandes put réussies d'Amazon S3. |
DeliveryToRedshift.DataFreshness |
L'âge (de l'entrée dans Amazon Data Firehose à aujourd'hui) du plus ancien enregistrement d'Amazon Data Firehose. Tout enregistrement datant de plus de cet âge est transmis au cluster Amazon Redshift. |
BackupToS3.Bytes |
Le nombre d'octets fournis à Amazon S3 pour la sauvegarde au cours de la période spécifiée. Amazon Data Firehose émet cette métrique lorsque la sauvegarde sur Amazon S3 est activée. Statistiques : Minimum, Maximum, Moyenne, Somme, Exemples Unités : nombre |
BackupToS3.DataFreshness |
L'âge (de l'entrée dans Amazon Data Firehose à aujourd'hui) du plus ancien enregistrement d'Amazon Data Firehose. Tous les enregistrements plus anciens ayant été remis au compartiment Amazon S3 pour être sauvegardés. Amazon Data Firehose émet cette métrique lorsque la sauvegarde sur Amazon S3 est activée. Statistiques : Minimum, Maximum, Moyenne, Exemples Unités : secondes |
BackupToS3.Records |
Le nombre d'enregistrements fournis à Amazon S3 pour la sauvegarde au cours de la période spécifiée. Amazon Data Firehose émet cette métrique lorsque la sauvegarde sur Amazon S3 est activée. Statistiques : Minimum, Maximum, Moyenne, Somme, Exemples Unités : nombre |
BackupToS3.Success |
La somme des commandes de mise Amazon S3 réussies pour la sauvegarde. Amazon Data Firehose émet cette métrique lorsque la sauvegarde sur Amazon S3 est activée. |
Diffusion dans Amazon S3
Les statistiques du tableau suivant sont liées à la livraison vers Amazon S3 lorsqu'il s'agit de la destination principale du flux Firehose.
| Métrique | Description |
|---|---|
DeliveryToS3.Bytes |
Le nombre d'octets fournis à Amazon S3 au cours de la période spécifiée. Lorsque la transformation des données est activée, cette métrique reflète la taille des octets prétraités avant la transformation. Statistiques : Minimum, Maximum, Moyenne, Somme, Exemples Unités : octets |
DeliveryToS3.DataFreshness |
L'âge (de l'entrée dans Amazon Data Firehose à aujourd'hui) du plus ancien enregistrement d'Amazon Data Firehose. Tous les enregistrements plus anciens ayant été remis au compartiment S3. Statistiques : Minimum, Maximum, Moyenne, Exemples Unités : secondes |
DeliveryToS3.Records |
Le nombre d'enregistrements fournis à Amazon S3 au cours de la période spécifiée. Statistiques : Minimum, Maximum, Moyenne, Somme, Exemples Unités : nombre |
DeliveryToS3.Success |
Somme des commandes put réussies d'Amazon S3. |
BackupToS3.Bytes |
Le nombre d'octets fournis à Amazon S3 pour la sauvegarde au cours de la période spécifiée. Amazon Data Firehose émet cette métrique lorsque la sauvegarde est activée (ce qui n'est possible que lorsque la transformation des données est également activée). Statistiques : Minimum, Maximum, Moyenne, Somme, Exemples Unités : nombre |
BackupToS3.DataFreshness |
Âge (depuis l'entrée dans Amazon Data Firehose jusqu'à aujourd'hui) du plus ancien enregistrement dans Amazon Data Firehose. Tous les enregistrements plus anciens ayant été remis au compartiment Amazon S3 pour être sauvegardés. Amazon Data Firehose émet cette métrique lorsque la sauvegarde est activée (ce qui n'est possible que lorsque la transformation des données est également activée). Statistiques : Minimum, Maximum, Moyenne, Exemples Unités : secondes |
BackupToS3.Records |
Le nombre d'enregistrements fournis à Amazon S3 pour la sauvegarde au cours de la période spécifiée. Amazon Data Firehose émet cette métrique lorsque la sauvegarde est activée (ce qui n'est possible que lorsque la transformation des données est également activée). Statistiques : Minimum, Maximum, Moyenne, Somme, Exemples Unités : nombre |
BackupToS3.Success |
La somme des commandes de mise Amazon S3 réussies pour la sauvegarde. Amazon Data Firehose émet cette métrique lorsque la sauvegarde est activée (ce qui n'est possible que lorsque la transformation des données est également activée). |
Livraison à Snowflake
| Métrique | Description |
|---|---|
DeliveryToSnowflake.Bytes |
Le nombre d'octets fournis à Snowflake au cours de la période spécifiée. Statistiques : Minimum, Maximum, Moyenne, Somme, Exemples Unités : octets |
DeliveryToSnowflake.DataFreshness |
Âge (de l'entrée dans Firehose à aujourd'hui) du plus vieux disque de Firehose. Tout enregistrement datant de plus de cet âge a été livré à Snowflake. Notez que la validation des données dans Snowflake peut prendre quelques secondes une fois l'appel d'insertion de Firehose réussi. Pour connaître le temps nécessaire pour valider les données dans Snowflake, reportez-vous à la Statistiques : Minimum, Maximum, Moyenne, Exemples Unités : secondes |
DeliveryToSnowflake.DataCommitLatency |
Le temps nécessaire pour que les données soient validées dans Snowflake une fois que Firehose a inséré des enregistrements avec succès. Statistiques : Minimum, Maximum, Moyenne, Exemples Unités : secondes |
DeliveryToSnowflake.Records |
Le nombre d'enregistrements livrés à Snowflake au cours de la période spécifiée. Statistiques : Minimum, Maximum, Moyenne, Somme, Exemples Unités : nombre |
DeliveryToSnowflake.Success |
La somme des appels d'insertion réussis passés à Snowflake. |
DeliveryToS3.Bytes |
Le nombre d'octets fournis à Amazon S3 au cours de la période spécifiée. Cette métrique n'est disponible que lorsque la livraison à Snowflake échoue et que Firehose tente de sauvegarder les données échouées sur S3. Statistiques : Minimum, Maximum, Moyenne, Somme, Exemples Unités : octets |
DeliveryToS3.Records |
Le nombre d'enregistrements fournis à Amazon S3 au cours de la période spécifiée. Cette métrique n'est disponible que lorsque la livraison à Snowflake échoue et que Firehose tente de sauvegarder les données échouées sur S3. Statistiques : Minimum, Maximum, Moyenne, Somme, Exemples Unités : nombre |
DeliveryToS3.Success |
Somme des commandes put réussies d'Amazon S3. Cette métrique n'est disponible que lorsque la livraison à Snowflake échoue et que Firehose tente de sauvegarder les données échouées sur S3. |
BackupToS3.DataFreshness |
Âge (de Firehose à aujourd'hui) du plus vieux disque de Firehose. Tout enregistrement datant de plus de cet âge est sauvegardé dans le compartiment Amazon S3. Cette métrique est disponible lorsque le flux Firehose est configuré pour sauvegarder toutes les données. Statistiques : Minimum, Maximum, Moyenne, Exemples Unités : secondes |
BackupToS3.Records |
Le nombre d'enregistrements fournis à Amazon S3 pour la sauvegarde au cours de la période spécifiée. Cette métrique est disponible lorsque le flux Firehose est configuré pour sauvegarder toutes les données. Statistiques : Minimum, Maximum, Moyenne, Somme, Exemples Units:Count |
BackupToS3.Bytes |
Le nombre d'octets fournis à Amazon S3 pour la sauvegarde au cours de la période spécifiée. Cette métrique est disponible lorsque le flux Firehose est configuré pour sauvegarder toutes les données. Statistiques : Minimum, Maximum, Moyenne, Somme, Exemples Units:Count |
BackupToS3.Success |
La somme des commandes de mise Amazon S3 réussies pour la sauvegarde. Firehose émet cette métrique lorsque le flux Firehose est configuré pour sauvegarder toutes les données. |
Remise à Splunk
| Métrique | Description |
|---|---|
DeliveryToSplunk.Bytes |
Nombre d'octets fournis à Splunk au cours de la période spécifiée. Statistiques : Minimum, Maximum, Moyenne, Somme, Exemples Unités : octets |
DeliveryToSplunk.DataAckLatency |
Durée approximative nécessaire pour recevoir un accusé de réception de Splunk une fois qu'Amazon Data Firehose lui a envoyé des données. L'augmentation ou la réduction de la tendance de cette métrique est plus utile que la valeur approximative absolue. L'augmentation de tendance peut indiquer une indexation et des taux d'accusé de réception des indexeurs Splunk plus lents. Statistiques : Minimum, Maximum, Moyenne, Exemples Unités : secondes |
DeliveryToSplunk.DataFreshness |
Âge (depuis l'entrée dans Amazon Data Firehose jusqu'à aujourd'hui) du plus ancien enregistrement dans Amazon Data Firehose. Tous les enregistrements plus anciens ayant été remis à Splunk. Statistiques : Minimum, Maximum, Moyenne, Exemples Unités : secondes |
DeliveryToSplunk.Records |
Nombre d'enregistrements fournis à Splunk au cours de la période spécifiée. Statistiques : Minimum, Maximum, Moyenne, Somme, Exemples Unités : nombre |
DeliveryToSplunk.Success |
La somme des enregistrements indexés avec succès. |
DeliveryToS3.Success |
Somme des commandes put réussies d'Amazon S3. Cette métrique est émise si la sauvegarde vers Amazon S3 est activée. |
BackupToS3.Bytes |
Le nombre d'octets fournis à Amazon S3 pour la sauvegarde au cours de la période spécifiée. Amazon Data Firehose émet cette métrique lorsque le flux Firehose est configuré pour sauvegarder tous les documents. Statistiques : Minimum, Maximum, Moyenne, Somme, Exemples Unités : nombre |
BackupToS3.DataFreshness |
Âge (depuis l'entrée dans Amazon Data Firehose jusqu'à aujourd'hui) du plus ancien enregistrement dans Amazon Data Firehose. Tous les enregistrements plus anciens ayant été remis au compartiment Amazon S3 pour être sauvegardés. Amazon Data Firehose émet cette métrique lorsque le flux Firehose est configuré pour sauvegarder tous les documents. Statistiques : Minimum, Maximum, Moyenne, Exemples Unités : secondes |
BackupToS3.Records |
Le nombre d'enregistrements fournis à Amazon S3 pour la sauvegarde au cours de la période spécifiée. Amazon Data Firehose émet cette métrique lorsque le flux Firehose est configuré pour sauvegarder tous les documents. Statistiques : Minimum, Maximum, Moyenne, Somme, Exemples Unités : nombre |
BackupToS3.Success |
Somme des commandes de mise Amazon S3 réussies pour la sauvegarde. Amazon Data Firehose émet cette métrique lorsque le flux Firehose est configuré pour sauvegarder tous les documents. |
Diffusion aux points de terminaison HTTP
| Métrique | Description |
|---|---|
DeliveryToHttpEndpoint.Bytes |
Le nombre d'octets transmis avec succès au point de terminaison HTTP. Statistiques : Minimum, Maximum, Moyenne, Somme, Exemples Unités : octets |
DeliveryToHttpEndpoint.Records |
Le nombre d'enregistrements transmis avec succès au point de terminaison HTTP. Cette métrique n'est émise que pour les tentatives de livraison réussies et n'est pas émise en cas d'échec d'une tentative de livraison. Statistiques : Minimum, Maximum, Moyenne, Somme, Exemples Unités : nombres |
DeliveryToHttpEndpoint.DataFreshness |
Âge de l'enregistrement le plus ancien d'Amazon Data Firehose. Statistiques : Minimum, Maximum, Moyenne, Exemples Unités : secondes |
DeliveryToHttpEndpoint.Success |
Le nombre d'enregistrements transmis avec succès au point de terminaison HTTP par tentative de livraison. Contrairement à cela Statistiques : Minimum, Maximum, Moyenne, Somme, Exemples Unités : nombre |
DeliveryToHttpEndpoint.ProcessedBytes |
Le nombre de tentatives de traitement d'octets, y compris les nouvelles tentatives. |
DeliveryToHttpEndpoint.ProcessedRecords |
Le nombre de tentatives d'enregistrement, y compris les nouvelles tentatives. |
Métriques d'ingestion de données
Rubriques
Ingestion de données via Kinesis Data Streams
| Métrique | Description |
|---|---|
DataReadFromKinesisStream.Bytes |
Lorsque la source de données est un flux de données Kinesis, cette métrique indique le nombre d'octets lus à partir de ce flux de données. Ce nombre inclut les relectures dues à des basculements. Statistiques : Minimum, Maximum, Moyenne, Somme, Exemples Unités : octets |
DataReadFromKinesisStream.Records |
Lorsque la source de données est un flux de données Kinesis, cette métrique indique le nombre d'enregistrements lus à partir de ce flux de données. Ce nombre inclut les relectures dues à des basculements. Statistiques : Minimum, Maximum, Moyenne, Somme, Exemples Unités : nombre |
ThrottledDescribeStream |
Nombre total de fois où l'opération Statistiques : Minimum, Maximum, Moyenne, Somme, Exemples Unités : nombre |
ThrottledGetRecords |
Nombre total de fois où l'opération Statistiques : Minimum, Maximum, Moyenne, Somme, Exemples Unités : nombre |
ThrottledGetShardIterator |
Nombre total de fois où l'opération Statistiques : Minimum, Maximum, Moyenne, Somme, Exemples Unités : nombre |
KinesisMillisBehindLatest |
Lorsque la source de données est un flux de données Kinesis, cette métrique indique le nombre de millisecondes séparant le dernier enregistrement lu de l'enregistrement le plus récent dans le flux de données Kinesis. Statistiques : Minimum, Maximum, Moyenne, Exemples Unités : millisecondes |
Ingestion de données via Direct PUT
| Métrique | Description |
|---|---|
BackupToS3.Bytes |
Le nombre d'octets fournis à Amazon S3 pour la sauvegarde au cours de la période spécifiée. Amazon Data Firehose émet cette métrique lorsque la transformation des données est activée pour les destinations Amazon S3 ou Amazon Redshift. Statistiques : Minimum, Maximum, Moyenne, Somme, Exemples Unités : octets |
BackupToS3.DataFreshness |
Âge (depuis l'entrée dans Amazon Data Firehose jusqu'à aujourd'hui) du plus ancien enregistrement dans Amazon Data Firehose. Tous les enregistrements plus anciens ayant été remis au compartiment Amazon S3 pour être sauvegardés. Amazon Data Firehose émet cette métrique lorsque la transformation des données est activée pour les destinations Amazon S3 ou Amazon Redshift. Statistiques : Minimum, Maximum, Moyenne, Exemples Unités : secondes |
BackupToS3.Records |
Le nombre d'enregistrements fournis à Amazon S3 pour la sauvegarde au cours de la période spécifiée. Amazon Data Firehose émet cette métrique lorsque la transformation des données est activée pour les destinations Amazon S3 ou Amazon Redshift. Statistiques : Minimum, Maximum, Moyenne, Somme, Exemples Unités : nombre |
BackupToS3.Success |
Somme des commandes de mise Amazon S3 réussies pour la sauvegarde. Amazon Data Firehose émet cette métrique lorsque la transformation des données est activée pour les destinations Amazon S3 ou Amazon Redshift. |
BytesPerSecondLimit |
Le nombre maximum actuel d'octets par seconde qu'un flux Firehose peut ingérer avant d'être limité. Pour demander une augmentation de cette limite, accédez au Centre de support AWS |
DeliveryToAmazonOpenSearchService.Bytes |
Le nombre d'octets indexés dans OpenSearch Service au cours de la période spécifiée. Statistiques : Minimum, Maximum, Moyenne, Somme, Exemples Unités : octets |
DeliveryToAmazonOpenSearchService.DataFreshness |
L'âge (de l'entrée dans Amazon Data Firehose à aujourd'hui) du plus ancien enregistrement d'Amazon Data Firehose. Tout enregistrement datant de plus de cet âge a été transmis au OpenSearch Service. Statistiques : Minimum, Maximum, Moyenne, Exemples Unités : secondes |
DeliveryToAmazonOpenSearchService.Records |
Le nombre d'enregistrements indexés dans OpenSearch Service au cours de la période spécifiée. Statistiques : Minimum, Maximum, Moyenne, Somme, Exemples Unités : nombre |
DeliveryToAmazonOpenSearchService.Success |
La somme des enregistrements indexés avec succès. |
DeliveryToRedshift.Bytes |
Le nombre d'octets copiés vers Amazon Redshift au cours de la période spécifiée. Statistiques : Minimum, Maximum, Moyenne, Somme, Exemples Unités : octets |
DeliveryToRedshift.Records |
Le nombre d'enregistrements copiés vers Amazon Redshift au cours de la période spécifiée. Statistiques : Minimum, Maximum, Moyenne, Somme, Exemples Unités : nombre |
DeliveryToRedshift.Success |
Somme des commandes Amazon Redshift COPY réussies. |
DeliveryToS3.Bytes |
Le nombre d'octets fournis à Amazon S3 au cours de la période spécifiée. Statistiques : Minimum, Maximum, Moyenne, Somme, Exemples Unités : octets |
DeliveryToS3.DataFreshness |
L'âge (de l'entrée dans Amazon Data Firehose à aujourd'hui) du plus ancien enregistrement d'Amazon Data Firehose. Tous les enregistrements plus anciens ayant été remis au compartiment S3. Statistiques : Minimum, Maximum, Moyenne, Exemples Unités : secondes |
DeliveryToS3.Records |
Le nombre d'enregistrements fournis à Amazon S3 au cours de la période spécifiée. Statistiques : Minimum, Maximum, Moyenne, Somme, Exemples Unités : nombre |
DeliveryToS3.Success |
Somme des commandes put réussies d'Amazon S3. |
DeliveryToSplunk.Bytes |
Nombre d'octets fournis à Splunk au cours de la période spécifiée. Statistiques : Minimum, Maximum, Moyenne, Somme, Exemples Unités : octets |
DeliveryToSplunk.DataAckLatency |
Durée approximative nécessaire pour recevoir un accusé de réception de Splunk une fois qu'Amazon Data Firehose lui a envoyé des données. L'augmentation ou la réduction de la tendance de cette métrique est plus utile que la valeur approximative absolue. L'augmentation de tendance peut indiquer une indexation et des taux d'accusé de réception des indexeurs Splunk plus lents. Statistiques : Minimum, Maximum, Moyenne, Exemples Unités : secondes |
DeliveryToSplunk.DataFreshness |
Âge (depuis l'entrée dans Amazon Data Firehose jusqu'à aujourd'hui) du plus ancien enregistrement dans Amazon Data Firehose. Tous les enregistrements plus anciens ayant été remis à Splunk. Statistiques : Minimum, Maximum, Moyenne, Exemples Unités : secondes |
DeliveryToSplunk.Records |
Nombre d'enregistrements fournis à Splunk au cours de la période spécifiée. Statistiques : Minimum, Maximum, Moyenne, Somme, Exemples Unités : nombre |
DeliveryToSplunk.Success |
La somme des enregistrements indexés avec succès. |
IncomingBytes |
Le nombre d'octets ingérés avec succès dans le flux Firehose au cours de la période spécifiée. L'ingestion de données peut être limitée lorsqu'elle dépasse l'une des limites du flux Firehose. Les données limitées ne seront pas prises en compte pour Statistiques : Minimum, Maximum, Moyenne, Somme, Exemples Unités : octets |
IncomingPutRequests |
Le nombre de PutRecordBatch demandes réussies PutRecord et le nombre de demandes sur une période donnée. Statistiques : Minimum, Maximum, Moyenne, Somme, Exemples Unités : nombre |
IncomingRecords |
Le nombre d'enregistrements ingérés avec succès dans le flux Firehose au cours de la période spécifiée. L'ingestion de données peut être limitée lorsqu'elle dépasse l'une des limites du flux Firehose. Les données limitées ne seront pas prises en compte pour Statistiques : Minimum, Maximum, Moyenne, Somme, Exemples Unités : nombre |
RecordsPerSecondLimit |
Le nombre maximum actuel d'enregistrements par seconde qu'un flux Firehose peut ingérer avant d'être limité. Statistiques : Minimum, Maximum, Moyenne, Somme, Exemples Unités : nombre |
ThrottledRecords |
Le nombre d'enregistrements qui ont été limités parce que l'ingestion de données a dépassé l'une des limites du flux Firehose. Statistiques : Minimum, Maximum, Moyenne, Somme, Exemples Unités : nombre |
Ingestion de données depuis MSK
| Métrique | Description |
|---|---|
DataReadFromSource.Records
|
Le nombre d'enregistrements lus à partir de la source Rubrique Kafka. Statistiques : Minimum, Maximum, Moyenne, Somme, Exemples Unités : nombre |
DataReadFromSource.Bytes
|
Le nombre d'octets lus à partir de la source Rubrique Kafka. Statistiques : Minimum, Maximum, Moyenne, Somme, Exemples Unités : octets |
SourceThrottled.Delay
|
La durée pendant laquelle le cluster Kafka source est retardé pour renvoyer les enregistrements depuis la source Rubrique Kafka. Statistiques : Minimum, Maximum, Moyenne, Exemples Unités : millisecondes |
BytesPerSecondLimit
|
Limite actuelle du débit auquel Firehose va lire chaque partition de la source Rubrique Kafka. Statistiques : Minimum, Maximum, Moyenne, Somme, Exemples Unités : Bytes/sec |
KafkaOffsetLag
|
Différence entre le plus grand décalage de l'enregistrement lu par Firehose à partir de la source Rubrique Kafka et le plus grand décalage de l'enregistrement disponible à partir de la source Rubrique Kafka. Statistiques : Minimum, Maximum, Moyenne, Somme, Exemples Unités : nombre |
FailedValidation.Records
|
Le nombre d'enregistrements dont la validation a échoué. Statistiques : Minimum, Maximum, Moyenne, Somme, Exemples Unités : nombre |
FailedValidation.Bytes
|
Le nombre d'octets dont la validation a échoué. Statistiques : Minimum, Maximum, Moyenne, Somme, Exemples Unités : octets |
DataReadFromSource.Backpressured
|
Indique qu'un flux Firehose est retardé dans la lecture des enregistrements depuis la partition source, soit parce que BytesPerSecondLimit chaque partition est dépassée, soit parce que le flux de distribution normal est lent ou s'est arrêté Unités : booléennes |
API-level CloudWatch métriques
L'espace de AWS/Firehose noms inclut les API-level métriques suivantes.
| Métrique | Description |
|---|---|
DescribeDeliveryStream.Latency |
Délai nécessaire par opération Statistiques : Minimum, Maximum, Moyenne, Exemples Unités : millisecondes |
DescribeDeliveryStream.Requests |
Nombre total de demandes Statistiques : Minimum, Maximum, Moyenne, Somme, Exemples Unités : nombre |
ListDeliveryStreams.Latency |
Délai nécessaire par opération Statistiques : Minimum, Maximum, Moyenne, Exemples Unités : millisecondes |
ListDeliveryStreams.Requests |
Nombre total de demandes Statistiques : Minimum, Maximum, Moyenne, Somme, Exemples Unités : nombre |
PutRecord.Bytes |
Le nombre d'octets utilisés par le flux Firehose Statistiques : Minimum, Maximum, Moyenne, Somme, Exemples Unités : octets |
PutRecord.Latency |
Délai nécessaire par opération Statistiques : Minimum, Maximum, Moyenne, Exemples Unités : millisecondes |
PutRecord.Requests |
Nombre total de demandes Statistiques : Minimum, Maximum, Moyenne, Somme, Exemples Unités : nombre |
PutRecordBatch.Bytes |
Le nombre d'octets utilisés par le flux Firehose Statistiques : Minimum, Maximum, Moyenne, Somme, Exemples Unités : octets |
PutRecordBatch.Latency |
Délai nécessaire par opération Statistiques : Minimum, Maximum, Moyenne, Exemples Unités : millisecondes |
PutRecordBatch.Records |
Nombre total d'enregistrements issus des opérations Statistiques : Minimum, Maximum, Moyenne, Somme, Exemples Unités : nombre |
PutRecordBatch.Requests |
Nombre total de demandes Statistiques : Minimum, Maximum, Moyenne, Somme, Exemples Unités : nombre |
PutRequestsPerSecondLimit |
Le nombre maximum de requêtes de vente par seconde qu'un flux Firehose peut gérer avant d'être limité. Ce numéro inclut toutes PutRecord les PutRecordBatch demandes. Statistiques : Minimum, Maximum, Moyenne, Somme, Exemples Unités : nombre |
ThrottledDescribeStream |
Nombre total de fois où l'opération Statistiques : Minimum, Maximum, Moyenne, Somme, Exemples Unités : nombre |
ThrottledGetRecords |
Nombre total de fois où l'opération Statistiques : Minimum, Maximum, Moyenne, Somme, Exemples Unités : nombre |
ThrottledGetShardIterator |
Nombre total de fois où l'opération Statistiques : Minimum, Maximum, Moyenne, Somme, Exemples Unités : nombre |
UpdateDeliveryStream.Latency |
Délai nécessaire par opération Statistiques : Minimum, Maximum, Moyenne, Exemples Unités : millisecondes |
UpdateDeliveryStream.Requests |
Nombre total de demandes Statistiques : Minimum, Maximum, Moyenne, Somme, Exemples Unités : nombre |
CloudWatch Métriques de transformation des données
Si la transformation des données avec Lambda est activée, l'espace de noms AWS/Firehose inclut les métriques suivantes.
| Métrique | Description |
|---|---|
ExecuteProcessing.Duration |
Le temps nécessaire pour chaque appel de fonction Lambda effectué par Firehose. Unités : millisecondes |
ExecuteProcessing.Success |
La somme des invocations de fonction Lambda réussies sur la somme du total des invocations de fonction Lambda. |
SucceedProcessing.Records |
Le nombre d'enregistrements traités avec succès au cours de la période spécifiée. Unités : nombre |
SucceedProcessing.Bytes |
Le nombre d'octets traités avec succès au cours de la période spécifiée. Unités : octets |
CloudWatch Métriques de décompression des journaux
Si la décompression est activée pour la diffusion CloudWatch des journaux, l'AWS/Firehoseespace de noms inclut les mesures suivantes.
| Métrique | Description |
|---|---|
OutputDecompressedBytes.Success |
Données décompressées réussies en octets Statistiques : Minimum, Maximum, Moyenne, Somme, Exemples Unités : octets |
OutputDecompressedBytes.Failed |
Échec de la décompression des données en octets Statistiques : Minimum, Maximum, Moyenne, Somme, Exemples Unités : octets |
OutputDecompressedRecords.Success |
Nombre d'enregistrements décompressés avec succès Statistiques : Minimum, Maximum, Moyenne, Somme, Exemples Unités : nombre |
OutputDecompressedRecords.Failed |
Nombre d'enregistrements décompressés ayant échoué Statistiques : Minimum, Maximum, Moyenne, Somme, Exemples Unités : nombre |
CloudWatch Métriques de conversion de formats
Si la conversion de format est activée, l'espace de noms AWS/Firehose inclut les métriques suivantes.
| Métrique | Description |
|---|---|
SucceedConversion.Records |
Nombre d'enregistrements convertis avec succès. Unités : nombre |
SucceedConversion.Bytes |
Taille des enregistrements convertis avec succès. Unités : octets |
FailedConversion.Records |
Nombre d'enregistrements qui n'ont pas pu être convertis. Unités : nombre |
FailedConversion.Bytes |
Taille des enregistrements qui n'ont pas pu être convertis. Unités : octets |
Server-Side CloudWatch Métriques de chiffrement (SSE)
L'espace de noms AWS/Firehose inclut les métriques suivantes liées à SSE.
| Métrique | Description |
|---|---|
KMSKeyAccessDenied |
Le nombre de fois que le service rencontre un Statistiques : Minimum, Maximum, Moyenne, Somme, Exemples Unités : nombre |
KMSKeyDisabled |
Le nombre de fois que le service rencontre un Statistiques : Minimum, Maximum, Moyenne, Somme, Exemples Unités : nombre |
KMSKeyInvalidState |
Le nombre de fois que le service rencontre un Statistiques : Minimum, Maximum, Moyenne, Somme, Exemples Unités : nombre |
KMSKeyNotFound |
Le nombre de fois que le service rencontre un Statistiques : Minimum, Maximum, Moyenne, Somme, Exemples Unités : nombre |
Dimensions pour Amazon Data Firehose
Pour filtrer les métriques par flux Firehose, utilisez la DeliveryStreamName dimension.
Statistiques d'utilisation d'Amazon Data Firehose
Vous pouvez utiliser des statistiques CloudWatch d'utilisation pour fournir une visibilité sur l'utilisation des ressources par votre compte. Utilisez ces statistiques pour visualiser votre utilisation actuelle des services sur CloudWatch des graphiques et des tableaux de bord.
Les mesures d'utilisation des quotas de service se trouvent dans l'espace de noms AWS/Usage et sont collectées toutes les trois minutes.
Actuellement, le seul nom de métrique publié dans cet espace de noms CloudWatch estResourceCount. Cette métrique est publiée avec les dimensions Service, Class, Type et Resource.
| Métrique | Description |
|---|---|
ResourceCount |
Nombre des ressources spécifiées exécutées dans votre compte. Les ressources sont définies par les dimensions associées à la métrique. La statistique la plus utile pour cette métrique est MAXIMUM, qui représente le nombre maximum de ressources utilisées pendant une période de 3 minutes. |
Les dimensions suivantes sont utilisées pour affiner les mesures d'utilisation publiées par Amazon Data Firehose.
| Dimension | Description |
|---|---|
Service |
Le nom du AWS service contenant la ressource. Pour les statistiques d'utilisation d'Amazon Data Firehose, la valeur de cette dimension est |
Class |
Classe de ressource suivie. Les mesures d'utilisation de l'API Amazon Data Firehose utilisent cette dimension avec une valeur de |
Type |
Type de ressource suivi. Actuellement, lorsque la dimension Service est |
Resource |
Le nom de la AWS ressource. Actuellement, lorsque la dimension Service est |
