Déclarations de sources - Amazon Kinesis Agent pour les instances Microsoft Windows

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Déclarations de sources

Dans Amazon Kinesis Agent pour Microsoft Windows,Déclarations de sourcesDécrire l'emplacement et la nature des données de journaux, d'événements et de métriques qui doivent être collectées. Elles spécifient également, le cas échéant, des informations destinées à l'analyse des données afin que ces dernières puissent être transformées. Les sections suivantes décrivent les configurations des types de sources intégrés qui sont disponibles dans Kinesis Agent pour Windows. Étant donné que l'Agent Kinesis pour Windows est extensible, vous pouvez ajouter des types de sources personnalisés. Chaque type de source nécessite généralement des paires clé-valeur spécifiques dans les objets de configuration qui sont pertinents pour ce type de source.

Toutes les déclarations de sources doivent contenir au moins les paires clé-valeur suivantes :

Id

Chaîne unique qui identifie un objet source particulier dans le fichier de configuration.

SourceType

Nom du type de source pour cet objet source. Le type de source spécifie l'origine des données de journal, d'événement ou de métrique qui sont collectées par cet objet source. Il détermine également les autres aspects de la source pouvant être déclarés.

Pour obtenir des exemples de fichiers de configuration complets utilisant différents types de déclarations de sources, consultez Diffusion à partir de diverses sources vers les Kinesis Data Streams.

Configuration de DirectorySource

Overview

Le type de source DirectorySource recueille les journaux des fichiers qui sont stockés dans le répertoire spécifié. Étant donné que les fichiers journaux ont de nombreux formats différents, la déclaration DirectorySource vous permet de spécifier le format des données dans le fichier journal. Vous pouvez ensuite transformer le contenu du journal dans un format standard tel que JSON ou XML avant de le diffuser vers différents services AWS.

Voici un exemple de déclaration DirectorySource :

{ "Id": "myLog", "SourceType": "DirectorySource", "Directory": "C:\\Program Data\\MyCompany\\MyService\\logs", "FileNameFilter": "*.log", "IncludeSubdirectories": true, "IncludeDirectoryFilter": "cpu\\cpu-1;cpu\\cpu-2;load;memory", "RecordParser": "Timestamp", "TimestampFormat": "yyyy-MM-dd HH:mm:ss.ffff", "Pattern": "\\d{4}-\\d{2}-\\d(2}", "ExtractionPattern": "", "TimeZoneKind": "UTC", "SkipLines": 0, "Encoding": "utf-16", "ExtractionRegexOptions": "Multiline" }

Toutes les déclarations DirectorySource peuvent fournir les paires clé-valeur suivantes :

SourceType

Doit avoir pour valeur la chaîne littérale "DirectorySource" (obligatoire).

Directory

Chemin du répertoire contenant les fichiers journaux (obligatoire).

FileNameFilter

Limite le cas échéant l'ensemble de fichiers dans le répertoire dans lequel les données de journal sont collectées sur la base d'un modèle d'attribution de noms de fichiers contenant des caractères génériques. Si vous disposez de plusieurs modèles de nom de fichier journal, cette fonctionnalité vous permet d'utiliser unDirectorySource, comme illustré dans l'exemple suivant.

FileNameFilter: "*.log|*.txt"

Les administrateurs système compressent parfois les fichiers journaux avant de les archiver. Si vous spécifiez"*.*"inFileNameFilter, les fichiers compressés connus sont désormais exclus. Cette fonctionnalité empêche.zip,.gz, et.bz2d'être diffusés accidentellement. Si cette paire clé-valeur n'est pas spécifiée, les données de tous les fichiers du répertoire sont collectées par défaut.

IncludeSubdirectories

Spécifie de surveiller les sous-répertoires à une profondeur arbitraire limitée par le système d'exploitation. Cette fonctionnalité est utile pour surveiller les serveurs Web avec plusieurs sites Web. Vous pouvez également utiliser l'IncludeDirectoryFilterpour surveiller uniquement certains sous-répertoires spécifiés dans le filtre.

RecordParser

Spécifie la façon dont le type de source DirectorySource doit analyser les fichiers journaux qui se trouvent dans le répertoire spécifié. Cette paire clé-valeur est obligatoire et les valeurs valides sont les suivantes :

  • SingleLine— Chaque ligne du fichier journal est un enregistrement de journal.

  • SingleLineJson— Chaque ligne du fichier journal est un enregistrement de journal au format JSON. Cet analyseur est utile lorsque vous souhaitez ajouter des paires clé-valeur supplémentaires au JSON à l'aide d'un élément ObjectDecoration. Pour plus d'informations, consultez Configuration des décorations de récepteurs. Pour obtenir un exemple utilisant l'analyseur d'enregistrements SingleLineJson, consultez Didacticiel : Diffuser les fichiers journaux JSON vers Amazon S3 à l'aide de Kinesis Agent pour Windows.

  • Timestamp— Une ou plusieurs lignes peuvent inclure un enregistrement de journal. L'enregistrement de journal commence par un horodatage. Cette option requiert la spécification de la paire clé-valeur TimestampFormat.

  • Regex— Chaque enregistrement commence par du texte qui correspond à une expression régulière particulière. Cette option requiert la spécification de la paire clé-valeur Pattern.

  • SysLog— Indique que que le fichier journal est écrit dans l'syslogformat standard. Le fichier journal est analysé dans les enregistrements en fonction de cette spécification.

  • Delimited— Version plus simple de l'analyseur d'enregistrements Regex dans laquelle les éléments de données des enregistrements de journaux sont séparés par un délimiteur cohérent. Cette option est plus facile à utiliser et s'exécute plus rapidement que l'analyseur Regex. Il est préférable de l'utiliser lorsqu'elle est disponible. Lorsque vous utilisez cette option, vous devez spécifier la paire clé-valeur Delimiter.

TimestampField

Spécifie le champ JSON qui contient l'horodatage de l'enregistrement. Est uniquement utilisé avec l'élément RecordParser SingleLineJson. La paire clé-valeur est facultative. Si cet élément n'est pas spécifié, Kinesis Agent pour Windows utilise l'heure à laquelle l'enregistrement a été lu comme horodatage. La spécification de cette paire clé-valeur permet à de générer Kinesis de latence plus précises.

TimestampFormat

Spécifie comment analyser la date et l'heure associées à l'enregistrement. La valeur est la chaîne epoch ou une chaîne de format date/heure .NET. Si la valeur est epoch, l'heure est analysée en fonction de l'heure UNIX Epoch. Pour plus d'informations sur l'heure UNIX Epoch, consultez Heure UNIX. Pour plus d'informations sur les chaînes de format date/heure .NET, consultezChaînes de format de date et d'heure personnaliséesdans la documentation Microsoft .NET). Cette paire clé-valeur est uniquement obligatoire si l'analyseur d'enregistrements Timestamp est spécifié ou si l'analyseur d'enregistrements SingleLineJson est spécifié en même temps que la paire clé-valeur TimestampField.

Pattern

Spécifie une expression régulière qui doit correspondre à la première ligne d'un enregistrement comportant potentiellement plusieurs lignes. Cette paire clé-valeur est uniquement obligatoire pour l'analyseur d'enregistrements Regex.

ExtractionPattern

Spécifie une expression régulière qui doit utiliser des groupes nommés. L'enregistrement est analysé à l'aide de cette expression régulière et les groupes nommés forment les champs de l'enregistrement analysé. Ces champs sont ensuite utilisés comme base pour construire des objets ou des documents JSON ou XML qui sont ensuite diffusés par les récepteurs vers différents services AWS. Cette paire clé-valeur est facultative et est disponible avec l'Regexanalyseur d'enregistrement et l'analyseur d'horodatage.

Le nom de groupe Timestamp fait l'objet d'un traitement spécial, car il indique à l'analyseur Regex le champ qui contient la date et l'heure de chaque enregistrement dans chaque fichier journal.

Delimiter

Spécifie le caractère ou la chaîne qui sépare chaque élément de chaque enregistrement de journal. Cette paire clé-valeur doit être (et peut uniquement être) utilisée avec l'analyseur d'enregistrements Delimited. Utilisez la séquence de deux caractères \t pour représenter le caractère de tabulation.

HeaderPattern

Spécifie une expression régulière correspondant à la ligne du fichier journal qui contient l'ensemble des en-têtes de l'enregistrement. Si le fichier journal ne contient aucune information d'en-tête, utilisez la paire clé-valeur Headers pour spécifier les en-têtes implicites. La paire clé-valeur HeaderPattern est facultative et est uniquement valide pour l'analyseur d'enregistrements Delimited.

Note

Une entrée d'en-tête vide (longueur 0) pour une colonne provoque le filtrage des données de cette colonne dans la sortie finale de la sortie analysée DirectorySource.

Headers

Spécifie les noms des colonnes de données analysées à l'aide du délimiteur spécifié. Cette paire clé-valeur est facultative et est uniquement valide pour l'analyseur d'enregistrements Delimited.

Note

Une entrée d'en-tête vide (longueur 0) pour une colonne provoque le filtrage des données de cette colonne dans la sortie finale de la sortie analysée DirectorySource.

RecordPattern

Spécifie une expression régulière qui identifie les lignes du fichier journal contenant des données d'enregistrement. En dehors de la ligne d'en-tête facultative identifiée par HeaderPattern, les lignes qui ne correspondent pas à l'élément RecordPattern spécifié sont ignorées pendant le traitement. Cette paire clé-valeur est facultative et est uniquement valide pour l'analyseur d'enregistrements Delimited. Si cet élément n'est pas fourni, par défaut, toute ligne qui ne correspond pas à l'élément facultatif HeaderPattern ou CommentPattern est considérée comme une ligne contenant des données d'enregistrement analysables.

CommentPattern

Spécifie une expression régulière qui identifie les lignes du fichier journal devant être exclues avant l'analyse des données du fichier journal. Cette paire clé-valeur est facultative et est uniquement valide pour l'analyseur d'enregistrements Delimited. Si cet élément n'est pas fourni, par défaut, toute ligne qui ne correspond pas à l'élément facultatif HeaderPattern est considérée comme une ligne contenant des données d'enregistrement analysables, sauf si RecordPattern est spécifié.

TimeZoneKind

Indique si l'horodatage dans le fichier journal doit être considéré dans le fuseau horaire local ou dans le fuseau horaire en temps universel coordonné (UTC). Cette option est facultative et a pour valeur par défaut l'heure UTC. Les seules valeurs valides pour cette paire clé-valeur sont Local ou UTC. L'horodatage n'est jamais modifié si TimeZoneKind n'est pas spécifié ou si la valeur est UTC. L'horodatage est converti en UTC lorsque le paramètreTimeZoneKindValeur estLocalet que le récepteur recevant l'horodatage est CloudWatch Logs ou que l'enregistrement analysé est envoyé à d'autres récepteurs. Les dates et heures qui sont intégrées dans les messages ne sont pas converties.

SkipLines

Lorsque cet élément est spécifié, il contrôle le nombre de lignes ignorées au début de chaque fichier journal avant l'exécution de l'analyse des enregistrements. Cet élément est facultatif et sa valeur par défaut est 0.

Encodage

Par défaut, Kinesis Agent pour Windows peut détecter automatiquement l'encodage à partir du signet d'octème. Cependant, l'encodage automatique peut ne pas fonctionner correctement sur certains formats Unicode plus anciens. L'exemple suivant spécifie le codage requis pour diffuser un journal Microsoft SQL Server.

"Encoding": "utf-16"

Pour obtenir la liste des noms d'encodages, consultezListe des encodagesdans la documentation Microsoft .NET.

ExtractionRegexOptions

Vous pouvez utiliserExtractionRegexOptionsPour simplifier les expressions régulières. La paire clé-valeur est facultative. La valeur par défaut est "None".

L'exemple suivant spécifie que l'"."correspond à n'importe quel caractère, y compris\r\n.

"ExtractionRegexOptions" = "Multiline"

Pour obtenir la liste des champs possibles pour ExtractionRegexOptions, consultez l'Énumération RegexOptionsdans la documentation Microsoft .NET.

Analyseur d'enregistrements Regex

Vous pouvez analyser les journaux de texte non structuré à l'aide de l'analyseur d'enregistrements Regex, ainsi qu'avec les paires clé-valeur TimestampFormat, Pattern et ExtractionPattern. Par exemple, supposons que votre fichier journal ressemble à ce qui suit :

[FATAL][2017/05/03 21:31:00.534][0x00003ca8][0000059c][][ActivationSubSystem][GetActivationForSystemID][0] 'ActivationException.File: EQCASLicensingSubSystem.cpp' [FATAL][2017/05/03 21:31:00.535][0x00003ca8][0000059c][][ActivationSubSystem][GetActivationForSystemID][0] 'ActivationException.Line: 3999'

Vous pouvez spécifier l'expression régulière suivante pour la paire clé-valeur Pattern afin de faciliter la décomposition du fichier journal en enregistrements de journaux individuels :

^\[\w+\]\[(?<TimeStamp>\d{4}/\d{2}/\d{2} \d{2}:\d{2}:\d{2}\.\d{3})\]

Cette expression régulière correspond à la séquence suivante :

  1. Début de la chaîne évaluée

  2. Un ou plusieurs caractères alphabétiques entre crochets

  3. Horodatage entre crochets L'horodatage correspond à la séquence suivante :

    1. Année sur quatre chiffres

    2. Barre oblique

    3. Mois sur deux chiffres

    4. Barre oblique

    5. Jour sur deux chiffres

    6. Caractère espace

    7. Heures sur deux chiffres

    8. Deux-points

    9. Minutes sur deux chiffres

    10. Deux-points

    11. Secondes sur deux chiffres

    12. Point

    13. Millisecondes sur trois chiffres

Vous pouvez spécifier le format suivant pour la paire clé-valeur TimestampFormatafin de convertir l'horodatage textuel en date et heure :

yyyy/MM/dd HH:mm:ss.fff

Vous pouvez utiliser l'expression régulière suivante pour extraire les champs de l'enregistrement de journal via la paire clé-valeur ExtractionPattern.

^\[(?<Severity>\w+)\]\[(?<TimeStamp>\d{4}/\d{2}/\d{2} \d{2}:\d{2}:\d{2}\.\d{3})\]\[[^]]*\]\[[^]]*\]\[[^]]*\]\[(?<SubSystem>\w+)\]\[(?<Module>\w+)\]\[[^]]*\] '(?<Message>.*)'$

Cette expression régulière correspond aux groupes suivants en séquence :

  1. Severity— Un ou plusieurs caractères alphabétiques entre crochets.

  2. TimeStamp— Consultez la description précédente pour l'horodatage.

  3. Trois séquences anonymes de zéro ou plusieurs caractères entre crochets sont ignorées.

  4. SubSystem— Un ou plusieurs caractères alphabétiques entre crochets.

  5. Module— Un ou plusieurs caractères alphabétiques entre crochets.

  6. Une séquence anonyme de zéro ou plusieurs caractères entre crochets est ignorée.

  7. Un espace anonyme est ignoré.

  8. Message— Zéro ou plusieurs caractères entre guillemets simples.

La déclaration de sources suivante combine ces expressions régulières et le format de date/heure pour fournir à Kinesis Agent for Windows les instructions complètes d'analyse de ce type de fichier journal.

{ "Id": "PrintLog", "SourceType": "DirectorySource", "Directory": "C:\\temp\\PrintLogTest", "FileNameFilter": "*.log", "RecordParser": "Regex", "TimestampFormat": "yyyy/MM/dd HH:mm:ss.fff", "Pattern": "^\\[\\w+\\]\\[(?<TimeStamp>\\d{4}/\\d{2}/\\d{2} \\d{2}:\\d{2}:\\d{2}\\.\\d{3})\\]", "ExtractionPattern": "^\\[(?<Severity>\\w+)\\]\\[(?<TimeStamp>\\d{4}/\\d{2}/\\d{2} \\d{2}:\\d{2}:\\d{2}\\.\\d{3})\\]\\[[^]]*\\]\\[[^]]*\\]\\[[^]]*\\]\\[(?<SubSystem>\\w+)\\]\\[(?<Module>\\w+)\\]\\[[^]]*\\] '(?<Message>.*)'$", "TimeZoneKind": "UTC" }
Note

Les barres obliques inverses dans les fichiers au format JSON doivent être placés dans une séquence d'échappement avec une barre oblique inverse supplémentaire.

Pour plus d'informations sur les expressions régulières, consultez Langage des expressions régulières - Aide-mémoire dans la documentation Microsoft .NET.

Analyseur d'enregistrements Delimited

Vous pouvez utiliser l'analyseur d'enregistrements Delimited pour analyser des fichiers journaux et des fichiers de données semi-structurés dans lesquels il y a une séquence de caractères constante séparant chaque colonne de données dans chaque ligne de données. Par exemple, les fichiers CSV, utilisent une virgule pour séparer chaque colonne de données et les fichiers TSV utilisent une tabulation.

Supposons que vous souhaitiez analyser un fichier journal Microsoft NPS Database Format généré par un serveur de stratégies réseau. Ce type de fichier peut se présenter comme suit :

"NPS-MASTER","IAS",03/22/2018,23:07:55,1,"user1","Domain1\user1",,,,,,,,0,"192.168.86.137","Nate - Test 1",,,,,,,1,,0,"311 1 192.168.0.213 03/15/2018 08:14:29 1",,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,"Use Windows authentication for all users",1,,,, "NPS-MASTER","IAS",03/22/2018,23:07:55,3,,"Domain1\user1",,,,,,,,0,"192.168.86.137","Nate - Test 1",,,,,,,1,,16,"311 1 192.168.0.213 03/15/2018 08:14:29 1",,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,"Use Windows authentication for all users",1,,,,

L'exemple de fichier de configuration appsettings.json suivant comprend une déclaration DirectorySource qui utilise l'analyseur d'enregistrements Delimited pour analyser ce texte dans une représentation d'objet. Ensuite, il diffuse des données au format JSON vers Kinesis Data Firehose :

{ "Sources": [ { "Id": "NPS", "SourceType": "DirectorySource", "Directory": "C:\\temp\\NPS", "FileNameFilter": "*.log", "RecordParser": "Delimited", "Delimiter": ",", "Headers": "ComputerName,ServiceName,Record-Date,Record-Time,Packet-Type,User-Name,Fully-Qualified-Distinguished-Name,Called-Station-ID,Calling-Station-ID,Callback-Number,Framed-IP-Address,NAS-Identifier,NAS-IP-Address,NAS-Port,Client-Vendor,Client-IP-Address,Client-Friendly-Name,Event-Timestamp,Port-Limit,NAS-Port-Type,Connect-Info,Framed-Protocol,Service-Type,Authentication-Type,Policy-Name,Reason-Code,Class,Session-Timeout,Idle-Timeout,Termination-Action,EAP-Friendly-Name,Acct-Status-Type,Acct-Delay-Time,Acct-Input-Octets,Acct-Output-Octets,Acct-Session-Id,Acct-Authentic,Acct-Session-Time,Acct-Input-Packets,Acct-Output-Packets,Acct-Terminate-Cause,Acct-Multi-Ssn-ID,Acct-Link-Count,Acct-Interim-Interval,Tunnel-Type,Tunnel-Medium-Type,Tunnel-Client-Endpt,Tunnel-Server-Endpt,Acct-Tunnel-Conn,Tunnel-Pvt-Group-ID,Tunnel-Assignment-ID,Tunnel-Preference,MS-Acct-Auth-Type,MS-Acct-EAP-Type,MS-RAS-Version,MS-RAS-Vendor,MS-CHAP-Error,MS-CHAP-Domain,MS-MPPE-Encryption-Types,MS-MPPE-Encryption-Policy,Proxy-Policy-Name,Provider-Type,Provider-Name,Remote-Server-Address,MS-RAS-Client-Name,MS-RAS-Client-Version", "TimestampField": "{Record-Date} {Record-Time}", "TimestampFormat": "MM/dd/yyyy HH:mm:ss" } ], "Sinks": [ { "Id": "npslogtest", "SinkType": "KinesisFirehose", "Region": "us-west-2", "StreamName": "npslogtest", "Format": "json" } ], "Pipes": [ { "Id": "W3SVCLog1ToKinesisStream", "SourceRef": "NPS", "SinkRef": "npslogtest" } ] }

Les données au format JSON diffusées vers Kinesis Data Firehose se présentent comme suit :

{ "ComputerName": "NPS-MASTER", "ServiceName": "IAS", "Record-Date": "03/22/2018", "Record-Time": "23:07:55", "Packet-Type": "1", "User-Name": "user1", "Fully-Qualified-Distinguished-Name": "Domain1\\user1", "Called-Station-ID": "", "Calling-Station-ID": "", "Callback-Number": "", "Framed-IP-Address": "", "NAS-Identifier": "", "NAS-IP-Address": "", "NAS-Port": "", "Client-Vendor": "0", "Client-IP-Address": "192.168.86.137", "Client-Friendly-Name": "Nate - Test 1", "Event-Timestamp": "", "Port-Limit": "", "NAS-Port-Type": "", "Connect-Info": "", "Framed-Protocol": "", "Service-Type": "", "Authentication-Type": "1", "Policy-Name": "", "Reason-Code": "0", "Class": "311 1 192.168.0.213 03/15/2018 08:14:29 1", "Session-Timeout": "", "Idle-Timeout": "", "Termination-Action": "", "EAP-Friendly-Name": "", "Acct-Status-Type": "", "Acct-Delay-Time": "", "Acct-Input-Octets": "", "Acct-Output-Octets": "", "Acct-Session-Id": "", "Acct-Authentic": "", "Acct-Session-Time": "", "Acct-Input-Packets": "", "Acct-Output-Packets": "", "Acct-Terminate-Cause": "", "Acct-Multi-Ssn-ID": "", "Acct-Link-Count": "", "Acct-Interim-Interval": "", "Tunnel-Type": "", "Tunnel-Medium-Type": "", "Tunnel-Client-Endpt": "", "Tunnel-Server-Endpt": "", "Acct-Tunnel-Conn": "", "Tunnel-Pvt-Group-ID": "", "Tunnel-Assignment-ID": "", "Tunnel-Preference": "", "MS-Acct-Auth-Type": "", "MS-Acct-EAP-Type": "", "MS-RAS-Version": "", "MS-RAS-Vendor": "", "MS-CHAP-Error": "", "MS-CHAP-Domain": "", "MS-MPPE-Encryption-Types": "", "MS-MPPE-Encryption-Policy": "", "Proxy-Policy-Name": "Use Windows authentication for all users", "Provider-Type": "1", "Provider-Name": "", "Remote-Server-Address": "", "MS-RAS-Client-Name": "", "MS-RAS-Client-Version": "" }

Analyseur d'enregistrements SysLog

Pour l'analyseur d'enregistrements SysLog, la sortie analysée à partir de la source inclut les informations suivantes :

Attribut Type Description
SysLogTimeStamp Chaîne Date et heure d'origine du fichier journal au format syslog.
Hostname Chaîne Nom de l'ordinateur sur lequel le fichier journal au format syslog réside.
Program Chaîne Nom de l'application ou du service qui a généré le fichier journal.
Message Chaîne Message de journal généré par l'application ou le service.
TimeStamp Chaîne Date et heure d'analyse au format ISO 8601.

Vous trouverez ci-dessous un exemple de données SysLog transformées en JSON :

{ "SysLogTimeStamp": "Jun 18 01:34:56", "Hostname": "myhost1.example.mydomain.com", "Program": "mymailservice:", "Message": "Info: ICID 123456789 close", "TimeStamp": "2017-06-18T01:34.56.000" }

Summary

Voici un récapitulatif des paires clé-valeur disponibles pour la source DirectorySource et les éléments RecordParser associés à ces paires clé-valeur.

Nom de clé RecordParser Remarques
SourceType Obligatoire pour tous Doit avoir la valeur DirectorySource
Directory Obligatoire pour tous
FileNameFilter Facultatif pour tous
RecordParser Obligatoire pour tous
TimestampField Facultatif pour SingleLineJson
TimestampFormat Obligatoire pour Timestamp et obligatoire pour SingleLineJson si TimestampField est spécifié
Pattern Obligatoire pour Regex
ExtractionPattern Facultatif pour Regex Obligatoire pour le xml si le récepteur spécifie le format json ou Regex
Delimiter Obligatoire pour Delimited
HeaderPattern Facultatif pour Delimited
Headers Facultatif pour Delimited
RecordPattern Facultatif pour Delimited
CommentPattern Facultatif pour Delimited
TimeZoneKind Facultatif pour Regex, Timestamp, SysLog et SingleLineJson quand un champ d'horodatage est identifié
SkipLines Facultatif pour tous

Configuration de ExchangeLogSource

Le type ExchangeLogSource est utilisé pour collecter les journaux à partir de Microsoft Exchange. Exchange génère des journaux dans différents types de formats. Ce type de source peut tous les analyser. Bien qu'il soit possible de les analyser en utilisant le type DirectorySource avec l'analyseur d'enregistrements Regex, il est beaucoup plus simple d'utiliser ExchangeLogSource. En effet, vous n'avez pas besoin de concevoir et de fournir des expressions régulières pour les formats de fichier journal. Voici un exemple de déclaration ExchangeLogSource :

{ "Id": "MyExchangeLog", "SourceType": "ExchangeLogSource", "Directory": "C:\\temp\\ExchangeLogTest", "FileNameFilter": "*.log" }

Toutes les déclarations Exchange peuvent fournir les paires clé-valeur suivantes :

SourceType

Doit avoir pour valeur la chaîne littérale "ExchangeLogSource" (obligatoire).

Directory

Chemin du répertoire contenant les fichiers journaux (obligatoire).

FileNameFilter

Limite le cas échéant l'ensemble de fichiers dans le répertoire dans lequel les données de journal sont collectées sur la base d'un modèle d'attribution de noms de fichiers contenant des caractères génériques. Si cette paire clé-valeur n'est pas spécifiée, par défaut, les données de journal de tous les fichiers du répertoire sont collectées.

TimestampField

Nom de la colonne contenant la date et l'heure de l'enregistrement. Cette paire clé-valeur est facultative et n'a pas besoin d'être spécifiée si le nom du champ est date-time ou DateTime. Sinon, elle est obligatoire.

Configuration de W3SVCLogSource

Le type W3SVCLogSource est utilisé pour collecter les journaux provenant d'Internet Information Services (IIS) pour Windows.

Voici un exemple de déclaration W3SVCLogSource :

{ "Id": "MyW3SVCLog", "SourceType": "W3SVCLogSource", "Directory": "C:\\inetpub\\logs\\LogFiles\\W3SVC1", "FileNameFilter": "*.log" }

Toutes les déclarations W3SVCLogSource peuvent fournir les paires clé-valeur suivantes :

SourceType

Doit avoir pour valeur la chaîne littérale "W3SVCLogSource" (obligatoire).

Directory

Chemin du répertoire contenant les fichiers journaux (obligatoire).

FileNameFilter

Limite le cas échéant l'ensemble de fichiers dans le répertoire dans lequel les données de journal sont collectées sur la base d'un modèle d'attribution de noms de fichiers contenant des caractères génériques. Si cette paire clé-valeur n'est pas spécifiée, par défaut, les données de journal de tous les fichiers du répertoire sont collectées.

Configuration de UlsSource

Le type UlsSource est utilisé pour collecter les journaux à partir de Microsoft SharePoint. Voici un exemple de déclaration UlsSource :

{ "Id": "UlsSource", "SourceType": "UlsSource", "Directory": "C:\\temp\\uls", "FileNameFilter": "*.log" }

Toutes les déclarations UlsSource peuvent fournir les paires clé-valeur suivantes :

SourceType

Doit avoir pour valeur la chaîne littérale "UlsSource" (obligatoire).

Directory

Chemin du répertoire contenant les fichiers journaux (obligatoire).

FileNameFilter

Limite le cas échéant l'ensemble de fichiers dans le répertoire dans lequel les données de journal sont collectées sur la base d'un modèle d'attribution de noms de fichiers contenant des caractères génériques. Si cette paire clé-valeur n'est pas spécifiée, par défaut, les données de journal de tous les fichiers du répertoire sont collectées.

Configuration de WindowsEventLogSource

Le type WindowsEventLogSource est utilisé pour collecter des événements à partir du service de journal des événements Windows. Voici un exemple de déclaration WindowsEventLogSource :

{ "Id": "mySecurityLog", "SourceType": "WindowsEventLogSource", "LogName": "Security" }

Toutes les déclarations WindowsEventLogSource peuvent fournir les paires clé-valeur suivantes :

SourceType

Doit avoir pour valeur la chaîne littérale "WindowsEventLogSource" (obligatoire).

LogName

Les événements sont collectés à partir du journal spécifié. Les valeurs courantes incluent Application, Security et System, mais vous pouvez spécifier n'importe quel nom de journal d'événements Windows valide. Cette paire clé-valeur est requise.

Query

(Facultatif) Limite les événements en sortie à partir de WindowsEventLogSource. Si cette paire clé-valeur n'est pas spécifiée, par défaut, tous les événements sont générés en sortie. Pour plus d'informations sur la syntaxe de cette valeur, consultez Event Queries et Event XML dans la documentation Windows. Pour plus d'informations sur les définitions de niveau de journalisation, consultez Event Types dans la documentation Windows.

IncludeEventData

(Facultatif) Active la collecte et la diffusion des données d'événements spécifiques au fournisseur associées à des événements provenant du journal des événements Windows spécifié lorsque la valeur de cette paire clé-valeur est "true". Seules les données d'événement qui peuvent être sérialisées avec succès sont incluses. Cette paire clé-valeur est facultative et, si elle n'est pas spécifiée, les données d'événement spécifiques au fournisseur ne sont pas collectées.

Note

L'inclusion des données d'événement peut augmenter de manière significative la quantité de données diffusées à partir de cette source. La taille maximale d'un événement peut être de 262 143 octets en incluant les données d'événement.

La sortie analysée à partir de WindowsEventLogSource contient les informations suivantes :

Attribut Type Description
EventId Int Identifiant du type d'événement.
Description Chaîne Texte qui décrit les détails de l'événement.
LevelDisplayName Chaîne Catégorie d'événement (Erreur, Avertissement, Information, Audit réussi, Échec de l'audit).
LogName Chaîne Lieu d'enregistrement de l'événement (les valeurs courantes sont Application, Security et System, mais il existe de nombreuses possibilités).
MachineName Chaîne Ordinateur ayant enregistré l'événement.
ProviderName Chaîne Application ou service ayant enregistré l'événement.
TimeCreated Chaîne Moment où l'événement s'est produit au format ISO 8601.
Index Int Emplacement de l'entrée dans le journal.
UserName Chaîne Auteur de l'entrée s'il est connu.
Keywords Chaîne Type d'événement. Les valeurs standard incluent AuditFailure (événements d'audit de sécurité ayant échoué), AuditSuccess (événements d'audit de sécurité ayant réussi), Classic (événements déclenchés via la fonction RaiseEvent), Correlation Hint (événements de transfert), SQM (événements de mécanisme de qualité de service), WDI Context (événements de contexte de l'infrastructure de diagnostics Windows) et WDI Diag (événements de diagnostic de l'infrastructure de diagnostics Windows).
EventData Liste d'objets Données supplémentaires spécifiques au fournisseur et facultatives concernant l'événement de journal. Cet élément est uniquement inclus si la valeur de la paire clé-valeur IncludeEventData est "true".

Voici un exemple d'événement transformé au format JSON :

{[ "EventId": 7036, "Description": "The Amazon SSM Agent service entered the stopped state.", "LevelDisplayName": "Informational", "LogName": "System", "MachineName": "mymachine.mycompany.com", "ProviderName": "Service Control Manager", "TimeCreated": "2017-10-04T16:42:53.8921205Z", "Index": 462335, "UserName": null, "Keywords": "Classic", "EventData": [ "Amazon SSM Agent", "stopped", "rPctBAMZFhYubF8zVLcrBd3bTTcNzHvY5Jc2Br0aMrxxx==" ]}

Configuration de WindowsEventLogPollingSource

WindowsEventLogPollingSourceutilise un mécanisme basé sur l'interrogation pour rassembler tous les nouveaux événements du journal des événements qui correspondent aux paramètres configurés. L'intervalle d'interrogation est mis à jour dynamiquement entre 100 ms et 5000 ms en fonction du nombre d'événements recueillis lors du dernier sondage. Voici un exemple de déclaration WindowsEventLogPollingSource :

{ "Id": "MySecurityLog", "SourceType": "WindowsEventLogPollingSource", "LogName": "Security", "IncludeEventData": "true", "Query": "", "CustomFilters": "ExcludeOwnSecurityEvents" }

Toutes les déclarations WindowsEventLogPollingSource peuvent fournir les paires clé-valeur suivantes :

SourceType

Doit avoir pour valeur la chaîne littérale "WindowsEventLogPollingSource" (obligatoire).

LogName

Spécifie le journal. Les options valides sontApplication,Security,System, ou d'autres journaux valides.

IncludeEventData

Facultatif. Quandtrue, spécifie que EventData supplémentaires lorsqu'il est diffusé en format JSON et XML est inclus. La valeur par défaut est false.

Query

Facultatif. Les journaux d'événements Windows prennent en charge l'interrogation d'événements à l'aide d'expressions XPath, que vous pouvez spécifier en utilisantQuery. Pour de plus amples informations, veuillez consulterRequêtes d'événement et XML d'événementdans la documentation Microsoft.

CustomFilters

Facultatif. Liste des filtres séparés par un point-virgule (;). Les filtres suivants peuvent être spécifiés.

ExcludeOwnSecurityEvents

Exclut les événements de sécurité générés par Kinesis Agent pour Windows lui-même.

Configuration de WindowsETWEventSource

Le type WindowsETWEventSource est utilisé pour collecter des suivis d'événements d'application et de service à l'aide d'une fonctionnalité nommée Event Tracing for Windows (ETW). Pour plus d'informations, consultez Event tracing dans la documentation Windows.

Voici un exemple de déclaration WindowsETWEventSource :

{ "Id": "ClrETWEventSource", "SourceType": "WindowsETWEventSource", "ProviderName": "Microsoft-Windows-DotNETRuntime", "TraceLevel": "Verbose", "MatchAnyKeyword": 32768 }

Toutes les déclarations WindowsETWEventSource peuvent fournir les paires clé-valeur suivantes :

SourceType

Doit avoir pour valeur la chaîne littérale "WindowsETWEventSource" (obligatoire).

ProviderName

Spécifie le fournisseur d'événements à utiliser pour collecter les événements de suivi. Il doit s'agir d'un nom de fournisseur ETW valide pour un fournisseur installé. Pour déterminer quels sont les fournisseurs installés, exécutez la commande suivante dans une fenêtre d'invite de commande Windows :

logman query providers
TraceLevel

Spécifie les catégories d'événements de suivi qui doivent être collectées. Les valeurs autorisées incluent Critical, Error, Warning, Informational et Verbose. La signification exacte dépend du fournisseur ETW qui est sélectionné.

MatchAnyKeyword

Cette valeur est un nombre de 64 bits, dans lequel chaque bits représente un mot-clé. Chaque mot-clé décrit une catégorie d'événements à collecter. Pour connaître les mots-clés pris en charge et leurs valeurs, ainsi que leur lien avec TraceLevel, consultez la documentation de ce fournisseur. Par exemple, pour obtenir des informations sur le fournisseur ETW CLR, consultez Niveaux et mots clés ETW du CLR dans la documentation Microsoft .NET Framework.

Dans l'exemple précédent, 32768 (0x00008000) représente l'élément ExceptionKeyword du fournisseur ETW CLR qui demande au fournisseur de collecter des informations sur les exceptions déclenchées. Bien que le format JSON ne prenne pas en charge en mode natif les constantes hexadécimales, vous pouvez les spécifier pour MatchAnyKeyword en les plaçant dans une chaîne. Vous pouvez également spécifier plusieurs constantes séparées par des virgules. Par exemple, utilisez la commande suivante pour spécifier à la fois ExceptionKeyword et SecurityKeyword (0x00000400) :

{ "Id": "MyClrETWEventSource", "SourceType": "WindowsETWEventSource", "ProviderName": "Microsoft-Windows-DotNETRuntime", "TraceLevel": "Verbose", "MatchAnyKeyword": "0x00008000, 0x00000400" }

Pour assurer que tous les mots-clés spécifiés sont activés pour un fournisseur, plusieurs valeurs de mots-clés sont combinées en utilisant OR et transmises à ce fournisseur.

La sortie de l'élément WindowsETWEventSource contient les informations suivantes pour chaque événement :

Attribut Type Description
EventName Chaîne Type d'événement qui s'est produit.
ProviderName Chaîne Fournisseur ayant détecté l'événement.
FormattedMessage Chaîne Résumé textuel de l'événement.
ProcessID Int Processus ayant signalé l'événement.
ExecutingThreadID Int Thread du processus ayant signalé l'événement.
MachineName Chaîne Nom de l'ordinateur de bureau ou du serveur qui signale l'événement.
Payload Table de hachage Table avec une clé de type chaîne et n'importe quel type d'objet comme valeur. La clé est le nom de l'élément de charge utile et la valeur est la valeur de l'élément de charge utile. La charge utile dépend du fournisseur.

Voici un exemple d'événement transformé au format JSON :

{ "EventName": "Exception/Start", "ProviderName": "Microsoft-Windows-DotNETRuntime", "FormattedMessage": "ExceptionType=System.Exception;\r\nExceptionMessage=Intentionally unhandled exception.;\r\nExceptionEIP=0x2ab0499;\r\nExceptionHRESULT=-2,146,233,088;\r\nExceptionFlags=CLSCompliant;\r\nClrInstanceID=9 ", "ProcessID": 3328, "ExecutingThreadID": 6172, "MachineName": "MyHost.MyCompany.com", "Payload": { "ExceptionType": "System.Exception", "ExceptionMessage": "Intentionally unhandled exception.", "ExceptionEIP": 44762265, "ExceptionHRESULT": -2146233088, "ExceptionFlags": 16, "ClrInstanceID": 9 } }

Configuration de WindowsPerformanceCounterSource

Le type WindowsPerformanceCounterSource collecte les métriques de compteur de performances à partir de Windows. Voici un exemple de déclaration WindowsPerformanceCounterSource :

{ "Id": "MyPerformanceCounter", "SourceType": "WindowsPerformanceCounterSource", "Categories": [{ "Category": "Server", "Counters": ["Files Open", "Logon Total", "Logon/sec", "Pool Nonpaged Bytes"] }, { "Category": "System", "Counters": ["Processes", "Processor Queue Length", "System Up Time"] }, { "Category": "LogicalDisk", "Instances": "*", "Counters": [ "% Free Space", "Avg. Disk Queue Length", { "Counter": "Disk Reads/sec", "Unit": "Count/Second" }, "Disk Writes/sec" ] }, { "Category": "Network Adapter", "Instances": "^Local Area Connection\* \d$", "Counters": ["Bytes Received/sec", "Bytes Sent/sec"] } ] }

Toutes les déclarations WindowsPerformanceCounterSource peuvent fournir les paires clé-valeur suivantes :

SourceType

Doit avoir pour valeur la chaîne littérale "WindowsPerformanceCounterSource" (obligatoire).

Categories

Spécifie un ensemble de groupes de métriques de compteur de performances à collecter à partir de Windows. Chaque groupe de métriques contient les paires clé-valeur suivantes :

Category

Spécifie l'ensemble de métriques de compteur à collecter (obligatoire).

Instances

Spécifie l'ensemble d'objets d'intérêt lorsqu'il y a un ensemble unique de compteurs de performances par objet. Par exemple, lorsque la catégorie est LogicalDisk, il y a un ensemble de compteurs de performances par unité de disque. La paire clé-valeur est facultative. Vous pouvez utiliser les caractères génériques * et ? pour représenter plusieurs instances. Pour regrouper les valeurs de toutes les instances, spécifiez _Total.

Vous pouvez également utiliserInstanceRegex, qui accepte les expressions régulières qui contiennent le*caractère générique faisant partie du nom de l'instance.

Counters

Spécifie les métriques à collecter pour la catégorie spécifiée. Cette paire clé-valeur est requise. Vous pouvez utiliser les caractères génériques * et ? pour représenter plusieurs compteurs. Vous pouvez spécifier Counters en utilisant uniquement le nom ou en utilisant le nom et l'unité. Si les unités de compteur ne sont pas spécifiées, Kinesis Agent pour Windows tente de déduire les unités à partir du nom. Si ces conclusions sont incorrectes, l'unité peut être explicitement spécifiée. Vous pouvez modifier les noms Counter si vous le souhaitez. La représentation la plus complexe d'un compteur est un objet avec les paires clé-valeur suivantes :

Counter

Nom du compteur. Cette paire clé-valeur est requise.

Rename

Nom du compteur à présenter au récepteur. La paire clé-valeur est facultative.

Unit

Signification de la valeur qui est associée au compteur. Pour obtenir la liste complète des noms d'unité valides, consultez la documentation sur les unités dansMetricDatumdans leRéférence d'API Amazon CloudWatch.

Voici un exemple de spécification de compteur complexe :

{ "Counter": "Disk Reads/sec, "Rename": "Disk Reads per second", "Unit": "Count/Second" }

WindowsPerformanceCounterSourcepeut uniquement être utilisé avec un récepteur qui spécifie un récepteur Amazon CloudWatch. Utilisez un récepteur distinct si les métriques prédéfinies Kinesis Agent for Windows sont également diffusées vers CloudWatch. Examinez le journal Kinesis Agent pour Windows après le démarrage du service pour déterminer quelles sont les unités qui ont été déduites pour les compteurs lorsque les unités n'ont pas été spécifiées dans le champWindowsPerformanceCounterSourceDéclarations. Utilisez PowerShell pour déterminer les noms valides pour les catégories, instances et compteurs.

Pour afficher des informations sur toutes les catégories, y compris les compteurs associés aux ensembles de compteurs, exécutez cette commande dans une fenêtre PowerShell :

Get-Counter -ListSet * | Sort-Object

Pour déterminer quelles sont les instances disponibles pour chacun des compteurs de l'ensemble de compteurs, exécutez une commande similaire à ce qui suit dans une fenêtre PowerShell :

Get-Counter -Counter "\Process(*)\% Processor Time"

La valeur du paramètre Counter doit être l'un des chemins d'accès d'un membre PathsWithInstances répertoriés au cours du précédent appel de la commande Get-Counter -ListSet.

Source des métriques prédéfinies de Kinesis Agent pour Windows

En plus des sources de métriques ordinaires telles que leWindowsPerformanceCounterSourcetype (voirConfiguration de WindowsPerformanceCounterSource), le type de récepteur CloudWatch peut recevoir des métriques à partir d'une source spéciale qui collecte des métriques sur Kinesis Agent pour Windows lui-même. Les métriques Kinesis Agent pour Windows sont également disponibles dans le manuelKinesisTapcatégorie des compteurs de performances Windows.

La .MetricsFilterclé-valeur des déclarations de récepteurs CloudWatch spécifie les métriques qui sont diffusées vers CloudWatch à partir de la source de métriques Kinesis Agent pour Windows intégrée. La valeur est une chaîne qui contient une ou plusieurs expressions de filtre séparées par des points-virgules. Par exemple :

"MetricsFilter": "ExpressionFiltre1;ExpressionFiltre2"

Une métrique qui correspond à une ou plusieurs expressions de filtre est diffusée vers CloudWatch.

Les métriques d'instance unique sont de nature globale et ne sont pas liées à une source particulière ou à un récepteur particulier. Les métriques d'instances multiples sont des dimensions basées sur la déclaration source ou de récepteurs Id. Chaque type de source ou de récepteur peut avoir un ensemble de métriques différent.

Pour obtenir la liste des noms de métriques prédéfinies Kinesis Agent pour Windows, consultezListe des mesures Kinesis Agent pour Windows.

Pour les métriques d'instance unique, l'expression de filtre est le nom de la métrique, par exemple :

"MetricsFilter": "SourcesFailedToStart;SinksFailedToStart"

Pour les métriques d'instances multiples, l'expression de filtre se présente sous la forme du nom de la métrique, d'un point (.), puis de l'élément Id de la déclaration source ou de récepteurs qui a généré cette métrique. Supposons par exemple qu'il y a une déclaration de récepteurs avec un élément Id ayant pour valeur MyFirehose :

"MetricsFilter": "KinesisFirehoseRecordsFailedNonrecoverable.MyFirehose"

Vous pouvez utiliser des modèles de caractères génériques spéciaux conçus pour faire une distinction entre les métriques d'instance unique et les métriques d'instances multiples.

  • L'astérisque (*) correspond à zéro ou plusieurs caractères, à l'exception des points (.).

  • Le point d'interrogation (?) correspond à un caractère, à l'exception des points.

  • Tous les autres caractères correspondent uniquement à eux-mêmes.

  • _Total est un jeton spécial qui provoque l'agrégation de toutes les valeurs d'instances multiples correspondantes au sein de la dimension.

L'exemple suivant représente toutes les métriques d'instance unique :

"MetricsFilter": "*"

Étant donné qu'un astérisque ne correspond pas à un point, seules les métriques d'instance unique sont incluses.

L'exemple suivant représente toutes les métriques d'instances multiples :

"MetricsFilter": "*.*"

L'exemple suivant représente toutes les métriques (instance unique ou instances multiples) :

"MetricsFilter": "*;*.*"

L'exemple suivant regroupe toutes les métriques d'instances multiples pour l'ensemble des sources et des récepteurs :

"MetricsFilter": "*._Total"

L'exemple suivant regroupe toutes les métriques Kinesis Data Firehose pour tous les récepteurs Kinesis Data Firehose :

"MetricsFilter": "*Firehose*._Total"

L'exemple suivant représente toutes les métriques d'erreur d'instance unique et d'instances multiples :

"MetricsFilter": "*Failed*;*Error*.*;*Failed*.*"

L'exemple suivant représente toutes les métriques d'erreur irrécupérable agrégées pour toutes les sources et tous les récepteurs :

"MetricsFilter": "*Nonrecoverable*._Total"

Pour plus d'informations sur la façon de spécifier un canal utilisant la source de métriques prédéfinies Kinesis Agent pour Windows, consultezConfiguration de Kinesis Agent pour les canaux métriques Windows.

Liste des mesures Kinesis Agent pour Windows

Voici une liste des métriques d'instance unique et d'instances multiples qui sont disponibles pour Kinesis Agent pour Windows.

Métriques d'instance unique

Les métriques d'instance unique disponibles sont les suivantes :

KinesisTapBuildNumber

Numéro de version de Kinesis Agent pour Windows.

PipesConnected

Nombre de pipelines ayant connecté leur source à leur récepteur avec succès.

PipesFailedToConnect

Nombre de pipelines n'ayant pas réussi à connecter leur source à leur récepteur.

SinkFactoriesFailedToLoad

Nombre de types de récepteurs n'ayant pas pu être chargés dans l'Agent Kinesis pour Windows.

SinkFactoriesLoaded

Nombre de types de récepteurs ayant été chargés dans Kinesis Agent pour Windows avec succès.

SinksFailedToStart

Nombre de récepteurs dont le démarrage a échoué, généralement en raison de déclarations de récepteurs incorrectes.

SinksStarted

Nombre de récepteurs ayant démarré avec succès.

SourcesFailedToStart

Nombre de sources dont le démarrage a échoué, généralement en raison de déclarations de sources incorrectes.

SourcesStarted

Nombre de sources ayant démarré avec succès.

SourceFactoriesFailedToLoad

Nombre de types de sources n'ayant pas pu être chargés dans Kinesis Agent for Windows.

SourceFactoriesLoaded

Nombre de types de sources ayant été chargés dans Kinesis Agent pour Windows.

Métriques d'instances multiples

Les métriques d'instances multiples disponibles sont les suivantes :

Métriques DirectorySource

DirectorySourceBytesRead

Nombre d'octets ayant été lus au cours de l'intervalle pour cet élément DirectorySource.

DirectorySourceBytesToRead

Nombre d'octets connus disponibles en lecture n'ayant pas encore été lus par l'Agent Kinesis pour Windows.

DirectorySourceFilesToProcess

Nombre de fichiers connus à examiner qui n'ont pas encore été examinés par Kinesis Agent for Windows.

DirectorySourceRecordsRead

Nombre d'enregistrements ayant été lus au cours de l'intervalle pour cet élément DirectorySource.

Métriques WindowsEventLogSource

EventLogSourceEventsError

Nombre d'événements du journal d'événements Windows n'ayant pas été lus avec succès.

EventLogSourceEventsRead

Nombre d'événements du journal d'événements Windows ayant été lus avec succès.

Métriques de récepteur KinesisFirehose

KinesisFirehoseBytesAccepted

Nombre d'octets ayant été acceptés au cours de l'intervalle.

KinesisFirehoseClientLatency

Temps écoulé entre la génération des enregistrements et leur diffusion vers le service Kinesis Data Firehose.

KinesisFirehoseLatency

Temps écoulé entre le début et la fin de la diffusion des enregistrements pour le service Kinesis Data Firehose.

KinesisFirehoseNonrecoverableServiceErrors

Nombre de fois où des enregistrements n'ont pas pu être envoyés sans erreur au service Kinesis Data Firehose malgré les nouvelles tentatives.

KinesisFirehoseRecordsAttempted

Nombre d'enregistrements ayant tenté d'être diffusés vers le service Kinesis Data Firehose.

KinesisFirehoseRecordsFailedNonrecoverable

Nombre d'enregistrements n'ayant pas pu être diffusés vers le service Kinesis Data Firehose malgré les nouvelles tentatives.

KinesisFirehoseRecordsFailedRecoverable

Nombre d'enregistrements ayant pu être diffusés vers le service Kinesis Data Firehose, mais uniquement à la suite de nouvelles tentatives.

KinesisFirehoseRecordsSuccess

Nombre d'enregistrements ayant pu être diffusés vers le service Kinesis Data Firehose sans nouvelles tentatives.

KinesisFirehoseRecoverableServiceErrors

Nombre de fois où des enregistrements ont pu être envoyés au service Kinesis Data Firehose, mais uniquement à la suite de nouvelles tentatives.

Métriques KinesisStream

KinesisStreamBytesAccepted

Nombre d'octets ayant été acceptés au cours de l'intervalle.

KinesisStreamClientLatency

Temps écoulé entre la génération des enregistrements et leur diffusion vers le service Kinesis Data Streams.

KinesisStreamLatency

Temps écoulé entre le début et la fin de la diffusion des enregistrements pour le service Kinesis Data Streams.

KinesisStreamNonrecoverableServiceErrors

Nombre de fois où des enregistrements n'ont pas pu être envoyés sans erreur au service Kinesis Data Streams malgré les nouvelles tentatives.

KinesisStreamRecordsAttempted

Nombre d'enregistrements ayant tenté d'être diffusés vers le service de Kinesis Data Streams.

KinesisStreamRecordsFailedNonrecoverable

Nombre d'enregistrements n'ayant pas pu être diffusés vers le service Kinesis Data Streams malgré les nouvelles tentatives.

KinesisStreamRecordsFailedRecoverable

Nombre d'enregistrements ayant pu être diffusés vers le service Kinesis Data Streams, mais uniquement à la suite de nouvelles tentatives.

KinesisStreamRecordsSuccess

Nombre d'enregistrements ayant pu être diffusés vers le service de Kinesis Data Streams sans nouvelles tentatives.

KinesisStreamRecoverableServiceErrors

Nombre de fois où des enregistrements ont pu être envoyés au service Kinesis Data Streams, mais uniquement à la suite de nouvelles tentatives.

Métriques CloudWatchLog

CloudWatchLogBytesAccepted

Nombre d'octets ayant été acceptés au cours de l'intervalle.

CloudWatchLogClientLatency

Temps écoulé entre la génération des enregistrements et leur diffusion vers le service CloudWatch Logs.

CloudWatchLogLatency

Temps écoulé entre le début et la fin de la diffusion des enregistrements pour le service CloudWatch Logs.

CloudWatchLogNonrecoverableServiceErrors

Nombre de fois où des enregistrements n'ont pas pu être envoyés sans erreur au service CloudWatch Logs malgré les nouvelles tentatives.

CloudWatchLogRecordsAttempted

Nombre d'enregistrements ayant tenté d'être diffusés vers le service CloudWatch Logs.

CloudWatchLogRecordsFailedNonrecoverable

Nombre d'enregistrements n'ayant pas pu être diffusés vers le service CloudWatch Logs malgré les nouvelles tentatives.

CloudWatchLogRecordsFailedRecoverable

Nombre d'enregistrements ayant pu être diffusés vers le service CloudWatch Logs, mais uniquement à la suite de nouvelles tentatives.

CloudWatchLogRecordsSuccess

Nombre d'enregistrements ayant pu être diffusés vers le service CloudWatch Logs sans nouvelles tentatives.

CloudWatchLogRecoverableServiceErrors

Nombre de fois où des enregistrements ont pu être envoyés au service CloudWatch Logs, mais uniquement à la suite de nouvelles tentatives.

Métriques CloudWatch

CloudWatchLatency

Temps écoulé en moyenne entre le début et la fin de la diffusion des métriques pour le service CloudWatch.

CloudWatchNonrecoverableServiceErrors

Nombre de fois où des métriques n'ont pas pu être envoyées sans erreur au service CloudWatch malgré les nouvelles tentatives.

CloudWatchRecoverableServiceErrors

Nombre de fois où des métriques ont été envoyées sans erreur au service CloudWatch, mais uniquement à la suite de nouvelles tentatives.

CloudWatchServiceSuccess

Nombre de fois où des métriques ont été envoyées sans erreur au service CloudWatch sans aucune nouvelle tentative.

Configuration des signets

Par défaut, l'agent Kinesis pour Windows envoie les enregistrements de journaux aux récepteurs créés après le démarrage de l'agent. Parfois, il est utile d'envoyer des enregistrements de journaux plus tôt, par exemple, les enregistrements de journaux créés pendant l'arrêt de Kinesis Agent pour Windows au cours d'une mise à jour automatique. La fonction de signet suit les enregistrements qui ont été envoyés aux récepteurs. Lorsque Kinesis Agent pour Windows est en mode signet et démarre, il envoie tous les enregistrements de journal créés après l'arrêt de Kinesis Agent pour Windows, ainsi que tous les enregistrements de journal créés ultérieurement. Pour contrôler ce comportement, les déclarations de sources basées sur un fichier peuvent éventuellement inclure les paires clé-valeur suivantes :

InitialPosition

Spécifie la position initiale du signet. Les valeurs possibles sont les suivantes :

EOS

Spécifie la fin du flux (EOS). Seuls les enregistrements de journaux créés pendant l'exécution de l'agent sont envoyés aux récepteurs.

0

Tous les enregistrements de journaux et les événements disponibles sont initialement envoyés. Ensuite, un signet est créé pour faire en sorte que chaque nouvel enregistrement de journal et événement créé après le signet soit finalement envoyé, que Kinesis Agent pour Windows soit en cours d'exécution ou non.

Bookmark

Le signet est initialisé juste après le dernier enregistrement de journal ou événement. Ensuite, un signet est créé pour faire en sorte que chaque nouvel enregistrement de journal et événement créé après le signet soit finalement envoyé, que Kinesis Agent pour Windows soit en cours d'exécution ou non.

Les signets sont activés par défaut. Les fichiers sont stockés dans l'%ProgramData%\Amazon\KinesisTapRépertoire.

Timestamp

Les enregistrements de journaux et événements qui sont créés après la valeur InitialPositionTimestamp (définition ci-après) sont envoyés. Ensuite, un signet est créé pour faire en sorte que chaque nouvel enregistrement de journal et événement créé après le signet soit finalement envoyé, que Kinesis Agent pour Windows soit en cours d'exécution ou non.

InitialPositionTimestamp

Spécifie le premier horodatage d'enregistrement de journal ou d'événement que vous voulez. Spécifiez cette paire clé-valeur uniquement si InitialPosition a la valeur Timestamp.

BookmarkOnBufferFlush

Ce paramètre peut être ajouté à n'importe quelle source marquable. Lorsqu'il est défini surtrue, garantit que les mises à jour de signet se produisent uniquement lorsqu'un puits envoie un événement à AWS. Vous ne pouvez abonner qu'un seul puits à une source. Si vous expédiez des journaux vers plusieurs destinations, dupliquez vos sources pour éviter d'éventuels problèmes de perte de données.

Lorsque Kinesis Agent pour Windows a été arrêté pendant longtemps, il peut être nécessaire de supprimer ces signets, car les enregistrements de journaux et les événements qui sont signés peuvent ne plus exister. Les fichiers de signets pour un ID de source donné sont situés dans %PROGRAMDATA%\Amazon\AWSKinesisTap\source id.bm.

Les signets ne fonctionnent pas sur les fichiers qui sont renommés ou tronqués. En raison de la nature des événements et des compteurs de performances ETW, ils ne peuvent pas faire l'objet d'un signet.