View a markdown version of this page

Logs an Amazon senden CloudWatch - Amazon CloudWatch
VoraussetzungenGruppen und Quellen protokollierenWie funktioniert die OTel Log-PipelineAnpassen der ProtokollerfassungVerifizierungFehlerbehebung

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Logs an Amazon senden CloudWatch

oTEL Container Insights sammelt und sendet Container-Logs mithilfe der CloudWatch OpenTelemetry Collector-Log-Pipeline an Amazon Logs. Das Amazon CloudWatch Observability EKS-Add-on stellt einen OpenTelemetry Collector bereit DaemonSet , der den Filelog-Empfänger verwendet, um Container-Protokolldateien zu verfolgen, sie mit Kubernetes-Metadaten anzureichern und sie über den Logs-Exporter in Logs zu CloudWatch exportieren. CloudWatch

Für die grundlegende Protokollerfassung ist keine zusätzliche Einrichtung erforderlich. Die Protokollerfassung ist standardmäßig aktiviert, wenn Sie dem folgenSchnellstart: oTEL Container Insights auf Amazon EKS.

Voraussetzungen

Bevor Sie die Protokollerfassung konfigurieren, stellen Sie sicher, dass Sie die folgenden Anforderungen erfüllen.

  • oTEL Container Insights ist installiert und das amazon-cloudwatch-observability Add-on ist auf Ihrem Cluster aktiv

  • IAM-Berechtigungen:logs:CreateLogGroup,logs:CreateLogStream, logs:PutLogEventslogs:DescribeLogGroups, und logs:DescribeLogStreams (in der CloudWatchAgentServerPolicy verwalteten Richtlinie enthalten)

  • Knotenzugriff: Der Collector benötigt Zugriff /var/log/pods auf jeden Knoten

Gruppen und Quellen protokollieren

In der folgenden Tabelle werden die Protokollgruppe beschrieben, die oTEL Container Insights erstellt, und die Quelle, aus der sie sammelt.

Protokollgruppe Quelle Inhalt
/aws/containerinsights/cluster-name/application /var/log/pods/**/*.log Alle Container-Stdout- und Stderr-Protokolle
Anmerkung

Host- und Datenebenenprotokolle werden in einer future Version verfügbar sein.

Wie funktioniert die OTel Log-Pipeline

Der OpenTelemetry Collector des Add-ons führt eine Log-Pipeline mit den folgenden Komponenten aus.

  • Empfänger — Der filelog Empfänger versendet Container-Protokolldateien von/var/log/pods/.

  • Prozessoren — Der k8sattributes Prozessor reichert Logs mit Kubernetes-Metadaten an. Der batch Prozessor stapelt Protokolldatensätze vor dem Export. Der resource Prozessor hängt Ressourcenattribute an.

  • Exporteure — Der awscloudwatchlogs Exporteur sendet Protokolldatensätze an Logs. CloudWatch

Anreicherung von Protokollen

Die Pipeline reichert jeden Protokolldatensatz mit den folgenden Attributen an.

  • Kubernetes-Ressourcenattribute —k8s.pod.name,,k8s.namespace.name, und k8s.container.name k8s.node.name k8s.deployment.name

  • Pod-Labels — Alle Pod-Labels als Attribute k8s.pod.label.*

  • Cloud-Attribute — cloud.regioncloud.account.id, und cloud.platform

  • Cluster-Attribute — k8s.cluster.name

Anpassen der Protokollerfassung

Sie können die Protokollerfassung anpassen, indem Sie die Konfigurationswerte des Add-ons aktualisieren. In den folgenden Abschnitten werden allgemeine Anpassungsoptionen beschrieben.

Deaktivieren Sie die Protokollerfassung

Um die Protokollerfassung vollständig zu deaktivieren, aktualisieren Sie die Add-On-Konfiguration mit deaktivierten Container-Protokollen.

Um die Protokollerfassung zu deaktivieren

  • Führen Sie den folgenden Befehl aus. cluster-nameErsetzen Sie durch den Namen Ihres Amazon EKS-Clusters.

    aws eks update-addon \
  --cluster-name cluster-name \
  --addon-name amazon-cloudwatch-observability \
  --configuration-values '{"containerLogs":{"enabled":false}}' \
  --resolve-conflicts OVERWRITE

Legen Sie die Aufbewahrung der Protokolle fest

Standardmäßig speichert CloudWatch Logs Protokolldaten auf unbestimmte Zeit. Um die Speicherkosten zu kontrollieren, können Sie eine Aufbewahrungsrichtlinie für die Protokollgruppe festlegen.

So legen Sie die Aufbewahrung von Protokollen fest

  • Führen Sie den folgenden Befehl aus. cluster-nameErsetzen Sie durch den Namen Ihres Amazon EKS-Clusters. 30Ersetzen Sie es durch die Anzahl der Tage, für die Protokolle aufbewahrt werden sollen.

    aws logs put-retention-policy \
  --log-group-name "/aws/containerinsights/cluster-name/application" \
  --retention-in-days 30

Verifizierung

Um zu überprüfen, ob die Protokollerfassung funktioniert, überprüfen Sie, ob die erwarteten Protokollgruppen vorhanden sind und Daten enthalten.

Um die Protokollerfassung zu überprüfen

  • Führen Sie den folgenden Befehl aus. cluster-nameErsetzen Sie durch den Namen Ihres Amazon EKS-Clusters.

    aws logs describe-log-groups \
  --log-group-name-prefix "/aws/containerinsights/cluster-name" \
  --query "logGroups[].{Name:logGroupName,StoredBytes:storedBytes}" \
  --output table

    In der Ausgabe werden die Namen der Protokollgruppen und die Anzahl der gespeicherten Byte angezeigt. Ein Wert ungleich Null für StoredBytes bestätigt, dass die Pipeline Protokolle liefert.

Fehlerbehebung

Verwenden Sie die folgenden Anleitungen, um häufig auftretende Probleme bei der Protokollerfassung zu lösen.

Protokollgruppen wurden nach 5 Minuten nicht erstellt

Symptom: Die /aws/containerinsights/cluster-name/application Protokollgruppe wird nach 5 Minuten nicht in den CloudWatch Protokollen angezeigt.

Ursache: Der Collector verfügt nicht über die erforderlichen IAM-Berechtigungen, um Protokollgruppen und Protokollstreams zu erstellen.

Lösung: Stellen Sie sicher, dass die dem Collector zugeordnete IAM-Rolle mit der CloudWatchAgentServerPolicy verwalteten Richtlinie verknüpft ist. Diese Richtlinie umfasst die logs:CreateLogStream Berechtigungen logs:CreateLogGroup und.

Die Anwendungsprotokollgruppe ist vorhanden, aber leer

Symptom: Die Anwendungsprotokollgruppe ist in den CloudWatch Protokollen vorhanden, sie enthält jedoch keine Protokolldatenströme oder Protokollereignisse.

Ursache: Dieses Problem tritt auf, wenn Container nicht auf stdout oder stderr schreiben oder der Filelog-Empfänger nicht auf den Knoten zugreifen kann. /var/log/pods/

Lösung: Gehen Sie wie folgt vor, um dieses Problem zu beheben.

  1. Stellen Sie sicher, dass Ihre Anwendungscontainer Protokolle auf stdout oder stderr schreiben.

  2. Vergewissern Sie sich, dass der DaemonSet Collector-Pod über ein Volume Mount für verfügt. /var/log/pods

    kubectl get daemonset -n amazon-cloudwatch -o yaml | grep -A 5 "var/log/pods"

  3. Überprüfen Sie die Collector-Protokolle auf Fehler beim Dateizugriff.

    kubectl logs -n amazon-cloudwatch -l app.kubernetes.io/name=cloudwatch-agent --tail=50 | grep -i "error\|permission"

Hohe CloudWatch Protokollkosten

Symptom: Die Kosten für die Aufnahme oder Speicherung von CloudWatch Protokollen sind höher als erwartet.

Ursache: High-volume Namespaces (wie Namespaces für Lasttests oder Überwachung) erzeugen große Mengen an Protokollen.

Lösung: Richten Sie eine Aufbewahrungsrichtlinie für die Protokollgruppe ein, um ältere Protokolle automatisch zu löschen. Detaillierte Anweisungen finden Sie unter Legen Sie die Aufbewahrung der Protokolle fest.