Richten Sie Fluent Bit ein, um Logs an Logs DaemonSet zu senden CloudWatch

Wenn Sie noch keinen Namespace namens amazon-cloudwatch haben, erstellen Sie einen, indem Sie den folgenden Befehl eingeben:

kubectl apply -f https://raw.githubusercontent.com/aws-samples/amazon-cloudwatch-container-insights/latest/k8s-deployment-manifest-templates/deployment-mode/daemonset/container-insights-monitoring/cloudwatch-namespace.yaml

Führen Sie den folgenden Befehl aus, um einen ConfigMap Namen cluster-info mit dem Clusternamen und der Region zu erstellen, an die Protokolle gesendet werden sollen. Ersetzen Sie cluster-name und cluster-region durch den Namen und die Region Ihres Clusters.

ClusterName=cluster-name
RegionName=cluster-region
FluentBitHttpPort='2020'
FluentBitReadFromHead='Off'
[[ ${FluentBitReadFromHead} = 'On' ]] && FluentBitReadFromTail='Off'|| FluentBitReadFromTail='On'
[[ -z ${FluentBitHttpPort} ]] && FluentBitHttpServer='Off' || FluentBitHttpServer='On'
kubectl create configmap fluent-bit-cluster-info \
--from-literal=cluster.name=${ClusterName} \
--from-literal=http.server=${FluentBitHttpServer} \
--from-literal=http.port=${FluentBitHttpPort} \
--from-literal=read.head=${FluentBitReadFromHead} \
--from-literal=read.tail=${FluentBitReadFromTail} \
--from-literal=logs.region=${RegionName} -n amazon-cloudwatch

In diesem Befehl ist das FluentBitHttpServer zum Überwachen von Plug-in-Metriken standardmäßig aktiviert. Um es auszuschalten, ändern Sie die dritte Zeile im Befehl in FluentBitHttpPort='' (leere Zeichenfolge) im Befehl.

Außerdem liest Fluent Bit standardmäßig Protokolldateien aus dem Trail und erfasst nach der Bereitstellung nur neue Protokolle. Wenn Sie das Gegenteil wünschen, legen Sie FluentBitReadFromHead='On' fest und es werden alle Protokolle im Dateisystem gesammelt.

Laden Sie das Fluent-Bit-DaemonSet herunter und stellen Sie es für den Cluster bereit, indem Sie den folgenden Befehl ausführen.

• Wenn Sie die für Fluent Bit optimierte Konfiguration für Linux-Computer verwenden möchten, führen Sie diesen Befehl aus.

  kubectl apply -f https://raw.githubusercontent.com/aws-samples/amazon-cloudwatch-container-insights/latest/k8s-deployment-manifest-templates/deployment-mode/daemonset/container-insights-monitoring/fluent-bit/fluent-bit.yaml

• Wenn Sie die für Fluent Bit optimierte Konfiguration für Windows-Computer verwenden möchten, führen Sie diesen Befehl aus.

  kubectl apply -f https://raw.githubusercontent.com/aws-samples/amazon-cloudwatch-container-insights/latest/k8s-deployment-manifest-templates/deployment-mode/daemonset/container-insights-monitoring/fluent-bit/fluent-bit-windows.yaml

• Wenn Sie Linux-Computer verwenden und eine Fluent Bit-Konfiguration wünschen, die Fluentd ähnlicher ist, führen Sie diesen Befehl aus.

  kubectl apply -f https://raw.githubusercontent.com/aws-samples/amazon-cloudwatch-container-insights/latest/k8s-deployment-manifest-templates/deployment-mode/daemonset/container-insights-monitoring/fluent-bit/fluent-bit-compatible.yaml

Überprüfen Sie die Bereitstellung, indem Sie den folgenden Befehl eingeben. Jeder Knoten sollte über eine Pod mit dem Namen fluent-bit-* verfügen.

kubectl get pods -n amazon-cloudwatch

Öffnen Sie die CloudWatch Konsole unter. https://console.aws.amazon.com/cloudwatch/

Wählen Sie im Navigationsbereich Protokollgruppen aus.

Stellen Sie sicher, dass Sie sich in der Region befinden, in der Sie Fluent Bit bereitgestellt haben.

Überprüfen Sie die Liste der Protokollgruppen in der Region. Sie sollten Folgendes sehen:

Navigieren Sie zu einer dieser Protokollgruppen und überprüfen Sie die letzte Ereigniszeit für die Protokollstreams Wenn es in letzter Zeit relativ zum Zeitpunkt der Bereitstellung von Fluent Bit ist, wird die Einrichtung überprüft.

Es kann eine leichte Verzögerung beim Erstellen der /dataplane-Protokollgruppe geben. Dies ist normal, da diese Protokollgruppen nur erstellt werden, wenn Fluent Bit beginnt, Protokolle für diese Protokollgruppe zu senden.

Erstellen Sie Umgebungsvariablen, indem Sie die Werte auf der rechten Seite in den folgenden Zeilen entsprechend Ihrer Bereitstellung ersetzen.

DASHBOARD_NAME=your_cw_dashboard_name
REGION_NAME=your_metric_region_such_as_us-west-1
CLUSTER_NAME=your_kubernetes_cluster_name

Erstellen Sie das Dashboard, indem Sie den folgenden Befehl ausführen.

curl https://raw.githubusercontent.com/aws-samples/amazon-cloudwatch-container-insights/latest/k8s-deployment-manifest-templates/deployment-mode/service/cwagent-prometheus/sample_cloudwatch_dashboards/fluent-bit/cw_dashboard_fluent_bit.json \
| sed "s/{{YOUR_AWS_REGION}}/${REGION_NAME}/g" \
| sed "s/{{YOUR_CLUSTER_NAME}}/${CLUSTER_NAME}/g" \
| xargs -0 aws cloudwatch put-dashboard --dashboard-name ${DASHBOARD_NAME} --dashboard-body