Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
Verwenden Sie Amazon Managed Service for Prometheus, um Flink-Jobs zu überwachen
Sie können Apache Flink in Amazon Managed Service für Prometheus (Verwaltungsportal) integrieren. Amazon Managed Service für Prometheus unterstützt die Erfassung von Metriken von Amazon Managed Service for Prometheus Servern in Clustern, die auf Amazon EKS ausgeführt werden. Amazon Managed Service für Prometheus arbeitet mit einem Prometheus-Server zusammen, der bereits auf Ihrem Amazon-EKS-Cluster läuft. Beim Ausführen der Integration von Amazon Managed Service für Prometheus mit Amazon EMR wird der Flink-Operator automatisch einen Prometheus-Server für die Integration mit Amazon Managed Service für Prometheus bereitstellen und konfigurieren.
Einen Workspace von Amazon Managed Service für Prometheus erstellen. Dieser Workspace dient als Aufnahme-Endpunkt. Sie benötigen die Remote-Write-URL später.
IAM-Rollen für Servicekonten einrichten.
Verwenden Sie für diese Onboarding-Methode IAM-Rollen für die Servicekonten im Amazon-EKS-Cluster, in dem der Prometheus-Server läuft. Diese Rollen werden als Servicerollen bezeichnet.
Wenn Sie die Rollen noch nicht haben, richten Sie Servicerollen für die Erfassung von Metriken aus Amazon-EKS-Clustern ein.
Bevor Sie fortfahren, erstellen Sie eine IAM-Rolle namens
amp-iamproxy-ingest-role
.Installieren Sie Amazon-EMR-Flink-Operator mit Amazon Managed Service für Prometheus.
Da Sie nun über einen Workspace von Amazon Managed Service für Prometheus, eine dedizierte IAM-Rolle für Amazon Managed Service für Prometheus und die erforderlichen Berechtigungen verfügen, können Sie den Amazon-EMR-Flink-Operator installieren.
Erstellen Sie eine Datei enable-amp.yaml
. Mit dieser Datei können Sie eine benutzerdefinierte Konfiguration verwenden, um die Einstellungen von Amazon Managed Service für Prometheus zu überschreiben. Stellen Sie sicher, dass Sie Ihre eigenen Rollen verwenden.
kube-prometheus-stack: prometheus: serviceAccount: create: true name: "amp-iamproxy-ingest-service-account" annotations: eks.amazonaws.com/role-arn: "arn:aws:iam::
<AWS_ACCOUNT_ID>
:role/amp-iamproxy-ingest-role" remoteWrite: - url:<AMAZON_MANAGED_PROMETHEUS_REMOTE_WRITE_URL>
sigv4: region:<AWS_REGION>
queueConfig: maxSamplesPerSend: 1000 maxShards: 200 capacity: 2500
Verwenden Sie den Helm Install --set
flink-kubernetes-operator
-Diagramm zu übergeben.
helm upgrade -n
<namespace>
flink-kubernetes-operator \ oci://public.ecr.aws/emr-on-eks/flink-kubernetes-operator \ --set prometheus.enabled=true -f enable-amp.yaml
Dieser Befehl installiert automatisch einen Prometheus-Reporter im Operator auf Port 9999. In Any Future wird FlinkDeployment
auch ein metrics
Port auf 9249 verfügbar gemacht.
Die Metriken für Flink-Operatoren werden in Prometheus unter der Kennung
flink_k8soperator_
angezeigt.Die Metriken für Flink-Task-Manager werden in Prometheus unter der Kennung
flink_taskmanager_
angezeigt.Die Metriken für Flink-Aufgaben-Manager werden in Prometheus unter der Kennung
flink_jobmanager_
angezeigt.