Utilisez Amazon Managed Service pour Prometheus pour surveiller les jobs Flink - Amazon EMR

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Utilisez Amazon Managed Service pour Prometheus pour surveiller les jobs Flink

Vous pouvez intégrer Apache Flink à Amazon Managed Service for Prometheus (portail de gestion). Amazon Managed Service for Prometheus prend en charge l'ingestion de métriques à partir de serveurs Amazon Managed Service for Prometheus dans des clusters exécutés sur Amazon EKS. Amazon Managed Service for Prometheus fonctionne avec un serveur Prometheus déjà en cours d'exécution sur votre cluster Amazon EKS. L'exécution de l'intégration d'Amazon Managed Service for Prometheus à l'opérateur Flink pour Amazon EMR déploiera et configurera automatiquement un serveur Prometheus pour l'intégrer à Amazon Managed Service for Prometheus.

  1. Créez un espace de travail Amazon Managed Service for Prometheus. Cet espace de travail sert de point de terminaison pour l'ingestion. Vous aurez besoin de l'URL d'écriture à distance plus tard.

  2. Configurez les rôles IAM pour les comptes de service.

    Pour cette méthode d'intégration, utilisez des rôles IAM pour les comptes de service du cluster Amazon EKS où le serveur Prometheus est exécuté. Ces rôles sont également appelés fonctions du service.

    Si vous ne disposez pas encore de rôles, configurez des rôles de service pour l'ingestion de métriques à partir des clusters Amazon EKS.

    Avant de continuer, créez un rôle IAM appelé amp-iamproxy-ingest-role.

  3. Installez l'opérateur Flink pour Amazon EMR avec Amazon Managed Service for Prometheus.

Maintenant que vous disposez d'un espace de travail Amazon Managed Service for Prometheus, d'un rôle IAM dédié à Amazon Managed Service for Prometheus et des autorisations nécessaires, vous pouvez installer l'opérateur Flink pour Amazon EMR.

Créez un fichier enable-amp.yaml. Ce fichier vous permet d'utiliser une configuration personnalisée pour remplacer les paramètres d'Amazon Managed Service for Prometheus. Assurez-vous d'utiliser vos propres rôles.

kube-prometheus-stack:
    prometheus:
    serviceAccount:
        create: true
        name: "amp-iamproxy-ingest-service-account"
        annotations:
            eks.amazonaws.com/role-arn: "arn:aws:iam::<AWS_ACCOUNT_ID>:role/amp-iamproxy-ingest-role"
    remoteWrite:
        - url: <AMAZON_MANAGED_PROMETHEUS_REMOTE_WRITE_URL>
        sigv4:
            region: <AWS_REGION>
        queueConfig:
            maxSamplesPerSend: 1000
            maxShards: 200
            capacity: 2500

Utilisez la commande Helm Install --set pour transmettre les remplacements au chart flink-kubernetes-operator.

helm upgrade -n <namespace> flink-kubernetes-operator \
   oci://public.ecr.aws/emr-on-eks/flink-kubernetes-operator \
   --set prometheus.enabled=true
   -f enable-amp.yaml

Cette commande installe automatiquement un reporter Prometheus dans l'opérateur sur le port 9999. Tout FlinkDeployment futur expose également un port metrics sur 9249.

  • Les métriques de l'opérateur Flink apparaissent dans Prometheus sous l'étiquette flink_k8soperator_.

  • Les métriques du gestionnaire de tâches Flink apparaissent dans Prometheus sous l'étiquette flink_taskmanager_.

  • Les métriques du gestionnaire de tâches Flink apparaissent dans Prometheus sous l'étiquette flink_jobmanager_.