Amazon Managed Service for Prometheus を使用した Flink ジョブのモニタリング

Apache Flink を Amazon Managed Service for Prometheus (管理ポータル) とインテグレーションできます。Amazon Managed Service for Prometheus では、Amazon Managed Service for Prometheus サーバーからメトリクスを Amazon EKS で実行されているクラスターに取り込むことができます。Amazon Managed Service for Prometheus は、Amazon EKS クラスターで既に実行されている Prometheus サーバーと連携して動作します。Amazon Managed Service for Prometheus と Amazon EMR Flink オペレータとのインテグレーションを実行すると、Prometheus サーバーが自動的にデプロイされ、Amazon Managed Service for Prometheus とインテグレーションするように設定されます。

Amazon Managed Service for Prometheus ワークスペース、Amazon Managed Service for Prometheus 専用の IAM ロール、および必要な権限が用意できたので、Amazon EMR Flink オペレータをインストールできます。

enable-amp.yaml ファイルを作成します。このファイルを使用すると、カスタム設定で Amazon Managed Service for Prometheus の設定を上書きできます。必ず独自のロールを使用してください。

kube-prometheus-stack:
    prometheus:
    serviceAccount:
        create: true
        name: "amp-iamproxy-ingest-service-account"
        annotations:
            eks.amazonaws.com/role-arn: "arn:aws:iam::<AWS_ACCOUNT_ID>:role/amp-iamproxy-ingest-role"
    remoteWrite:
        - url: <AMAZON_MANAGED_PROMETHEUS_REMOTE_WRITE_URL>
        sigv4:
            region: <AWS_REGION>
        queueConfig:
            maxSamplesPerSend: 1000
            maxShards: 200
            capacity: 2500

Helm Install --set コマンドを使用して、flink-kubernetes-operator チャートにオーバーライドを渡します。

helm upgrade -n <namespace> flink-kubernetes-operator \
   oci://public.ecr.aws/emr-on-eks/flink-kubernetes-operator \
   --set prometheus.enabled=true
   -f enable-amp.yaml

このコマンドにより、オペレータ内の Prometheus レポーターがポート 9999 に自動的にインストールされます。また、以後 FlinkDeployment を指定すると、metrics ポートが 9249 に公開されます。