Flink-Kubernetes-Operator für Amazon EMR in EKS einrichten

Installation oder Aktualisierung auf die neueste Version von AWS CLI— Falls Sie die bereits installiert haben, vergewissern Sie sich AWS CLI, dass Sie über die neueste Version verfügen.

kubectl und eksctl einrichten — eksctl ist ein Befehlszeilentool, das Sie für die Kommunikation mit Amazon EKS verwenden.

Helm installieren – Der Helm-Paketmanager für Kubernetes unterstützt Sie bei der Installation und Verwaltung von Anwendungen in Ihrem Kubernetes-Cluster.

Erste Schritte mit Amazon EKS — eksctl — Führen Sie die Schritte aus, um einen neuen Kubernetes-Cluster mit Knoten in Amazon EKS zu erstellen.

Wählen Sie ein Amazon-EMR-Versionskennung (Version 6.13.0 oder höher) — der Flink-Kubernetes-Operator wird mit Amazon-EMR-Versionen 6.13.0 und höher unterstützt.

Aktivieren Sie IAM-Rollen für Servicekonten (IRSA) auf dem Amazon-EKS-Cluster.

Erstellen einer Aufgaben-Ausführungsrolle.

Aktualisieren Sie die Vertrauensrichtlinie der Auftragausführungsrolle.

Erstellen Sie eine Operator-Ausführungsrolle. Dieser Schritt ist optional. Sie können die gleiche Rolle für Flink-Aufträge und -Operator verwenden. Wenn Sie eine andere IAM-Rolle für Ihren Operator haben möchten, können Sie eine separate Rolle erstellen.

Aktualisieren Sie die Vertrauensrichtlinie der Operatorausführungsrolle. Sie müssen explizit einen Vertrauensrichtlinieneintrag für die Rollen hinzufügen, die Sie für das Flink-Kubernetes-Operator-Servicekonto von Amazon EMR verwenden möchten. Sie können diesem Beispielformat folgen:

{
   "Version": "2012-10-17",
   "Statement": [
       {
           "Effect": "Allow",
           "Principal": {
               "Federated": "arn:aws:iam::ACCOUNT_ID:oidc-provider/OIDC_PROVIDER"
           },
           "Action": "sts:AssumeRoleWithWebIdentity",
           "Condition": {
               "StringLike": {
                   "OIDC_PROVIDER:sub": "system:serviceaccount:NAMESPACE:emr-containers-sa-flink-operator"
               }
           }
       }
   ]
}