Erforderliche IAM-Berechtigungen für ETL-Aufträge überprüfen - AWS Glue

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Erforderliche IAM-Berechtigungen für ETL-Aufträge überprüfen

Wenn Sie einen Auftrag mithilfe von AWS Glue Studio erstellen, übernimmt der Auftrag die Berechtigungen der IAM-Rolle, die Sie bei der Erstellung angeben. Diese IAM-Rolle muss über die Berechtigung verfügen, Daten aus Ihrer Datenquelle zu extrahieren, Daten in Ihr Ziel zu schreiben und auf AWS Glue Ressourcen zuzugreifen.

Der Name der Rolle, die Sie für den Auftrag erstellen, muss mit der Zeichenfolge AWSGlueServiceRole beginnen, damit sie korrekt von AWS Glue Studio genutzt werden kann. Sie können beispielsweise Ihre Rolle AWSGlueServiceRole-FlightDataJob nennen.

Datenquellen- und Datenzielberechtigungen

Ein AWS Glue Studio-Auftrag muss Zugriff auf Amazon S3 haben – für alle Quellen, Ziele, Skripts und temporären Verzeichnisse, die Sie im Auftrag verwenden. Sie können eine Richtlinie erstellen, die einen differenzierten Zugriff auf bestimmte Amazon-S3-Ressourcen ermöglicht.

  • Datenquellen erfordern die Berechtigungen s3:ListBucket und s3:GetObject.

  • Für Datenziele sind die Berechtigungen s3:ListBucket, s3:PutObject und s3:DeleteObject erforderlich.

Anmerkung

Ihre IAM-Richtlinie muss die spezifischen Buckets berücksichtigen, die s3:GetObject für das Hosten von Transformationen verwendet werden. AWS Glue

Die folgenden Buckets gehören dem AWS Dienstkonto und sind weltweit lesbar. Diese Buckets dienen als Repository für den Quellcode einer Teilmenge von Transformationen, auf die über den visuellen Editor zugegriffen werden kann. AWS Glue Studio Die Berechtigungen für den Bucket sind so eingerichtet, dass jede andere API-Aktion für den Bucket verweigert wird. Jeder kann die Skripte lesen, die wir für die Transformationen bereitstellen, aber niemand außerhalb unseres Serviceteams kann etwas in sie „einbauen“. Wenn Ihr AWS Glue Job ausgeführt wird, wird diese Datei als lokaler Import abgerufen, sodass die Datei in den lokalen Container heruntergeladen wird. Danach findet keine weitere Kommunikation mit diesem Konto statt.

Region: Bucket-Name

  • af-south-1: aws-glue-studio-transforms -762339736633- -1 prod-af-south

  • ap-east-1: aws-glue-studio-transforms -125979764932- -1 prod-ap-east

  • ap-northeast-2: -673535381443- -2 aws-glue-studio-transforms prod-ap-northeast

  • ap-northeast-3: -149976050262- -3 aws-glue-studio-transforms prod-ap-northeast

  • ap-south-1: aws-glue-studio-transforms -584702181950- -1 prod-ap-south

  • ap-south-2: aws-glue-studio-transforms -380279651983- -2 prod-ap-south

  • ap-southeast-1: -737106620487- -1 aws-glue-studio-transforms prod-ap-southeast

  • ap-southeast-2: -234881715811- -2 aws-glue-studio-transforms prod-ap-southeast

  • ap-southeast-3: -151265630221- -3 aws-glue-studio-transforms prod-ap-southeast

  • ap-southeast-4: -052235663858- -4 aws-glue-studio-transforms prod-ap-southeast

  • ca-central-1: aws-glue-studio-transforms -622716468547- -1 prod-ca-central

  • ca-west-1: aws-glue-studio-transforms -915795495192- -1 prod-ca-west

  • eu-central-1: aws-glue-studio-transforms -560373232017- -1 prod-eu-central

  • eu-central-2: aws-glue-studio-transforms -907358657121- -2 prod-eu-central

  • eu-north-1: -312557305497 aws-glue-studio-transforms - -1 prod-eu-north

  • eu-south-1: aws-glue-studio-transforms -939684186351- -1 prod-eu-south

  • eu-south-2: aws-glue-studio-transforms -239737454084- -2 prod-eu-south

  • eu-west-1: aws-glue-studio-transforms -244479516193- -1 prod-eu-west

  • eu-west-2: aws-glue-studio-transforms -804222392271- -2 prod-eu-west

  • eu-west-3: aws-glue-studio-transforms -371299348807- -3 prod-eu-west

  • il-central-1: aws-glue-studio-transforms -806964611811- -1 prod-il-central

  • me-central-1: aws-glue-studio-transforms -733304270342- -1 prod-me-central

  • me-south-1: -112120182341 aws-glue-studio-transforms - -1 prod-me-south

  • sa-east-1: aws-glue-studio-transforms -881619130292- -1 prod-sa-east

  • us-east-1: aws-glue-studio-transforms -510798373988- -1 prod-us-east

  • us-east-2: aws-glue-studio-transforms -251189692203- -2 prod-us-east

  • us-west-1: aws-glue-studio-transforms -593230150239- -1 prod-us-west

  • us-west-2: aws-glue-studio-transforms -818035625594- -2 prod-us-west

  • ap-northeast-1: -200493242866- -1 aws-glue-studio-transforms prod-ap-northeast

  • aws-glue-studio-transformscn-north-1: -071033555442- -1 prod-cn-north

  • cn-northwest-1: aws-glue-studio-transforms -070947029561- -1 prod-cn-northwest

  • us-gov-west-1: aws-glue-studio-transforms -227493901923- -1-2604 prod-us-gov-west

Wenn Sie Amazon Redshift als Datenquelle wählen, können Sie eine Rolle für Clusterberechtigungen angeben. Jobs, die für einen Amazon Redshift Cluster ausgeführt werden, geben Befehle aus, die mithilfe temporärer Anmeldeinformationen auf Amazon S3 für temporären Speicher zugreifen. Wenn Ihr Auftrag länger als eine Stunde ausgeführt wird, laufen diese Anmeldeinformationen ab, wodurch der Auftrag fehlschlägt. Um dieses Problem zu vermeiden, können Sie dem Amazon Redshift -Cluster selbst eine Rolle zuweisen, die ihm die erforderlichen Berechtigungen für Aufträge mit temporären Anmeldeinformationen erteilt. Weitere Informationen finden Sie unter Verschieben von Daten von und nach Amazon Redshift im AWS Glue -Entwicklerhandbuch.

Wenn der Auftrag andere Datenquellen oder Ziele als Amazon S3 verwendet, müssen Sie der IAM-Rolle, die der Auftrag verwendet, die erforderlichen Berechtigungen erteilen, damit sie auf diese Datenquellen und Ziele zuzugreifen kann. Weitere Informationen finden Sie unter Einrichten der Umgebung, um auf Datenspeicher zuzugreifen im AWS Glue -Entwicklerhandbuch.

Wenn Sie Konnektoren und Verbindungen für Ihren Datenspeicher verwenden, benötigen Sie zusätzliche Berechtigungen, wie unter Erforderliche Berechtigungen zur Verwendung von Konnektoren beschrieben.

Erforderliche Berechtigungen zum Löschen von Aufträgen

In AWS Glue Studio können Sie mehrere Aufträge zum Löschen in der Konsole auswählen. Um diese Aktion ausführen zu können, müssen Sie über die Berechtigung glue:BatchDeleteJob verfügen. Das ist nicht dieselbe wie von der AWS Glue-Konsole, für die die Berechtigung glue:DeleteJob zum Löschen von Aufträgen nötig ist.

AWS Key Management Service Berechtigungen

Wenn Sie planen, auf Amazon S3 S3-Quellen und -Ziele zuzugreifen, die serverseitige Verschlüsselung mit AWS Key Management Service (AWS KMS) verwenden, fügen Sie der vom Job verwendeten AWS Glue Studio Rolle eine Richtlinie hinzu, die es dem Job ermöglicht, die Daten zu entschlüsseln. Die Auftragsrolle benötigt die Berechtigungen kms:ReEncrypt, kms:GenerateDataKey und kms:DescribeKey. Darüber hinaus benötigt die Jobrolle die kms:Decrypt Erlaubnis, ein Amazon S3 S3-Objekt hoch- oder herunterzuladen, das mit einem AWS KMS Kundenhauptschlüssel (CMK) verschlüsselt ist.

Für die Nutzung AWS KMS CMKs fallen zusätzliche Gebühren an. Weitere Informationen finden Sie im AWS Key Management Service Entwicklerhandbuch unter AWS Key Management Service Konzepte — Kundenhauptschlüssel (CMKs) und AWS Key Management Service Preise.

Erforderliche Berechtigungen zur Verwendung von Konnektoren

Wenn Sie einen benutzerdefinierten AWS Glue-Konnektor und eine Verbindung für den Zugriff auf einen Datenspeicher nutzen, benötigt die Rolle, mit der der AWS Glue-ETL-Auftrag ausgeführt wird, zusätzliche Berechtigungen:

  • Die von AWS verwaltete Richtlinie AmazonEC2ContainerRegistryReadOnly für den Zugriff auf Connectors, bei denen gekauft wurde AWS Marketplace.

  • Die Berechtigungen glue:GetJob und glue:GetJobs.

  • AWS Secrets Manager Berechtigungen für den Zugriff auf geheime Daten, die bei Verbindungen verwendet werden. Informationen zu IAM-Richtlinien erhalten Sie unter Beispiel: Berechtigung zum Abrufen von Secret-Werten.

Wenn Ihr AWS Glue-ETL-Auftrag in einer VPC mit Amazon VPC ausgeführt wird, muss die VPC wie unter Konfigurieren Sie eine VPC für Ihren ETL-Auftrag beschrieben konfiguriert werden.