Esaminare le autorizzazioni IAM necessarie per i processi ETL - AWS Glue
Autorizzazioni origine dati e destinazione datiAutorizzazioni necessarie per l'eliminazione dei processiAWS Key Management Service autorizzazioniAutorizzazioni richieste per l'utilizzo dei connettori

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Esaminare le autorizzazioni IAM necessarie per i processi ETL

Quando si crea un processo utilizzando AWS Glue Studio, il processo assume le autorizzazioni del ruolo IAM specificate al momento della creazione. Questo ruolo IAM deve avere l'autorizzazione per estrarre dati dalla tua fonte di dati, scrivere dati sulla tua destinazione e accedere alle AWS Glue risorse.

Il nome del ruolo creato per il processo deve iniziare con la stringa AWSGlueServiceRole per poter essere usato correttamente da AWS Glue Studio. È ad esempio possibile denominare il proprio ruolo AWSGlueServiceRole-FlightDataJob.

Autorizzazioni origine dati e destinazione dati

Un processo AWS Glue Studio deve avere accesso ad Amazon S3 per le origini, le destinazioni, gli script e le directory temporanee che usi nel processo. Puoi creare una policy per fornire un accesso granulare a risorse Amazon S3 specifiche.

  • Le origini dati richiedono le autorizzazioni s3:ListBucket e s3:GetObject.

  • Le destinazioni dati richiedono le autorizzazioni s3:ListBucket, s3:PutObject e s3:DeleteObject.

Nota

La tua policy IAM deve tenere conto s3:GetObject dei bucket specifici utilizzati per ospitare le AWS Glue trasformazioni.

I seguenti bucket sono di proprietà dell'account del AWS servizio e sono leggibili in tutto il mondo. Questi bucket fungono da archivio per il codice sorgente pertinente a un sottoinsieme di trasformazioni accessibile tramite l'editor visuale. AWS Glue Studio Le autorizzazioni sul bucket sono configurate per negare qualsiasi altra azione dell'API sul bucket. Chiunque può leggere gli script che forniamo per le trasformazioni, ma nessuno al di fuori del nostro team di assistenza può «inserirvi» nulla. Quando il AWS Glue processo viene eseguito, il file viene importato in locale in modo che venga scaricato nel contenitore locale. Dopodiché, non ci sono ulteriori comunicazioni con quell'account.

Regione: nome del bucket

  • af-south-1: -762339736633- aws-glue-studio-transforms -1 prod-af-south

  • ap-east-1: -125979764932- aws-glue-studio-transforms -1 prod-ap-east

  • ap-northeast-2: -673535381443- -2 aws-glue-studio-transforms prod-ap-northeast

  • ap-northeast-3: -149976050262- -3 aws-glue-studio-transforms prod-ap-northeast

  • ap-south-1: -584702181950- aws-glue-studio-transforms -1 prod-ap-south

  • ap-south-2: -380279651983- aws-glue-studio-transforms -2 prod-ap-south

  • ap-southeast-1: -737106620487- -1 aws-glue-studio-transforms prod-ap-southeast

  • ap-southeast-2: -234881715811- -2 aws-glue-studio-transforms prod-ap-southeast

  • ap-southeast-3: -151265630221- -3 aws-glue-studio-transforms prod-ap-southeast

  • ap-southeast-4: -052235663858- -4 aws-glue-studio-transforms prod-ap-southeast

  • ca-central-1: -622716468547- -1 aws-glue-studio-transforms prod-ca-central

  • ca-west-1: -915795495192- aws-glue-studio-transforms -1 prod-ca-west

  • aws-glue-studio-transformseu-central-1: -560373232017- -1 prod-eu-central

  • aws-glue-studio-transformseu-central-2: -907358657121- -2 prod-eu-central

  • eu-north-1: -312557305497- -1 aws-glue-studio-transforms prod-eu-north

  • eu-south-1: -939684186351- -1 aws-glue-studio-transforms prod-eu-south

  • eu-south-2: -239737454084- -2 aws-glue-studio-transforms prod-eu-south

  • eu-west-1: -244479516193- -1 aws-glue-studio-transforms prod-eu-west

  • eu-west-2: -804222392271- -2 aws-glue-studio-transforms prod-eu-west

  • eu-west-3: -371299348807- -3 aws-glue-studio-transforms prod-eu-west

  • il-central-1: -806964611811- -1 aws-glue-studio-transforms prod-il-central

  • me-central-1: -733304270342- -1 aws-glue-studio-transforms prod-me-central

  • me-south-1: -112120182341- aws-glue-studio-transforms -1 prod-me-south

  • sa-east-1: -881619130292- aws-glue-studio-transforms -1 prod-sa-east

  • us-east-1: -510798373988- -1 aws-glue-studio-transforms prod-us-east

  • us-east-2: -251189692203- -2 aws-glue-studio-transforms prod-us-east

  • us-west-1: -593230150239- -1 aws-glue-studio-transforms prod-us-west

  • us-west-2: -818035625594- -2 aws-glue-studio-transforms prod-us-west

  • ap-northeast-1: -200493242866- -1 aws-glue-studio-transforms prod-ap-northeast

  • cn-nord-1: aws-glue-studio-transforms -071033555442- -1 prod-cn-north

  • cn-nord-ovest-1: aws-glue-studio-transforms -070947029561- -1 prod-cn-northwest

  • us-gov-west-1: aws-glue-studio-transforms -227493901923- -1-2604 prod-us-gov-west

Se scegli Amazon Redshift come origine dati, puoi assegnare un ruolo per le autorizzazioni del cluster. I lavori eseguiti su un Amazon Redshift cluster emettono comandi che accedono ad Amazon S3 per lo storage temporaneo utilizzando credenziali temporanee. Se il processo viene eseguito per più di un'ora, queste credenziali scadranno causando l'esito negativo del processo. Per evitare questo problema, puoi assegnare un ruolo al cluster Amazon Redshift stesso che concede le autorizzazioni necessarie ai processi utilizzando le credenziali temporanee. Per ulteriori informazioni, consulta Spostamento di dati da e verso Amazon Redshift nella Guida per gli sviluppatori di AWS Glue .

Se il processo utilizza origini dati o destinazioni diverse da Amazon S3, devi allegare le autorizzazioni necessarie al ruolo IAM utilizzato dal processo per accedere a tali origini dati e destinazioni. Per ulteriori informazioni, consulta Impostazione dell'ambiente per accedere a archivio dati nella Guida per gli sviluppatori di AWS Glue .

Se si utilizzano connettori e connessioni per l'archivio dati, è necessario disporre di autorizzazioni aggiuntive, come descritto in Autorizzazioni richieste per l'utilizzo dei connettori.

Autorizzazioni necessarie per l'eliminazione dei processi

In AWS Glue Studio, è possibile selezionare nella console più processi da eliminare. Per eseguire questa azione, è necessario disporre delle autorizzazioni glue:BatchDeleteJob. Diversamente, la console AWS Glue richiede l'autorizzazione glue:DeleteJob per l'eliminazione dei processi.

AWS Key Management Service autorizzazioni

Se prevedi di accedere a sorgenti e destinazioni Amazon S3 che utilizzano la crittografia lato server con AWS Key Management Service (AWS KMS), allega una policy al AWS Glue Studio ruolo utilizzato dal job che consenta al job di decrittografare i dati. Il ruolo del processo necessita delle autorizzazioni kms:ReEncrypt, kms:GenerateDataKey e kms:DescribeKey. Inoltre, il ruolo professionale richiede l'kms:Decryptautorizzazione per caricare o scaricare un oggetto Amazon S3 crittografato con una chiave master AWS KMS del cliente (CMK).

Sono previsti costi aggiuntivi per l'utilizzo. AWS KMS CMKs Per ulteriori informazioni, consulta AWS Key Management Service Concepts - Customer Master Keys (CMKs) and AWS Key Management Service Pricing nella AWS Key Management Service Developer Guide.

Autorizzazioni richieste per l'utilizzo dei connettori

Se usi una connessione e un connettore personalizzato AWS Glue per accedere a un archivio dati, il ruolo utilizzato per eseguire il processo ETL AWS Glue necessita di autorizzazioni aggiuntive allegate:

  • La policy gestita da AWS AmazonEC2ContainerRegistryReadOnly per l'accesso ai connettori acquistati Marketplace AWS.

  • Le autorizzazioni glue:GetJob e glue:GetJobs.

  • AWS Secrets Manager autorizzazioni per l'accesso ai segreti utilizzati con le connessioni. Per le policy IAM di esempio, consulta Esempio: Autorizzazione per recuperare valori segreti.

Se il processo ETL AWS Glue viene eseguito all'interno di un VPC che esegue Amazon VPC, il VPC deve essere configurato come descritto in Configurazione di un VPC per il tuo processo ETL.