Risoluzione dei problemi: creazione e aggiornamento di un ambiente Amazon MWAA

Controlla le versioni dei pacchetti. Ti consigliamo di specificare sempre una versione specifica (==) o una versione massima (<=) per le dipendenze Python nel tuo. requirements.txt

Controlla i log di Apache Airflow. Se hai abilitato i log di Apache Airflow, verifica che i gruppi di log siano stati creati correttamente nella pagina Logs groups della console. CloudWatch Se ricevi log vuoti, il motivo più comune è dovuto alla mancanza di autorizzazioni nel tuo ruolo di esecuzione per CloudWatch Amazon S3, dove vengono scritti i log. Per ulteriori informazioni, consulta. Ruolo di esecuzione

Controlla le opzioni di configurazione di Apache Airflow. Se utilizzi Secrets Manager, verifica che le coppie chiave-valore che hai specificato come opzione di configurazione Apache Airflow siano configurate correttamente. Per ulteriori informazioni, fare riferimento a. Configurazione di una connessione Apache Airflow utilizzando un segreto Gestione dei segreti AWS

Controlla la configurazione della rete VPC. Per ulteriori informazioni, fare riferimento a. Ho provato a creare un ambiente ma è bloccato Creating

Controlla le autorizzazioni del ruolo di esecuzione. Un ruolo di esecuzione è un ruolo AWS Identity and Access Management (IAM) con una politica di autorizzazioni che concede ad Amazon MWAA l'autorizzazione a richiamare le risorse di altri AWS servizi (come Amazon S3, Amazon CloudWatch SQS, Amazon ECR) per tuo conto. Inoltre, è necessario consentire l'accesso alla chiave gestita dal cliente o alla chiave di proprietà.AWS Per ulteriori informazioni, fare riferimento a. Ruolo di esecuzione

Per eseguire uno script di risoluzione dei problemi che controlli la configurazione e la configurazione della rete Amazon VPC per il tuo ambiente Amazon MWAA, consulta lo script Verify Environment in Support AWS Tools su. GitHub

Segui i passaggi per allegare una policy JSON al tuo ruolo di esecuzione.

Allega la seguente politica JSON:

{
  "Effect":"Allow",
  "Action":[
    "s3:GetObject*",
    "s3:GetBucket*",
    "s3:List*"
  ],
  "Resource":[
    "arn:aws:s3:::amzn-s3-demo-bucket",
    "arn:aws:s3:::amzn-s3-demo-bucket/*"
  ]
}

Sostituisci i segnaposto di esempio amzn-s3-demo-bucket con il nome del tuo bucket Amazon S3.

Per eseguire uno script di risoluzione dei problemi che controlli la configurazione e la configurazione della rete Amazon VPC per il tuo ambiente Amazon MWAA, consulta lo script Verify Environment in Support AWS Tools su. GitHub

Controlla la rete VPC con routing pubblico. Se utilizzi un Amazon VPC con accesso a Internet, verifica quanto segue:

1. Che il tuo Amazon VPC sia configurato per consentire il traffico di rete tra le diverse AWS risorse utilizzate dal tuo ambiente Amazon MWAA, come definito in. Informazioni sulla rete su Amazon MWAA Ad esempio, il gruppo di sicurezza VPC deve consentire tutto il traffico in una regola di autoreferenziazione o, facoltativamente, specificare l'intervallo di porte per l'intervallo di porte HTTPS 443 e un intervallo di porte TCP 5432.

Controlla la rete VPC con routing privato. Se utilizzi un Amazon VPC senza accesso a Internet, verifica quanto segue:

1. Che il tuo Amazon VPC sia configurato per consentire il traffico di rete tra AWS le diverse risorse per il tuo ambiente Amazon MWAA, come definito in. Informazioni sulla rete su Amazon MWAA Ad esempio, le due sottoreti private non devono avere una tabella di routing verso un gateway NAT (o un'istanza NAT), né un gateway Internet.

Per eseguire uno script di risoluzione dei problemi che controlli la configurazione e la configurazione della rete Amazon VPC per il tuo ambiente Amazon MWAA, consulta lo script Verify Environment in Support AWS Tools su. GitHub

Controlla la configurazione della rete VPC. Per ulteriori informazioni, fare riferimento a. Ho provato a creare un ambiente ma è bloccato Creating

Controlla le autorizzazioni degli utenti. Amazon MWAA esegue un dry run con le credenziali di un utente prima di creare un ambiente. Account AWS Potresti non avere l'autorizzazione in AWS Identity and Access Management (IAM) per creare alcune risorse per un ambiente. Ad esempio, se hai scelto la modalità di accesso alla rete privata Apache Airflow, Account AWS devi aver ottenuto l'accesso dall'amministratore alla politica di controllo degli accessi di MWAAFullConsoleAccessAmazon per il tuo ambiente, che consente al tuo account di creare endpoint VPC.

Controlla le autorizzazioni del ruolo di esecuzione. Un ruolo di esecuzione è un ruolo AWS Identity and Access Management (IAM) con una politica di autorizzazioni che concede ad Amazon MWAA l'autorizzazione a richiamare le risorse di altri AWS servizi (come Amazon S3, Amazon CloudWatch SQS, Amazon ECR) per tuo conto. Inoltre, è necessario consentire l'accesso alla chiave gestita dal cliente o alla chiave di proprietà.AWS Per ulteriori informazioni, fare riferimento a. Ruolo di esecuzione

Controlla i log di Apache Airflow. Se hai abilitato i log di Apache Airflow, verifica che i gruppi di log siano stati creati correttamente nella pagina Logs groups della console. CloudWatch Se ricevi log vuoti, il motivo più comune è dovuto alla mancanza di autorizzazioni nel tuo ruolo di esecuzione per CloudWatch Amazon S3, dove vengono scritti i log. Per ulteriori informazioni, consulta. Ruolo di esecuzione

Per eseguire uno script di risoluzione dei problemi che controlli la configurazione e la configurazione della rete Amazon VPC per il tuo ambiente Amazon MWAA, consulta lo script Verify Environment in Support AWS Tools su. GitHub

Se utilizzi un Amazon VPC senza accesso a Internet, assicurati di aver creato un endpoint gateway Amazon S3 e di aver concesso le autorizzazioni minime richieste ad Amazon ECR per accedere ad Amazon S3. Per ulteriori informazioni sulla creazione di un endpoint gateway Amazon S3, consulta quanto segue:

Controlla la configurazione del gruppo di sicurezza VPC. Per ulteriori informazioni, fare riferimento a. Ho provato a creare un ambiente ma è bloccato Creating

Verifica che tutti i pacchetti Apache Airflow che hai elencato corrispondano requirements.txt alla versione di Apache Airflow in esecuzione su Amazon MWAA. Per ulteriori informazioni, consulta. Installazione delle dipendenze in Python

Per eseguire uno script di risoluzione dei problemi che controlli la configurazione e la configurazione della rete Amazon VPC per il tuo ambiente Amazon MWAA, consulta lo script Verify Environment in Support AWS Tools su. GitHub

Testa i tuoi DAGs plugin personalizzati e le dipendenze Python localmente usando on. aws-mwaa-docker-images GitHub

Per eseguire uno script di risoluzione dei problemi che controlli la configurazione e la configurazione della rete Amazon VPC per il tuo ambiente Amazon MWAA, consulta lo script Verify Environment in Support AWS Tools su. GitHub

Controlla le autorizzazioni degli utenti. È possibile che non ti sia stato concesso l'accesso a una politica di autorizzazioni che puoi utilizzare per accedere all'interfaccia utente di Apache Airflow. Per ulteriori informazioni, consulta. Accesso a un ambiente Amazon MWAA

Verificare l'accesso alla rete. Ciò potrebbe essere dovuto al fatto che hai selezionato la modalità di accesso alla rete privata. Se l'URL dell'interfaccia utente di Apache Airflow è nel 387fbcn-8dh4-9hfj-0dnd-834jhdfb-vpce.c10.us-west-2.airflow.amazonaws.com formato seguente, significa che stai utilizzando un routing privato per il tuo server web Apache Airflow. Puoi aggiornare la modalità di accesso Apache Airflow alla modalità di accesso alla rete pubblica o creare un meccanismo per accedere all'endpoint VPC per il tuo server Web Apache Airflow. Per ulteriori informazioni, fare riferimento a. Gestione dell'accesso agli endpoint Amazon VPC specifici del servizio su Amazon MWAA