Risoluzione dei problemi: creazione e aggiornamento di un ambiente Amazon MWAA

Controlla le versioni del pacchetto. Ti consigliamo di specificare sempre una versione specifica (==) o una versione massima (<=) per le dipendenze Python nel tuo. requirements.txt

Controllate i log di Apache Airflow. Se hai abilitato i log di Apache Airflow, verifica che i gruppi di log siano stati creati correttamente nella pagina Logs groups della console. CloudWatch Se ricevi log vuoti, il motivo più comune è la mancanza di autorizzazioni nel tuo ruolo di esecuzione per CloudWatch Amazon S3, dove vengono scritti i log. Per saperne di più, consulta. Ruolo di esecuzione

Controllate le opzioni di configurazione di Apache Airflow. Se utilizzate Secrets Manager, verificate che le coppie chiave-valore specificate come opzione di configurazione di Apache Airflow siano state configurate correttamente. Per saperne di più, consulta. Configurazione di una connessione Apache Airflow utilizzando un AWS Secrets Manager Secret

Controlla la configurazione della rete VPC. Per saperne di più, consulta. Ho provato a creare un ambiente ed è bloccato nello stato Creazione

Controlla le autorizzazioni dei ruoli di esecuzione. Un ruolo di esecuzione è un ruolo AWS Identity and Access Management (IAM) con una politica di autorizzazioni che concede ad Amazon MWAA il permesso di richiamare le risorse di altri AWS servizi (come Amazon S3, Amazon SQS CloudWatch, Amazon ECR) per tuo conto. È inoltre necessario consentire l'accesso alla tua Customer-managed chiave o alla tua chiave AWS di proprietà. Per saperne di più, fai riferimento a. Ruolo di esecuzione

Per eseguire uno script di risoluzione dei problemi che controlli la configurazione e la configurazione della rete Amazon VPC per il tuo ambiente Amazon MWAA, consulta lo script Verify Environment in AWS Support Tools on. GitHub

Segui i passaggi per allegare una policy JSON al tuo ruolo di esecuzione.

Allega la seguente politica JSON:

{
  "Effect":"Allow",
  "Action":[
    "s3:GetObject*",
    "s3:GetBucket*",
    "s3:List*"
  ],
  "Resource":[
    "arn:aws:s3:::amzn-s3-demo-bucket",
    "arn:aws:s3:::amzn-s3-demo-bucket/*"
  ]
}

Sostituisci i segnaposto di esempio amzn-s3-demo-bucket con il nome del tuo bucket Amazon S3.

Per eseguire uno script di risoluzione dei problemi che controlli la configurazione e la configurazione della rete Amazon VPC per il tuo ambiente Amazon MWAA, consulta lo script Verify Environment in Support Tools on. https://github.com/awslabs/aws-support-tools/tree/master/MWAA AWS GitHub

Controlla la rete VPC con routing pubblico. Se utilizzi un Amazon VPC con accesso a Internet, verifica quanto segue:

1. Che Amazon VPC sia configurato per consentire il traffico di rete tra le diverse AWS risorse utilizzate dal tuo ambiente Amazon MWAA, come definito in. Informazioni sulla rete su Amazon MWAA Ad esempio, il tuo gruppo di sicurezza VPC deve consentire tutto il traffico in una regola autoreferenziale o, facoltativamente, specificare l'intervallo di porte per l'intervallo di porte HTTPS 443 e un intervallo di porte TCP 5432.

Controlla la rete VPC con routing privato. Se utilizzi un Amazon VPC senza accesso a Internet, verifica quanto segue:

1. Che Amazon VPC sia configurato per consentire il traffico di rete tra AWS le diverse risorse per il tuo ambiente Amazon MWAA, come definito in. Informazioni sulla rete su Amazon MWAA Ad esempio, le due sottoreti private non devono avere una tabella di routing verso un gateway NAT (o istanza NAT), né un gateway Internet.

Per eseguire uno script di risoluzione dei problemi che controlli la configurazione e la configurazione della rete Amazon VPC per il tuo ambiente Amazon MWAA, consulta lo script Verify Environment in Support Tools on. https://github.com/awslabs/aws-support-tools/tree/master/MWAA AWS GitHub

Controlla la configurazione della rete VPC. Per saperne di più, consulta. Ho provato a creare un ambiente ed è bloccato nello stato Creazione

Verifica le autorizzazioni utente. Amazon MWAA esegue una prova a secco sulle credenziali di un utente prima di creare un ambiente. Account AWS Potresti non avere l'autorizzazione in AWS Identity and Access Management (IAM) per creare alcune delle risorse per un ambiente. Ad esempio, se hai scelto la modalità di accesso Apache Airflow alla rete privata, l'amministratore Account AWS deve aver ottenuto l'accesso alla politica di controllo degli AmazonMWAAFullConsoleAccess accessi per il tuo ambiente, che consente al tuo account di creare endpoint VPC.

Verifica le autorizzazioni dei ruoli di esecuzione. Un ruolo di esecuzione è un ruolo AWS Identity and Access Management (IAM) con una politica di autorizzazioni che concede ad Amazon MWAA il permesso di richiamare le risorse di altri AWS servizi (come Amazon S3, Amazon SQS CloudWatch, Amazon ECR) per tuo conto. È inoltre necessario consentire l'accesso alla tua Customer-managed chiave o alla tua chiave AWS di proprietà. Per saperne di più, fai riferimento a. Ruolo di esecuzione

Controllate i log di Apache Airflow. Se hai abilitato i log di Apache Airflow, verifica che i gruppi di log siano stati creati correttamente nella pagina Logs groups della console. CloudWatch Se ricevi log vuoti, il motivo più comune è la mancanza di autorizzazioni nel tuo ruolo di esecuzione per CloudWatch Amazon S3, dove vengono scritti i log. Per saperne di più, consulta. Ruolo di esecuzione

Per eseguire uno script di risoluzione dei problemi che controlli la configurazione e la configurazione della rete Amazon VPC per il tuo ambiente Amazon MWAA, consulta lo script Verify Environment in AWS Support Tools on. GitHub

Se utilizzi un Amazon VPC senza accesso a Internet, assicurati di aver creato un endpoint gateway Amazon S3 e di aver concesso le autorizzazioni minime richieste ad Amazon ECR per accedere ad Amazon S3. Per ulteriori informazioni sulla creazione di un endpoint gateway Amazon S3, consulta quanto segue:

Controlla la configurazione del gruppo di sicurezza VPC. Per saperne di più, fai riferimento a. Ho provato a creare un ambiente ed è bloccato nello stato Creazione

Verifica che tutti i pacchetti Apache Airflow elencati requirements.txt corrispondano alla versione di Apache Airflow in esecuzione su Amazon MWAA. Per saperne di più, consulta. Installazione delle dipendenze Python

Per eseguire uno script di risoluzione dei problemi che controlli la configurazione e la configurazione della rete Amazon VPC per il tuo ambiente Amazon MWAA, consulta lo script Verify Environment in AWS Support Tools on. GitHub

Testa i tuoi DAG, i plugin personalizzati e le dipendenze Python localmente usando aws-mwaa-docker-images on. https://github.com/aws/amazon-mwaa-docker-images GitHub

Per eseguire uno script di risoluzione dei problemi che controlli la configurazione e la configurazione della rete Amazon VPC per il tuo ambiente Amazon MWAA, consulta lo script Verify Environment in AWS Strumenti di supporto su. GitHub

Controlla le autorizzazioni utente. È possibile che non ti sia stato concesso l'accesso a una politica di autorizzazioni che puoi utilizzare per accedere all'interfaccia utente di Apache Airflow. Per saperne di più, consulta. Accesso a un ambiente Amazon MWAA

Controlla l'accesso alla rete. Ciò potrebbe essere dovuto al fatto che hai selezionato la modalità di accesso alla rete privata. Se l'URL dell'interfaccia utente di Apache Airflow è nel formato seguente387fbcn-8dh4-9hfj-0dnd-834jhdfb-vpce.c10.us-west-2.airflow.amazonaws.com, significa che stai utilizzando un routing privato per il tuo server web Apache Airflow. È possibile aggiornare la modalità di accesso di Apache Airflow alla modalità di accesso alla rete pubblica o creare un meccanismo per accedere all'endpoint VPC per il server Web Apache Airflow. Per ulteriori informazioni, fare riferimento a. Gestione dell'accesso agli endpoint Amazon VPC specifici del servizio su Amazon MWAA