Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Domande frequenti su Amazon MWAA

Questa pagina descrive le domande più comuni che potresti incontrare quando usi Amazon Managed Workflows for Apache Airflow.

Versioni supportate

Cosa supporta Amazon MWAA per Apache Airflow v2?

Per sapere cosa supporta Amazon MWAA, consulta. Versioni di Apache Airflow su Amazon Managed Workflow per Apache Airflow

Quale versione di Python posso usare?

Le seguenti versioni di Apache Airflow sono supportate su Amazon Managed Workflows for Apache Airflow.

Per ulteriori informazioni sulla migrazione delle distribuzioni di Apache Airflow autogestite o sulla migrazione di un ambiente Amazon MWAA esistente, incluse le istruzioni per il backup del database di metadati, consulta la Amazon MWAA Migration Guide.

Casi d'uso

Posso usare Amazon MWAA con Amazon SageMaker Unified Studio?

Sì. Con un flusso di lavoro di Amazon SageMaker Unified Studio, puoi configurare ed eseguire una serie di attività in Amazon SageMaker Unified Studio. I flussi di lavoro di Amazon SageMaker Unified Studio utilizzano Apache Airflow per modellare le procedure di elaborazione dei dati e orchestrare gli artefatti del codice di Amazon Unified Studio. SageMaker Per ulteriori informazioni, consulta la sezione Flussi di lavoro. Per ulteriori informazioni su Amazon SageMaker, consulta What is Amazon SageMaker?

Quando posso usare AWS Step Functions vs. Amazon MWAA?

Specifiche dell'ambiente

Quanto spazio di archiviazione delle attività è disponibile per ogni ambiente?

Lo spazio di archiviazione delle attività è limitato a 20 GB ed è specificato da Amazon ECS Fargate 1.4. La quantità di RAM è determinata dalla classe di ambiente specificata. Per ulteriori informazioni sulle classi di ambiente, fare riferimento aConfigurazione della classe di ambiente Amazon MWAA.

Qual è il sistema operativo predefinito utilizzato per gli ambienti Amazon MWAA?

Gli ambienti Amazon MWAA vengono creati su istanze che eseguono Amazon Linux 2 per le versioni 2.6 e precedenti e su istanze che eseguono Amazon Linux 2023 per le versioni 2.7 e successive.

Posso usare un'immagine personalizzata per il mio ambiente Amazon MWAA?

Le immagini personalizzate non sono supportate. Amazon MWAA utilizza immagini basate su AMI Amazon Linux. Amazon MWAA installa i requisiti aggiuntivi eseguendo pip3 -r install i requisiti specificati nel file requirements.txt che aggiungi al bucket Amazon S3 per l'ambiente.

Amazon MWAA è conforme alla normativa HIPAA?

Amazon MWAA è idoneo all'Health Insurance Portability and Accountability Act (HIPAA). Se disponi di un HIPAA Business Associate Addendum (BAA) AWS, puoi utilizzare Amazon MWAA per flussi di lavoro che gestiscono Protected Health Information (PHI) in ambienti creati a partire dal 14 novembre 2022.

Amazon MWAA supporta le istanze Spot?

Amazon MWAA attualmente non supporta i tipi di istanze EC2 Amazon Spot on-demand per Apache Airflow. Tuttavia, un ambiente Amazon MWAA può attivare istanze Spot su, ad esempio, Amazon EMR e Amazon. EC2

Amazon MWAA supporta un dominio personalizzato?

Per poter utilizzare un dominio personalizzato per il tuo nome host Amazon MWAA, esegui una delle seguenti operazioni:

Posso accedere al mio ambiente tramite SSH?

Sebbene SSH non sia supportato in un ambiente Amazon MWAA, è possibile utilizzare un DAG per eseguire comandi bash utilizzando. BashOperator Ad esempio:

from airflow import DAG
				from airflow.operators.bash_operator import BashOperator
				from airflow.utils.dates import days_ago
				with DAG(dag_id="any_bash_command_dag", schedule_interval=None, catchup=False, start_date=days_ago(1)) as dag:
				cli_command = BashOperator(
				task_id="bash_command",
				bash_command="{{ dag_run.conf['command'] }}"
				)

Per attivare il DAG nell'interfaccia utente di Apache Airflow, usa:

{ "command" : "your bash command"}

Perché è richiesta una regola di autoreferenziazione nel gruppo di sicurezza VPC?

Creando una regola di autoreferenziazione, limiti l'origine allo stesso gruppo di sicurezza nel VPC e non è aperta a tutte le reti. Per ulteriori informazioni, fare riferimento a. Sicurezza nel tuo VPC su Amazon MWAA

Posso nascondere ambienti a gruppi diversi in IAM?

Puoi limitare l'accesso specificando un nome di ambiente in AWS Identity and Access Management, tuttavia, il filtro di accesso non è disponibile nella AWS console: se un utente può visualizzare un ambiente, può visualizzare tutti gli ambienti.

Posso archiviare dati temporanei sul worker Apache Airflow?

I tuoi operatori Apache Airflow possono archiviare dati temporanei sui lavoratori. Gli operatori di Apache Airflow possono accedere ai file temporanei nei container /tmp Fargate del proprio ambiente.

Posso specificare più di 25 lavoratori Apache Airflow?

Sì. Sebbene sia possibile specificare fino a 25 worker Apache Airflow sulla console Amazon MWAA, è possibile configurarne fino a 50 in un ambiente richiedendo un aumento della quota. Per ulteriori informazioni, consulta Richiedere un aumento della quota.

Amazon MWAA supporta Amazon condivise VPCs o sottoreti condivise?

Amazon MWAA non supporta Amazon condivise VPCs o sottoreti condivise. L'Amazon VPC selezionato quando crei un ambiente deve essere di proprietà dell'account che sta tentando di creare l'ambiente. Tuttavia, puoi indirizzare il traffico da un Amazon VPC nell'account Amazon MWAA a un VPC condiviso. Per ulteriori informazioni e un esempio di routing del traffico verso un Amazon VPC condiviso, consulta la sezione Routing centralizzato in uscita verso Internet nella Amazon VPC Transit Gateways Guide.

Posso creare o integrare code Amazon SQS personalizzate per gestire l'esecuzione delle attività e l'orchestrazione del flusso di lavoro in Apache Airflow?

No, non è possibile creare, modificare o utilizzare code Amazon SQS personalizzate all'interno di Amazon MWAA. Questo perché Amazon MWAA effettua automaticamente il provisioning e gestisce la propria coda Amazon SQS per ogni ambiente Amazon MWAA.

Parametri

Quali parametri vengono utilizzati per determinare se scalare i dipendenti?

Amazon MWAA monitora QueuedTasksand RunningTasksin ingresso CloudWatch per determinare se scalare i worker Apache Airflow nel tuo ambiente. Per ulteriori informazioni, consulta. Monitoraggio e parametri per Amazon Managed Workflows for Apache Airflow

Posso creare metriche personalizzate in CloudWatch?

Non sulla CloudWatch console. Tuttavia, puoi creare un DAG in cui scrivere metriche personalizzate. CloudWatch Per ulteriori informazioni, vedi Utilizzo di un DAG per scrivere metriche personalizzate in CloudWatch.

DAGs, Operatori, connessioni e altre domande

Posso usare ilPythonVirtualenvOperator?

Non PythonVirtualenvOperator è supportato in modo esplicito su Amazon MWAA, ma puoi creare un plug-in personalizzato che utilizza il. PythonVirtualenvOperator Per un codice di esempio, consulta. Creazione di un plugin personalizzato per Apache Airflow PythonVirtualenvOperator

Quanto tempo impiega Amazon MWAA a riconoscere un nuovo file DAG?

DAGs vengono sincronizzati periodicamente dal bucket Amazon S3 al tuo ambiente. Se aggiungi un nuovo file DAG, Amazon MWAA impiega circa 300 secondi per iniziare a utilizzare il nuovo file. Se aggiorni un DAG esistente, Amazon MWAA impiega circa 30 secondi per riconoscere gli aggiornamenti.

Questi valori, 300 secondi per i nuovi DAGs e 30 secondi per gli aggiornamenti a quelli esistenti DAGs, corrispondono rispettivamente alle dag_dir_list_intervalopzioni di configurazione di Apache Airflow. min_file_process_interval

Perché il mio file DAG non viene prelevato da Apache Airflow?

Di seguito sono riportate le possibili soluzioni per questo problema:

Posso rimuovere un plugins.zip or requirements.txt da un ambiente?

Al momento, non è possibile rimuovere plugins.zip o requirements.txt da un ambiente una volta aggiunti, ma stiamo lavorando al problema. Nel frattempo, una soluzione alternativa consiste nel puntare rispettivamente a un file di testo o zip vuoto. Per ulteriori informazioni, fare riferimento a. Eliminazione di file su Amazon S3

Perché non vedo i miei plugin nel menu Admin Plugins di Apache Airflow v2.0.2?

Per motivi di sicurezza, il server web Apache Airflow su Amazon MWAA ha un accesso limitato alla rete e non installa plugin né dipendenze Python direttamente sul server web Apache Airflow per ambienti versione 2.0.2. Il plug-in elencato consente ad Amazon MWAA di autenticare gli utenti Apache Airflow in (IAM). AWS Identity and Access Management

Per poter installare plugin e dipendenze Python direttamente sul server web, consigliamo di creare un nuovo ambiente con Apache Airflow v2.2 e versioni successive. Amazon MWAA installa le dipendenze Python e i plug-in personalizzati direttamente sul server Web per Apache Airflow v2.2 e versioni successive.

Posso usare gli operatori AWS del Database Migration Service (DMS)?

Amazon MWAA supporta gli operatori DMS. Tuttavia, questo operatore non può essere utilizzato per eseguire azioni sul database di metadati PostgreSQL di Amazon Aurora associato a un ambiente Amazon MWAA.

Quando accedo all'API REST di Airflow utilizzando AWS le credenziali, posso aumentare il limite di limitazione a più di 10 transazioni al secondo (TPS)?

Sì, è possibile. Per aumentare il limite di limitazione, contatta l'AWS Assistenza clienti.

Dove viene eseguito il server API Airflow Task Execution in Amazon MWAA?

Amazon MWAA esegue il server API Airflow Task Execution nel componente Webserver. L' APIs esecuzione delle attività è disponibile solo in Apache Airflow v3 e versioni successive. Per ulteriori informazioni sull'architettura Amazon MWAA, consulta. Architettura