Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Domande frequenti su Amazon MWAA

Questa pagina descrive le domande più comuni che puoi incontrare quando usi Amazon Managed Workflows for Apache Airflow.

Versioni supportate

Cosa supporta Amazon MWAA per Apache Airflow v2?

Per scoprire cosa supporta Amazon MWAA, consulta. Versioni di Apache Airflow su Flussi di lavoro gestiti da Amazon per Apache Airflow

Quale versione di Python posso usare?

Le seguenti versioni di Apache Airflow sono supportate su Amazon Managed Workflows for Apache Airflow.

Per ulteriori informazioni sulla migrazione delle distribuzioni Apache Airflow autogestite o sulla migrazione di un ambiente Amazon MWAA esistente, incluse le istruzioni per il backup del database di metadati, consulta la Amazon MWAA Migration Guide. https://docs.aws.amazon.com/mwaa/latest/migrationguide/index.html

Casi d’uso

Posso usare SageMaker Amazon MWAA con Amazon Unified Studio?

Sì. Con un flusso di lavoro di Amazon SageMaker Unified Studio, puoi configurare ed eseguire una serie di attività in Amazon Unified Studio. SageMaker I flussi di lavoro di Amazon SageMaker Unified Studio utilizzano Apache Airflow per modellare le procedure di elaborazione dei dati e orchestrare gli artefatti del codice di Amazon Unified Studio. SageMaker Per ulteriori informazioni, consulta la sezione Flussi di lavoro. https://docs.aws.amazon.com/sagemaker-unified-studio/latest/userguide/workflow-orchestration.html Per saperne di più su Amazon SageMaker, consulta Cos'è Amazon SageMaker?

Quando posso usare AWS Step Functions Rispetto ad Amazon MWAA?

Specifiche ambientali

Quanto spazio di archiviazione delle attività è disponibile per ogni ambiente?

Lo spazio di archiviazione delle attività è limitato a 20 GB ed è specificato da Amazon ECS Fargate 1.4. La quantità di RAM è determinata dalla classe di ambiente specificata. Per ulteriori informazioni sulle classi di ambiente, fare riferimento aConfigurazione della classe di ambiente Amazon MWAA.

Qual è il sistema operativo predefinito utilizzato per gli ambienti Amazon MWAA?

Gli ambienti Amazon MWAA vengono creati su istanze che eseguono Amazon Linux 2 per le versioni 2.6 e precedenti e su istanze che eseguono Amazon Linux 2023 per le versioni 2.7 e successive.

Posso usare un'immagine personalizzata per il mio ambiente Amazon MWAA?

Le immagini personalizzate non sono supportate. Amazon MWAA utilizza immagini create su Amazon Linux AMI. Amazon MWAA installa i requisiti aggiuntivi pip3 -r install eseguendo i requisiti specificati nel file requirements.txt che aggiungi al bucket Amazon S3 per l'ambiente.

Amazon MWAA è conforme agli standard HIPAA?

Amazon MWAA è conforme all'Health Insurance Portability and Accountability Act (HIPAA). Se disponi di un HIPAA Business Associate Addendum (BAA) AWS, puoi utilizzare Amazon MWAA per i flussi di lavoro che gestiscono le informazioni sanitarie protette (PHI) in ambienti creati il 14 novembre 2022 o successivamente.

Amazon MWAA supporta le istanze Spot?

Amazon MWAA attualmente non supporta i tipi di istanze Spot Amazon EC2 su richiesta per Apache Airflow. Tuttavia, un ambiente Amazon MWAA può attivare istanze Spot su, ad esempio, Amazon EMR e Amazon EC2.

Amazon MWAA supporta un dominio personalizzato?

Per poter utilizzare un dominio personalizzato per il tuo nome host Amazon MWAA, esegui una delle seguenti operazioni:

Posso accedere tramite SSH al mio ambiente?

Sebbene SSH non sia supportato in un ambiente Amazon MWAA, è possibile utilizzare un DAG per eseguire comandi bash utilizzando. BashOperator Ad esempio:

from airflow import DAG
				from airflow.operators.bash_operator import BashOperator
				from airflow.utils.dates import days_ago
				with DAG(dag_id="any_bash_command_dag", schedule_interval=None, catchup=False, start_date=days_ago(1)) as dag:
				cli_command = BashOperator(
				task_id="bash_command",
				bash_command="{{ dag_run.conf['command'] }}"
				)

Per attivare il DAG nell'interfaccia utente di Apache Airflow, usa:

{ "command" : "your bash command"}

Perché è richiesta una regola di autoreferenziazione nel gruppo di sicurezza VPC?

Creando una regola autoreferenziale, stai limitando l'origine allo stesso gruppo di sicurezza nel VPC e non è aperta a tutte le reti. Per saperne di più, fai riferimento a. Sicurezza nel tuo VPC su Amazon MWAA

Posso nascondere ambienti di diversi gruppi in IAM?

Puoi limitare l'accesso specificando un nome di ambiente in AWS Identity and Access Management, tuttavia, il filtro di accesso non è disponibile nella AWS console: se un utente può accedere a un ambiente, può accedere a tutti gli ambienti.

Posso archiviare dati temporanei sul worker Apache Airflow?

Gli operatori Apache Airflow possono archiviare dati temporanei sui lavoratori. I lavoratori di Apache Airflow possono accedere ai file temporanei contenuti nei contenitori /tmp Fargate del vostro ambiente.

Posso specificare più di 25 worker Apache Airflow?

Sì. Sebbene sia possibile specificare fino a 25 lavoratori Apache Airflow sulla console Amazon MWAA, è possibile configurarne fino a 50 in un ambiente richiedendo un aumento della quota. Per ulteriori informazioni, consulta Richiedere un aumento della quota.

Amazon MWAA supporta Amazon VPC condivisi o sottoreti condivise?

Amazon MWAA non supporta Amazon VPC condivisi o sottoreti condivise. L'Amazon VPC selezionato al momento della creazione di un ambiente deve essere di proprietà dell'account che sta tentando di creare l'ambiente. Tuttavia, puoi indirizzare il traffico da un Amazon VPC nell'account Amazon MWAA a un VPC condiviso. Per ulteriori informazioni e un esempio di routing del traffico verso un Amazon VPC condiviso, consulta la sezione Centralized outbound routing to the Internet nella Amazon VPC Transit Gateways Guide.

Posso creare o integrare code Amazon SQS personalizzate per gestire l'esecuzione delle attività e l'orchestrazione del flusso di lavoro in Apache Airflow?

No, non puoi creare, modificare o utilizzare code Amazon SQS personalizzate all'interno di Amazon MWAA. Questo perché Amazon MWAA esegue automaticamente il provisioning e gestisce la propria coda Amazon SQS per ogni ambiente Amazon MWAA.

Metriche

Quali metriche vengono utilizzate per determinare se scalare i lavoratori?

Amazon MWAA monitora gli QueuedTasks input CloudWatch per determinare se scalare i worker di Apache Airflow RunningTasks nel tuo ambiente. Per ulteriori informazioni, consulta. Monitoraggio e metriche per Amazon Managed Workflows for Apache Airflow

Posso creare metriche personalizzate in CloudWatch?

Non sulla CloudWatch console. Tuttavia, puoi creare un DAG che scriva metriche personalizzate in. CloudWatch Per ulteriori informazioni, vedi Utilizzo di un DAG per scrivere metriche personalizzate in CloudWatch.

DAG, operatori, connessioni e altre domande

Posso usare il? PythonVirtualenvOperator

Con Amazon MWAA, puoi utilizzare ilPythonVirtualenvOperator, che viene preinstallato in ogni ambiente. Usalo per eseguire callable Python in un ambiente virtuale con dipendenze isolate. Per ulteriori informazioni sui pacchetti preinstallati, vedere. Pacchetti del provider Apache Airflow installati in ambienti Amazon MWAA

Quanto tempo impiega Amazon MWAA a riconoscere un nuovo file DAG?

I DAG vengono sincronizzati periodicamente dal bucket Amazon S3 al tuo ambiente. Se aggiungi un nuovo file DAG, Amazon MWAA impiega circa 300 secondi per iniziare a utilizzare il nuovo file. Se aggiorni un DAG esistente, Amazon MWAA impiega circa 30 secondi per riconoscere gli aggiornamenti.

Questi valori, 300 secondi per i nuovi DAG e 30 secondi per gli aggiornamenti ai DAG esistenti, corrispondono rispettivamente alle opzioni di configurazione di Apache Airflow. dag_dir_list_interval min_file_process_interval

Perché il mio file DAG non viene prelevato da Apache Airflow?

Di seguito sono elencate le possibili soluzioni a questo problema:

Posso rimuovere un file plugins.zip o requirements.txt da un ambiente?

Al momento, non è possibile rimuovere un plugins.zip o un requirements.txt da un ambiente una volta aggiunti, ma stiamo lavorando al problema. Nel frattempo, una soluzione alternativa consiste nel puntare rispettivamente a un file di testo o zip vuoto. Per ulteriori informazioni, fare riferimento a. Eliminazione di file su Amazon S3

Perché i miei plugin non vengono visualizzati nel menu Apache Airflow v2.0.2 Admin Plugins?

Per motivi di sicurezza, il server web Apache Airflow su Amazon MWAA ha un accesso di rete limitato e non installa plug-in né dipendenze Python direttamente sul server web Apache Airflow per ambienti con versione 2.0.2. Il plug-in elencato consente ad Amazon MWAA di autenticare gli utenti di Apache Airflow in (IAM). AWS Identity and Access Management

Per poter installare plugin e dipendenze Python direttamente sul server web, consigliamo di creare un nuovo ambiente con Apache Airflow v2.2 e versioni successive. Amazon MWAA installa le dipendenze Python e i plug-in personalizzati direttamente sul server web per Apache Airflow v2.2 e versioni successive.

Posso usare AWS Operatori di Database Migration Service (DMS)?

Amazon MWAA supporta gli operatori DMS. Tuttavia, questo operatore non può essere utilizzato per eseguire azioni sul database di metadati Amazon Aurora PostgreSQL associato a un ambiente Amazon MWAA.

Quando accedo all'API REST di Airflow utilizzando AWS credenziali, posso aumentare il limite di limitazione a più di 10 transazioni al secondo (TPS)?

Sì, è possibile. Per aumentare il limite di limitazione, contatta l'assistenza clienti. AWS

Dove viene eseguito il server API Airflow Task Execution in Amazon MWAA?

Amazon MWAA esegue il server API Airflow Task Execution nel componente Webserver. Le API Task Execution sono disponibili solo in Apache Airflow v3 e versioni successive. Per ulteriori informazioni sull'architettura Amazon MWAA, consulta. Architecture