Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Esplora l'architettura di rete Amazon MWAA
La sezione seguente descrive i componenti principali che costituiscono un ambiente Amazon MWAA e il set di AWS servizi con cui ogni ambiente si integra per gestirne le risorse, proteggere i dati e fornire monitoraggio e visibilità per i flussi di lavoro.
Argomenti
Componenti Amazon MWAA
Gli ambienti Amazon MWAA sono costituiti dai seguenti quattro componenti principali:
-
Scheduler: analizza e monitora tutte le attività e mette in coda le DAGs attività per l'esecuzione quando vengono soddisfatte le dipendenze di un DAG. Amazon MWAA distribuisce lo scheduler come AWS Fargate cluster con un minimo di 2 scheduler. Puoi aumentare il numero di pianificatori fino a cinque, a seconda del carico di lavoro. Per ulteriori informazioni sulle classi di ambiente Amazon MWAA, consulta Amazon MWAA Environment Class.
-
Lavoratori: una o più attività Fargate che eseguono le attività pianificate. Il numero di lavoratori per l'ambiente è determinato da un intervallo tra il numero minimo e massimo specificato. Amazon MWAA inizia l'auto-scaling dei lavoratori quando il numero di attività in coda e in esecuzione è superiore a quello che i lavoratori esistenti sono in grado di gestire. Quando le attività in esecuzione e in coda si sommano a zero per più di due minuti, Amazon MWAA riduce il numero di lavoratori al minimo. Per ulteriori informazioni su come Amazon MWAA gestisce gli operatori con scalabilità automatica, consulta Amazon MWAA automatic scaling.
-
Server Web: esegue l'interfaccia utente web di Apache Airflow. È possibile configurare il server Web con accesso alla rete pubblica o privata. In entrambi i casi, l'accesso agli utenti di Apache Airflow è controllato dalla politica di controllo degli accessi definita in AWS Identity and Access Management (IAM). Per ulteriori informazioni sulla configurazione delle policy di accesso IAM per il tuo ambiente, consulta Accedere a un ambiente Amazon MWAA.
-
Database: archivia i metadati sull'ambiente Apache Airflow e sui flussi di lavoro, inclusa la cronologia di esecuzione di DAG. Il database è un database Aurora PostgreSQL single-tenant gestito AWS e accessibile dai contenitori Fargate di Scheduler e Workers tramite un endpoint Amazon VPC protetto privatamente.
Ogni ambiente Amazon MWAA interagisce anche con una serie di AWS servizi per gestire una varietà di attività, tra cui l'archiviazione e l'accesso DAGs e le dipendenze delle attività, la protezione dei dati inattivi e la registrazione e il monitoraggio dell'ambiente. Il diagramma seguente illustra i diversi componenti di un ambiente Amazon MWAA.
Nota
Il servizio Amazon VPC non è un VPC condiviso. Amazon MWAA crea un AWS VPC di proprietà per ogni ambiente che crei.
-
Amazon S3 — Amazon MWAA archivia tutte le risorse del flusso di lavoro, ad esempio requisiti e file di plug-in DAGs, in un bucket Amazon S3. Per ulteriori informazioni sulla creazione del bucket come parte della creazione dell'ambiente e sul caricamento delle risorse Amazon MWAA, consulta Creare un bucket Amazon S3 per Amazon MWAA nella Guida per l'utente di Amazon MWAA.
-
Amazon ECR: Amazon ECR ospita tutte le immagini Apache Airflow. Amazon MWAA supporta solo immagini Apache AWS Airflow gestite.
-
AWS KMS— Amazon MWAA lo utilizza AWS KMS per garantire la sicurezza dei dati quando sono inattivi. Per impostazione predefinita, Amazon MWAA utilizza AWS KMS chiavi AWS gestite, ma puoi configurare il tuo ambiente per utilizzare la tua chiave gestita dal cliente AWS KMS . Per ulteriori informazioni sull'utilizzo della tua AWS KMS chiave gestita dal cliente, consulta Customer managed keys for Data Encryption nella Amazon MWAA User Guide.
-
CloudWatch— Amazon MWAA si integra CloudWatch e fornisce log e parametri ambientali di Apache Airflow, CloudWatch consentendoti di monitorare le risorse Amazon MWAA e risolvere i problemi.
Connettività
Il tuo ambiente Amazon MWAA deve accedere a tutti i AWS servizi con cui si integra. Il ruolo di esecuzione di Amazon MWAA controlla il modo in cui viene concesso l'accesso ad Amazon MWAA per connettersi ad altri AWS servizi per tuo conto. Per la connettività di rete, puoi fornire l'accesso pubblico a Internet al tuo Amazon VPC o creare endpoint Amazon VPC. Per ulteriori informazioni sulla configurazione degli endpoint Amazon VPC AWS PrivateLink() per il tuo ambiente, consulta Gestire l'accesso agli endpoint VPC su Amazon MWAA nella Amazon MWAA User Guide.
Amazon MWAA installa i requisiti sullo scheduler e sul lavoratore. Se i requisiti provengono da un PyPi.whlfile come plug-in personalizzati per il tuo ambiente.
Quando configuri Apache Airflow in modalità privata, l'interfaccia utente di Apache Airflow può essere accessibile al tuo Amazon VPC solo tramite gli endpoint Amazon VPC.
Per ulteriori informazioni sul networking, consulta Networking nella Amazon MWAA User Guide.
