故障診斷：DAGs、運算子、連線和其他問題

了解如何在 中建立 Apache Airflow 連線和變數的私密金鑰使用 AWS Secrets Manager 秘密設定 Apache Airflow 連線。

了解如何在 中使用 Apache Airflow 變數 (test-variable) 的私密金鑰針對 AWS Secrets Manager Apache Airflow 變數在 中使用私密金鑰。

了解如何在 中使用 Apache Airflow 連線 (myconn) 的私密金鑰在 中使用私密金鑰 AWS Secrets Manager 進行 Apache Airflow 連線。

在 GitHub 上使用 aws-mwaa-docker-images，在本機測試您的 DAGs、自訂外掛程式和 Python 相依性。

將下列項目新增至您環境的 requirements.txt。

apache-airflow-providers-snowflake==1.3.0

將下列匯入新增至您的 DAG：

from airflow.providers.snowflake.operators.snowflake import SnowflakeOperator

Conn ID：nowflake_conn

Conn 類型：Snowflake

主機：<my account>.<my region if not us-west-2>.snowflakecomputing.com

結構描述：<my 結構描述＞

登入：＜我的使用者名稱＞

密碼：*******

連接埠：<port， if any>

額外：

{
						"account": "<my account>",
						"warehouse": "<my warehouse>",
						"database": "<my database>",
						"region": "<my region if not using us-west-2 otherwise omit this line>"
						}

在 的 Apache Airflow UI 中存取 Amazon MWAA 提供的連線類型安裝在 Amazon MWAA 環境上的 Apache Airflow 提供者套件。

存取命令，在 的 CLI 中建立 Apache Airflow 連線Apache Airflow CLI 命令參考。

了解如何針對 Amazon MWAA 上的 Apache Airflow UI 中無法使用的連線類型，交替使用 Apache Airflow UI 中的連線範本連線類型概觀。

檢查 Apache Airflow 組態選項。確認您指定為 Apache Airflow 組態選項的鍵值對 AWS Secrets Manager已正確設定，例如 。若要進一步了解，請參閱 我無法連線至 Secrets Manager。

檢查 requirements.txt。確認 中列出的 Airflow "extras" requirements.txt 套件和其他程式庫與您的 Apache Airflow 版本相容。

探索在requirements.txt檔案中指定 Python 相依性的方法，請參閱 在 requirements.txt 中管理 Python 相依性。

確認您的 VPC 安全群組允許傳入存取連接埠 5432。需要此連接埠才能連線至您環境的 Amazon Aurora PostgreSQL 中繼資料資料庫。新增此規則後，請給 Amazon MWAA 幾分鐘的時間，錯誤可能會消失。若要進一步了解，請參閱 Amazon MWAA 上 VPC 的安全性。

如果排程器未執行，可能是因為相依性安裝失敗或排程器過載等多種因素。透過存取 CloudWatch Logs 中的對應日誌群組，確認您的 DAGs、外掛程式和需求正常運作。若要進一步了解，請參閱 Amazon Managed Workflows for Apache Airflow 的監控和指標。

定義了大量 DAGs。減少 DAGs 數量並執行環境更新 （例如變更日誌層級），以強制重設。

1. 無論是否啟用，氣流都會剖析 DAGs。如果您使用的是環境容量的 50% 以上，您可能會開始讓 Apache Airflow 排程器負擔過重。這會導致 CloudWatch 指標中的大量總剖析時間，或 CloudWatch Logs 中的長 DAG 處理時間。還有其他方法可以最佳化本指南範圍之外的 Apache Airflow 組態。

2. 若要進一步了解我們建議調整環境效能的最佳實務，請參閱 Amazon MWAA 上 Apache Airflow 的效能調校。

佇列中可能會有大量任務。這通常顯示為大型 - 且不斷增加 - None 狀態中的任務數量，或 Tasks Pending CloudWatch 中的 Queued Tasks和/或 中的大量任務數量。發生這種情況的原因如下：

1. 如果執行的任務數量超過環境的容量，和/或在自動擴展有時間偵測任務並部署其他工作者之前排入佇列的大量任務。

2. 如果執行的任務數量超過環境的容量，建議您減少 DAGs 同時執行的任務數量，和/或增加 Apache Airflow 工作者人數下限。

3. 如果有許多任務在自動擴展有時間偵測和部署其他工作者之前排入佇列，我們建議交錯任務部署和/或增加 Apache Airflow 工作者人數下限。

4. 您可以使用 AWS Command Line Interface (AWS CLI) 中的 update-environment 命令來變更在您環境中執行的工作者數量下限或上限。

   aws mwaa update-environment --name MyEnvironmentName --min-workers 2 --max-workers 10

5. 若要進一步了解我們建議調整環境效能的最佳實務，請參閱 Amazon MWAA 上 Apache Airflow 的效能調校。

如果您的任務卡在「執行中」狀態，您也可以清除任務或將其標記為成功或失敗。這可讓環境的自動擴展元件縮減您環境上執行的工作者數量。下圖描述了絞線任務的範例。

1. 選擇絞線任務的圓圈，然後選取清除 （如圖所示）。這可讓 Amazon MWAA 縮減工作者規模；否則，Amazon MWAA 無法判斷要啟用或停用哪些 DAGs，如果仍有佇列的任務，則無法縮減規模。

   

請參閱《Apache Airflow 參考指南》中的概念，進一步了解 Apache Airflow 任務生命週期。

在 GitHub 上使用 aws-mwaa-docker-images，在本機測試您的 DAGs、自訂外掛程式和 Python 相依性。

建立您的「轉換」指令碼。

#!/bin/bash
cp $1 $2

（選用） macOS 和 Linux 使用者可能需要執行下列命令，以確保指令碼可執行。

chmod 777 transform_test.sh

將指令碼新增至您的 plugins.zip。

zip plugins.zip transform_test.sh

請遵循上傳 plugins.zip 至 Amazon S3 中的步驟。

請遵循 Amazon MWAA 主控台上指定 plugins.zip 版本中的步驟。

建立下列 DAG。

from airflow import DAG
						from airflow.providers.amazon.aws.operators.s3_file_transform import S3FileTransformOperator
						from airflow.utils.dates import days_ago
						import os
						
						DAG_ID = os.path.basename(__file__).replace(".py", "")
						
						with DAG (dag_id=DAG_ID, schedule_interval=None, catchup=False, start_date=days_ago(1)) as dag:
						file_transform = S3FileTransformOperator(
						task_id='file_transform',
						transform_script='/usr/local/airflow/plugins/transform_test.sh',
						source_s3_key='s3://amzn-s3-demo-bucket/files/input.txt',
						dest_s3_key='s3://amzn-s3-demo-bucket/files/output.txt'
						)

請遵循將 DAG 程式碼上傳至 Amazon S3 中的步驟。