本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

故障診斷：CloudWatch Logs 和 CloudTrail 錯誤

本頁面上的主題包含 Amazon CloudWatch Logs 的解決方案，以及您在 Amazon Managed Workflows for Apache Airflow 環境中可能遇到的 AWS CloudTrail 錯誤。

日誌

下列主題說明您在存取 Apache Airflow 日誌時可能收到的錯誤。

我找不到任務日誌，或收到Reading remote log from Cloudwatch log_group錯誤

Amazon MWAA 已設定 Apache Airflow 直接從 Amazon CloudWatch Logs 讀取和寫入日誌。如果工作者無法啟動任務，或無法寫入任何日誌，您會參考錯誤：

*** Reading remote log from Cloudwatch log_group: airflow-environmentName-Task log_stream: DAG_ID/TASK_ID/timestamp/n.log.Could not read remote logs from log_group: airflow-environmentName-Task log_stream: DAG_ID/TASK_ID/time/n.log.

任務在沒有任何日誌的情況下失敗

如果任務在工作流程中失敗，而且找不到任何失敗任務的日誌，請檢查您是否在預設引數中設定 queue 參數，如下所列。

from airflow import DAG
from airflow.operators.bash_operator import BashOperator
from airflow.utils.dates import days_ago

# Setting queue argument to default.
default_args = {
	"start_date": days_ago(1),
	"queue": "default"
}

with DAG(dag_id="any_command_dag", schedule_interval=None, catchup=False, default_args=default_args) as dag:
    cli_command = BashOperator(
        task_id="bash_command",
        bash_command="{{ dag_run.conf['command'] }}"
    )

若要解決此問題，queue請從程式碼中移除 ，然後再次叫用 DAG。

我在 CloudTrail 中收到ResourceAlreadyExistsException錯誤

"errorCode": "ResourceAlreadyExistsException",
    "errorMessage": "The specified log stream already exists",
    "requestParameters": {
        "logGroupName": "airflow-MyAirflowEnvironment-DAGProcessing",
        "logStreamName": "scheduler_cross-account-eks.py.log"
    }

某些 Python 需求，例如將 Amazon MWAA 用來與 CloudWatch 通訊的watchtower程式庫apache-airflow-backport-providers-amazon轉返至較舊版本。建議下列步驟：

我在 CloudTrail 中收到Invalid request錯誤

Invalid request provided: Provided role does not have sufficient permissions for s3 location airflow-xxx-xxx/dags

如果您要使用相同的 AWS CloudFormation 範本建立 Amazon MWAA 環境和 Amazon S3 儲存貯體，則需要在 AWS CloudFormation 範本中新增DependsOn區段。這兩個資源 (MWAA 環境和 MWAA 執行政策) 在其中具有相依性 AWS CloudFormation。建議下列步驟：

我在 Apache Airflow 日誌Cannot locate a 64-bit Oracle Client library: "libclntsh.so: cannot open shared object file: No such file or directory中取得

我收到排程器日誌中的 psycopg2 'server 意外關閉連線'

如果您收到類似以下的錯誤，您的 Apache Airflow 排程器可能已耗盡資源。

2021-06-14T10:20:24.581-05:00    sqlalchemy.exc.OperationalError: (psycopg2.OperationalError) server closed the connection unexpectedly
2021-06-14T10:20:24.633-05:00    This probably means the server terminated abnormally
2021-06-14T10:20:24.686-05:00    before or while processing the request.

建議下列步驟：

我在 DAG 處理日誌Executor reports task instance %s finished (%s) although the task says its %s中取得

如果您收到類似以下的錯誤，長時間執行的任務可能已達到 Amazon MWAA 的任務時間限制。任何一個 Airflow 任務的 Amazon MWAA 限制為 12 小時，以防止任務卡在佇列中並封鎖自動擴展等活動。

Executor reports task instance %s finished (%s) although the task says its %s. (Info: %s) Was the task killed externally

建議下列步驟：

我在任務日誌Could not read remote logs from log_group: airflow-*{*environmentName}-Task log_stream:* {*DAG_ID}/*{*TASK_ID}/*{*time}/*{*n}.log.中取得

如果您收到類似如下的錯誤，您環境的執行角色可能不包含建立任務日誌日誌串流的許可政策。

Could not read remote logs from log_group: airflow-*{*environmentName}-Task log_stream:* {*DAG_ID}/*{*TASK_ID}/*{*time}/*{*n}.log.

建議下列步驟：

您可能也在requirements.txt檔案中指定了與 Apache Airflow 版本不相容的提供者套件。例如，如果您使用的是 Apache Airflow v2.0.2，您可能已指定套件，例如 apache-airflow-providers-databricks 套件，其僅與 Airflow 2.1+ 相容。

建議下列步驟：