Amazon CloudWatch での Airflow ログへのアクセス - Amazon Managed Workflows for Apache Airflow
料金[開始する前に]ログタイプApache Airflow ログを有効にするApache Airflow ログへのアクセススケジューラーログの例次のステップ

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

Amazon CloudWatch での Airflow ログへのアクセス

Amazon MWAA は Apache Airflow ログを Amazon CloudWatch に送信できます。1 つの場所から複数の環境のログにアクセスして、追加のサードパーティーツールを使用せずに、Apache Airflow タスクの遅延やワークフローエラーを簡単に特定できます。CloudWatch の Apache Airflow DAG 処理、タスク、ウェブサーバー、ワーカーログにアクセスするには、Amazon Managed Workflows for Apache Airflow コンソールで Apache Airflow ログを有効にする必要があります。

料金

  • CloudWatch Logs の一般料金が適用されます。詳細については、CloudWatch の料金」を参照してください。

[開始する前に]

ログタイプ

Amazon MWAA は、有効にする Airflow ロギングオプションごとにロググループを作成し、そのログを環境に関連付けられた CloudWatch Logs グループにプッシュします。ロググループの名前は以下の形式に従います: YourEnvironmentName-LogType たとえば、お使いの環境に Airflow-v202-Public という名前が付けられている場合、Apache Airflow タスクログは Airflow-v202-Public-Task に送信されます。

ログタイプ 説明

YourEnvironmentName-DAGProcessing

DAG プロセッサマネージャー (DAG ファイルを処理するスケジューラーの一部) のログ。

YourEnvironmentName-Scheduler

Airflow スケジューラーが生成するログ。

YourEnvironmentName-Task

DAG が生成するタスクログ。

YourEnvironmentName-WebServer

Airflow ウェブインターフェイスが生成するログ。

YourEnvironmentName-Worker

ワークフローと DAG 実行の一部として生成されたログ。

Apache Airflow ログを有効にする

Apache Airflow ログは INFO、WARNING、ERROR または CRITICAL レベルで有効にできます。ログレベルを選択すると、Amazon MWAA はそのレベルとそれ以上の重要度レベルのすべてのログを送信します。たとえば、INFO レベルでログを有効にすると、Amazon MWAA は INFO ログと WARNING、ERROR、CRITICAL のログレベルを CloudWatch Logs に送信します。

  1. Amazon MWAA コンソールで、環境ページを開きます。

  2. 環境を選択します。

  3. [編集] を選択します。

  4. [次へ] を選択します。

  5. 以下のロギングオプションのうち 1 つ以上を選択します。

    1. [モニタリング] ペインで [Airflow スケジューラーロググループ] を選択します。

    2. モニタリングペインで Airflow ウェブサーバーロググループを選択します。

    3. [監視] ペインで [Airflow ワーカーロググループ] を選択します。

    4. [監視] ペインで [Airflow DAG 処理ロググループ] を選択します。

    5. [監視] ペインで [Airflow タスクロググループ] を選択します。

    6. [ログレベル] でログレベルを選択します。

  6. [次へ] を選択します。

  7. [保存] を選択します。

Apache Airflow ログへのアクセス

次のセクションでは、CloudWatch コンソールで Apache Airflow ログにアクセスする方法について説明します。

  1. Amazon MWAA コンソールで、環境ページを開きます。

  2. 環境を選択します。

  3. [モニタリング] ペインでロググループを選択します。

  4. ログストリームを選択します。

スケジューラーログの例

ワークフローをスケジュールし、dagsフォルダを解析するスケジューラの Apache Airflow ログにアクセスできます。次の手順では、Amazon MWAA コンソールでスケジューラのロググループを開き、CloudWatch Logs コンソールで Apache Airflow ログにアクセスする方法について説明します。

のログにアクセスするには requirements.txt

  1. Amazon MWAA コンソールで、環境ページを開きます。

  2. 環境を選択します。

  3. [モニタリング] ペインで [Airflow スケジューラーロググループ] を選択します。

  4. [ログストリーム] の requirements_install_ip ログを選択します。

  5. で環境にインストールされたパッケージのリストを参照してください/usr/local/airflow/.local/bin。例:

    Collecting appdirs==1.4.4 (from -r /usr/local/airflow/.local/bin (line 1))
Downloading https://files.pythonhosted.org/packages/3b/00/2344469e2084fb28kjdsfiuyweb47389789vxbmnbjhsdgf5463acd6cf5e3db69324/appdirs-1.4.4-py2.py3-none-any.whl  
Collecting astroid==2.4.2 (from -r /usr/local/airflow/.local/bin (line 2))

  6. パッケージのリストを確認し、インストール中にエラーが発生したパッケージがないか確認してください。問題が発生した場合は、次のようなエラーが発生する可能性があります。

    2021-03-05T14:34:42.731-07:00
No matching distribution found for LibraryName==1.0.0 (from -r /usr/local/airflow/.local/bin (line 4))
No matching distribution found for LibraryName==1.0.0 (from -r /usr/local/airflow/.local/bin (line 4))

次のステップ