CloudWatch Logs による HealthOmics のモニタリング - AWS HealthOmics
HealthOmics ワークフローのログタイプCloudWatch のログ Amazon S3 のログCLI のインタラクティブ CloudWatch Logsコンソールから CloudWatch Logs にアクセスする

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

CloudWatch Logs による HealthOmics のモニタリング

HealthOmics は、実行の理解とトラブルシューティングに役立つさまざまなログを生成します。ログは CloudWatch と Amazon S3 の 2 つの場所で使用できます。

デフォルトでは、実行のログ記録はオンになっています。必要に応じて、 startrunリクエストLogLevel = OFFで を設定することで、実行のログ記録をオフにできます。

注記

サービスの更新については、Personal Health Dashboard を設定してモニタリングします。ダッシュボードの管理方法の詳細については、「AWS Health Dashboard の開始方法」を参照してください。

HealthOmics ワークフローのログタイプ

HealthOmics は、ワークフローに次のタイプのログを提供します。

  • エンジンログ – 基盤となるワークフローエンジン (Nextflow、WDL、CWL) は、実行のエンジンログを生成します。これらのログは、ワークフロー定義の問題のトラブルシューティングに役立ちます。

  • マニフェストログの実行 – これらのログは、タスクのステータス、開始時刻、停止時刻、失敗の理由 (タスクが失敗した場合) など、各実行タスクに関する高レベルの情報を提供します。

    マニフェストログを実行すると、リソース最適化の機会を理解するのに役立つリソース使用率統計もレポートされます。これらの統計には以下が含まれます。

    • cpusAverage

    • cpusMaximum

    • cpusReserved

    • gpusReserved

    • memoryAverageGiB

    • memoryMaximumGiB

    • memoryReservedGiB

    • runningSeconds

  • 実行ログ – 実行ログは、全体的な実行ステータスと、個々のタスクが開始、実行、停止、完了した時刻を提供します。実行ログでは、ファイルのインポートおよびエクスポート手順も確認できます。

  • タスクログ – タスクログは、実行中の個々のタスクに関する詳細なログ情報を提供します。タスクログの出力は、タスク定義と、コードでログステートメントを使用する場所によって異なります。タスクログが必要なレベルのインサイトを提供しない場合は、タスク定義にログステートメントを追加して、よりインサイトの多いタスクログを生成することを検討してください。

  • キャッシュログの実行 – キャッシュログの実行は、実行キャッシュの全体的なステータスとタスク出力のキャッシュを提供します。キャッシュログを実行すると、キャッシュを使用する実行ごとにキャッシュヒットとキャッシュミスを可視化できます。

  • Outputs.json – WDL および CWL ワークフローの場合、HealthOmics は実行完了後に という名前のエンジン生成ファイルを Amazon S3 バケットoutputs.jsonに配信します。このファイルには、実行のすべての出力のリストとマップが含まれます。

CloudWatch のログ

CloudWatch は、失敗した実行と成功した実行のワークフローログを生成します。すべてのログは、失敗した実行と成功した実行で使用できます。ただし、エンジンログは失敗した実行でのみ使用できます。

CloudWatch ワークフローログは、ロググループ にあります/aws/omics/WorkflowLog。また、get-run API オペレーションの出力は、エンジンログと実行ログの CloudWatch ログストリーム ARNs を提供します。

デフォルトでは、 は CloudWatch Logs を無期限に AWS 保持します。ロググループの保持ポリシーを調整して、保持期間を 10 年から 1 日の間で設定できます。

次の表は、HealthOmics の CloudWatch Logs の概要を示しています。 HealthOmics すべてのワークフローログは、成功した実行と失敗した実行で使用できます。ただし、エンジンログは失敗した実行でのみ使用できます。

ログ名 CloudWatch Logs で利用可能 がログを利用できる場合 ログストリーム形式
エンジンログ はい、失敗した実行の場合

実行が完了した後

 run/runID/engine
マニフェストログを実行する あり

実行が完了した後

 manifest/run/runID/runUUID
ログの実行 あり リアルタイムで run/runID
タスクログ あり リアルタイムで run/runID/task/taskID
キャッシュログを実行する あり リアルタイムで runCache/runCacheId/runCacheUUID
Outputs.json (WDL および CWL) なし 該当なし 該当なし

Amazon S3 のログ

エンジンログと outputs.json ファイルのみが Amazon S3 に配信されます。

実行が完了すると、エンジンログは S3 バケットに配信され、削除するまで無期限に使用できます。これらのログは、ワークフローに指定した S3 出力 URI のログディレクトリにあります。

logs ディレクトリへのパスの形式は ですs3://{user_provided_path}/logs/。

次の表は、Amazon S3 バケットで使用できる HealthOmics ログの概要を示しています。 Amazon S3

ログ名 Amazon S3 で利用可能 がログを利用できる場合 ログストリームパス
エンジンログ あり 実行が完了した後 s3://user_provided_path/logs/engine.log
Outputs.json (WDL および CWL) あり

実行が完了した後

 s3://user_provided_path/runID/runUUID/logs/outputs.json
マニフェストログの実行、ログの実行、タスクログの実行 なし 該当なし 該当なし

CLI のインタラクティブ CloudWatch Logs

インタラクティブモードで Live Tail コマンドを使用して、CloudWatch Logs をインタラクティブに表示できます。実行の進行状況をリアルタイムで追跡し、最大 5 つのキーワードを定義してログで強調表示できます。

aws logs start-live-tail  \
  --mode interactive  \
  --log-group-identifiers arn:aws:logs:region:account-ID:log-group:/aws/omics/WorkflowLog

詳細については、 AWS CLI 「 コマンドリファレンス」の「Start live tail」を参照してください。

コンソールから CloudWatch Logs にアクセスする

実行のログにアクセスするには、HealthOmics コンソールの実行の詳細ページからこれらのログに直接リンクできます。

  1. HealthOmics コンソールを開きます。

  2. 必要に応じて、左側のナビゲーションペイン (≡) を開きます。[実行] を選択します。

  3. Runs テーブルから実行を選択します。

  4. 実行の詳細ページで、次のいずれかのアクションを選択できます。

    1. Run summary から、View run logs を選択します。コンソールが CloudWatch コンソールで実行ログを開きます。

    2. Run summary から、「View logs in Amazon S3」を選択します。コンソールは、Amazon S3 コンソールでログフォルダを開きます。

    3. 「タスクの実行」から「ログの表示」、「実行ログの表示」、または「タスクの実行マニフェストログの表示」を選択します。コンソールは CloudWatch コンソールでログを開きます。

CloudWatch コンソールからログに移動することもできます。

  1. CloudWatch コンソール https://console.aws.amazon.com/cloudwatch/ を開きます。

  2. 左側のメニューから、ロググループを選択します。

  3. /aws/omics/WorkflowLog グループを選択します。

    ロググループのリストが長い場合は、検索テキストボックスにオミクスを入力してリストを絞り込むことができます。

  4. ロググループの詳細ページが開いたら、表示するログストリームを選択します。コンソールには、このログストリームのイベントが表示されます。