翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。 # SageMaker Debugger インタラクティブレポート Debugger によって自動生成されたプロファイリングレポートを受け取ります。Debugger レポートは、トレーニングジョブに関するインサイトを提供し、モデルのパフォーマンスを向上させるための推奨事項を提案します。次のスクリーンショットは、デバッガープロファイリングレポートのコラージュを示しています。詳細については[SageMaker Debugger インタラクティブレポート](#debugger-profiling-report)を参照してください。 **注記** デバッガーレポートは、トレーニングジョブの実行中またはジョブの終了後にダウンロードできます。トレーニング中、デバッガーは現在のルールの評価ステータスを反映したレポートを同時に更新します。完全なデバッガーレポートは、トレーニングジョブが完了した後にのみダウンロードできます。 **重要** レポートでは、プロットや推奨事項は情報提供を目的として提供されており、決定的なものではありません。お客様は情報を独自に評価する責任を負うものとします。 ![\[デバッガートレーニングジョブの要約レポートの例\]](http://docs.aws.amazon.com/ja_jp/sagemaker/latest/dg/images/debugger/debugger-profile-report.jpg) どの SageMaker トレーニングジョブについても、SageMaker Debugger [ProfilerReport](debugger-built-in-profiler-rules.md#profiler-report) ルールは、すべての[モニタリングとプロファイリングのルール](debugger-built-in-profiler-rules.md#built-in-rules-monitoring)を呼び出し、ルール分析を包括的なレポートに集約します。このガイドに従って、[Amazon SageMaker Python SDK](https://sagemaker.readthedocs.io/en/stable) または S3 コンソールを使ってレポートをダウンロードし、プロファイリング結果から何を解釈できるかを学習します。 **重要** レポートでは、プロットや推奨事項は情報提供を目的として提供されており、決定的なものではありません。お客様は情報を独自に評価する責任を負うものとします。 # SageMaker Debugger プロファイリングレポートをダウンロードする トレーニングジョブの実行中またはジョブの完了後に、Amazon SageMaker Python SDK および AWS Command Line Interface (CLI) を使用して SageMaker デバッガープロファイリングレポートをダウンロードします。 [Amazon SageMaker ](https://sagemaker.readthedocs.io/en/stable) **注記** SageMaker Debugger によって生成されたプロファイリングレポートを取得するには、SageMaker デバッガーが提供する組み込みの [ProfilerReport](https://docs.aws.amazon.com/sagemaker/latest/dg/debugger-built-in-rules.html#profiler-report) ルールを使用する必要があります。トレーニングジョブでルールを有効にするには、「[Configure Built-in Profiler Rules](https://docs.aws.amazon.com/sagemaker/latest/dg/use-debugger-built-in-profiler-rules.html)」を参照してください。 **ヒント** または、SageMaker Studio Debugger インサイトダッシュボードで、ワンクリックでレポートをダウンロードできます。レポートをダウンロードするために追加のスクリプトは必要ありません。Studio からレポートをダウンロードする方法については、「[Amazon SageMaker Debugger インサイトダッシュボードを開く](debugger-on-studio-insights.md)」を参照してください。 ------ #### [ Download using SageMaker Python SDK and AWS CLI ] 1. 現在のジョブのデフォルトの S3 出力基本 URI をチェックします。 ``` estimator.output_path ``` 1. 現在のジョブの名前をチェックします。 ``` estimator.latest_training_job.job_name ``` 1. デバッガープロファイリングレポートは、`//rule-output` に保存されます。ルールの出力パスを次のように設定します。 ``` rule_output_path = estimator.output_path + estimator.latest_training_job.job_name + "/rule-output" ``` 1. レポートが生成されているかどうかをチェックするには、`--recursive` オプションを付けて `aws s3 ls` を使い、`rule_output_path` の下にディレクトリとファイルを再帰的にリストします。 ``` ! aws s3 ls {rule_output_path} --recursive ``` これにより、`ProfilerReport-1234567890` という名前の自動生成されたフォルダにファイルの完全なリストが返されます。このフォルダ名は、`ProfilerReport` と、ProfilerReport ルールが開始されたときの Unix タイムスタンプに基づく一意の 10 桁のタグの組み合わせです。 ![\[ルール出力の例\]](http://docs.aws.amazon.com/ja_jp/sagemaker/latest/dg/images/debugger/debugger-rule-output-ls-example.png) `profiler-report.html` は、デバッガーによって自動生成されたプロファイリングレポートです。残りのファイルは、JSON に保存されている組み込みルール分析コンポーネントと、それらをレポートにまとめるための Jupyter ノートブックです。 1. `aws s3 cp` を使ってファイルを再帰的にダウンロードします。次のコマンドは、すべてのルール出力ファイルを現在の作業ディレクトリの下にある `ProfilerReport-1234567890` フォルダに保存します。 ``` ! aws s3 cp {rule_output_path} ./ --recursive ``` **ヒント** Jupyter ノートブックサーバーを使っている場合は、`!pwd` を実行して、現在の作業ディレクトリを再チェックしてください。 1. `/ProfilerReport-1234567890/profiler-output` ディレクトリで、`profiler-report.html` を開きます。JupyterLab を使っている場合は、**[Trust HTML]** (HTML を信頼) を選択して、自動生成されたデバッガープロファイリングレポートを表示します。 ![\[ルール出力の例\]](http://docs.aws.amazon.com/ja_jp/sagemaker/latest/dg/images/debugger/debugger-rule-output-open-html.png) 1. `profiler-report.ipynb` ファイルを開いて、レポートがどのように生成されているか検証します。Jupyter ノートブックファイルを使って、プロファイリングレポートをカスタマイズして拡張することもできます。 ------ #### [ Download using Amazon S3 Console ] 1. にサインイン AWS マネジメントコンソール し、[https://console.aws.amazon.com/s3/](https://console.aws.amazon.com/s3/) で Amazon S3 コンソールを開きます。 1. 基本の S3 バケットを検索します。例えば、基本のジョブ名を指定していない場合、基本の S3 バケット名は、`sagemaker--111122223333` という形式になります。*[Find bucket by name]* (名前でバケットを検索) フィールドから基本の S3 バケットを調べます。 ![\[ルール出力の S3 バケット URI の例\]](http://docs.aws.amazon.com/ja_jp/sagemaker/latest/dg/images/debugger/debugger-report-download-s3console-0.png) 1. 基本の S3 バケットで、*[Find objects by prefix]* (プレフィックスでオブジェクトを検索) 入力フィールドにジョブ名のプレフィックスを指定することで、トレーニングジョブ名を調べます。トレーニングジョブの名前を選択します。 ![\[ルール出力の S3 バケット URI の例\]](http://docs.aws.amazon.com/ja_jp/sagemaker/latest/dg/images/debugger/debugger-report-download-s3console-1.png) 1. トレーニングジョブの S3 バケットには、デバッガーで収集されたトレーニングデータ用の 3 つのサブフォルダ (**debug-output/**、**profiler-output/**、**rule-output/**) があります。**rule-output/** を選択します。 ![\[ルール出力の S3 バケット URI の例\]](http://docs.aws.amazon.com/ja_jp/sagemaker/latest/dg/images/debugger/debugger-report-download-s3console-2.png) 1. **rule-output/** フォルダで、**ProfilerReport-1234567890** を選択し、**profiler-output/** フォルダを選択します。この **profiler-output/** フォルダには、**profiler-report.html** (html で自動生成されたプロファイリングレポート)、**profiler-report.ipynb** (レポートの生成に使用されるスクリプトを含む Jupyter ノートブック)、**profiler-report/** フォルダ (レポートのコンポーネントとして使用されるルール分析 JSON ファイルを含む) が含まれています。 1. **profiler-report.html** ファイルを選択し、**[Actions]** (アクション)、**[Download]** (ダウンロード) の順に選択します。 ![\[ルール出力の S3 バケット URI の例\]](http://docs.aws.amazon.com/ja_jp/sagemaker/latest/dg/images/debugger/debugger-report-download-s3console-3.png) 1. ダウンロードした **profiler-report.html** ファイルをウェブブラウザで開きます。 ------ **注記** デバッガー固有パラメータを設定せずにトレーニングジョブを開始した場合、デバッガーのパラメータがフレームワークメトリクスを保存するように設定されていないため、デバッガーはシステムモニタリングルールにのみ基づいてレポートを生成します。フレームワークメトリクスプロファイリングを有効にして、拡張デバッガープロファイリングレポートを受け取るには、SageMaker AI 推定器の構築または更新時に `profiler_config` パラメータを設定します。 トレーニングジョブを始める前に `profiler_config` パラメータを設定する方法については、「[フレームワークプロファイリング用の推定器設定](debugger-configure-framework-profiling.md)」を参照してください。 現在のトレーニングジョブを更新し、フレームワークメトリクスプロファイリングを有効にするには、「[デバッガーのフレームワークプロファイリング設定を更新する](debugger-update-monitoring-profiling.md)」を参照してください。 # デバッガープロファイリングレポートのチュートリアル このセクションでは、デバッガープロファイリングレポートをセクション別に具体的に説明します。プロファイリングレポートは、モニタリングおよびプロファイリングのための組み込みルールに基づいて生成されます。レポートには、問題を見つけたルールについてのみ結果プロットが表示されます。 **重要** レポートでは、プロットや推奨事項は情報提供を目的として提供されており、決定的なものではありません。お客様は情報を独自に評価する責任を負うものとします。 **Topics** + [トレーニングジョブの要約](#debugger-profiling-report-walkthrough-summary) + [システム使用統計](#debugger-profiling-report-walkthrough-system-usage) + [フレームワークメトリクスの要約](#debugger-profiling-report-walkthrough-framework-metrics) + [ルールの概要](#debugger-profiling-report-walkthrough-rules-summary) + [トレーニングループの分析 - ステップ期間](#debugger-profiling-report-walkthrough-step-durations) + [GPU 使用率分析](#debugger-profiling-report-walkthrough-gpu-utilization) + [バッチサイズ](#debugger-profiling-report-walkthrough-batch-size) + [CPU のボトルネック](#debugger-profiling-report-walkthrough-cpu-bottlenecks) + [I/O のボトルネック](#debugger-profiling-report-walkthrough-io-bottlenecks) + [マルチ GPU トレーニングでのロードバランシング](#debugger-profiling-report-walkthrough-workload-balancing) + [GPU メモリ分析](#debugger-profiling-report-walkthrough-gpu-memory) ## トレーニングジョブの要約 レポートの冒頭に、デバッガーはトレーニングジョブの要約を記載します。このセクションには、さまざまなトレーニングフェーズの期間とタイムスタンプの概要が記載されています。 ![\[デバッガープロファイリングレポートの例\]](http://docs.aws.amazon.com/ja_jp/sagemaker/latest/dg/images/debugger/debugger-profiling-report-summary.gif) 要約テーブルには次の情報が含まれます。 + **start\$1time** - トレーニングジョブが開始された正確な時刻。 + **end\$1time** - トレーニングジョブが終了した正確な時刻。 + **job\$1duration\$1in\$1seconds** - **start\$1time** から **end\$1time** までの合計トレーニング時間。 + **training\$1loop\$1start** - 最初のエポックの最初のステップが開始された正確な時刻。 + **training\$1loop\$1end** - 最後のエポックの最後のステップが終了した正確な時刻。 + **training\$1loop\$1duration\$1in\$1seconds** - トレーニングループの開始時刻とトレーニングループの終了時刻の間の合計時間。 + **initialization\$1in\$1seconds** - トレーニングジョブの初期化に費やされた時間。初期化フェーズは、**start\$1time** から **training\$1loop\$1start** までの期間をカバーします。初期化時間は、トレーニングスクリプトのコンパイル、トレーニングスクリプトの開始、モデルの作成と初期化、EC2 インスタンスの開始、トレーニングデータのダウンロードに費やされます。 + **finalization\$1in\$1seconds** - モデルトレーニングの終了、モデルアーティファクトの更新、EC2 インスタンスの終了など、トレーニングジョブの終了に費やされた時間。ファイナライズフェーズは、**training\$1loop\$1end** から **end\$1time** までの時間をカバーします。 + **initialization (%)** - 合計の **job\$1duration\$1in\$1seconds** に対する**初期化**に費やされた時間の割合。 + **training loop (%)** - 合計の **job\$1duration\$1in\$1seconds** に対する**トレーニングループ**に費やされた時間の割合。 + **finalization (%)** - 合計の **job\$1duration\$1in\$1seconds** に対する**ファイナライズ**に費やされた時間の割合。 ## システム使用統計 このセクションでは、システム使用率統計の概要を確認できます。 ![\[デバッガープロファイリングレポートの例\]](http://docs.aws.amazon.com/ja_jp/sagemaker/latest/dg/images/debugger/debugger-profiling-report-system-usage.png) デバッガープロファイリングレポートには次の情報が含まれます。 + **node** - ノードの名前をリストします。マルチノード (複数の EC2 インスタンス) で分散トレーニングを行う場合、ノード名は `algo-n` の形式になります。 + **metric** - デバッガーによって収集されるシステムメトリクス (CPU、GPU、CPU メモリ、GPU メモリ、I/O、ネットワークメトリクス) 。 + **unit** – システムメトリクスの単位。 + **max** - 各システムメトリクスの最大値。 + **p99** - 各システム使用率の 99 番目のパーセンタイル。 + **p95** - 各システム使用率の 95 番目のパーセンタイル。 + **p50** - 各システム使用率の 50 番目のパーセンタイル (中央値)。 + **最小** - 各システムメトリクスの最小値。 ## フレームワークメトリクスの要約 このセクションでは、CPU と GPU におけるフレームワークオペレーションの内訳を次の円グラフに示します。 ![\[デバッガープロファイリングレポートの例\]](http://docs.aws.amazon.com/ja_jp/sagemaker/latest/dg/images/debugger/debugger-profiling-report-framework-metrics-summary.gif) 各円グラフは、収集されたフレームワークメトリクスを次のようにさまざまな側面で分析します。 + **TRAIN/EVAL フェーズと他のフェーズの比率** - 異なるトレーニングフェーズに費やされた時間の比率を示します。 + **フォワードパスとバックパスの比率** - トレーニングループでフォワードパスとバックパスに費やされた時間の比率を示します。 + **CPU/GPU 演算子の比率** - 畳み込み演算子など、CPU または GPU で実行される演算子に費やされた時間の比率を示します。 + **フレームワークで記録された一般的なメトリクス** - データロード、フォワードパス、バックワードパスなど、主要なフレームワークメトリクスに費やされた時間の比率を示します。 ### 概要: CPU 演算子 このセクションには、CPU 演算子の詳細な情報が記載されています。表は、最も頻繁に呼び出される CPU 演算子に費やされた時間の割合と絶対累積時間を示しています。 ![\[デバッガープロファイリングレポートの例\]](http://docs.aws.amazon.com/ja_jp/sagemaker/latest/dg/images/debugger/debugger-profiling-report-framework-cpu-operators.gif) ### 概要: GPU 演算子 このセクションには、GPU 演算子の詳細な情報が記載されています。表は、最も頻繁に呼び出される GPU 演算子に費やされた時間の割合と絶対累積時間を示しています。 ![\[デバッガープロファイリングレポートの例\]](http://docs.aws.amazon.com/ja_jp/sagemaker/latest/dg/images/debugger/debugger-profiling-report-framework-gpu-operators.gif) ## ルールの概要 このセクションにはデバッガーが、ルールの評価結果、分析、ルールの説明、提案のすべてをまとめます。 ![\[デバッガープロファイリングレポートの例\]](http://docs.aws.amazon.com/ja_jp/sagemaker/latest/dg/images/debugger/debugger-profiling-report-rules-summary.png) ## トレーニングループの分析 - ステップ期間 このセクションでは、各ノードの各 GPU コアにおけるステップ期間の詳細な統計を確認できます。デバッガーは、ステップ期間の平均値、最大値、p99、p95、p50、最小値を評価し、ステップの外れ値を評価します。次のヒストグラムは、さまざまなワーカーノードと GPU でキャプチャされたステップ期間を示しています。右側の凡例を選択すると、各ワーカーのヒストグラムを有効または無効にできます。ステップ期間の外れ値を生じさせている特定の GPU があるかどうかをチェックできます。 ![\[デバッガープロファイリングレポートの例\]](http://docs.aws.amazon.com/ja_jp/sagemaker/latest/dg/images/debugger/debugger-profiling-report-framework-step-duration.gif) ## GPU 使用率分析 このセクションには、LowGPUUtilization ルールに基づく GPU コア使用率の詳細な統計が記載されています。また、トレーニングジョブが GPU を十分に活用しているかどうかを判断するために、GPU 使用率の統計、平均、p95、p5 を要約します。 ## バッチサイズ このセクションには、合計 CPU 使用率、個々の GPU 使用率、GPU メモリフットプリントの詳細な統計が記載されています。BatchSize ルールは、GPU をより有効に活用するためにバッチサイズを変更する必要があるかどうかを判断します。バッチサイズが小さすぎて使用率が低くなったり、大きすぎて使用率が過大になりメモリ不足に陥ったりしていないかどうかをチェックできます。プロットにおきボックスは、中央値 (p50) から p25 および p75 までのパーセンタイル範囲 (それぞれ濃い紫と明るい黄色で塗りつぶされている) を示し、エラーバーは下限の 5 パーセンタイルと上限の 95 パーセンタイルを示します。 ![\[デバッガープロファイリングレポートの例\]](http://docs.aws.amazon.com/ja_jp/sagemaker/latest/dg/images/debugger/debugger-profiling-report-batch-size.png) ## CPU のボトルネック このセクションでは、CPUBottleneck ルールがトレーニングジョブから検出した CPU のボトルネックをドリルダウンできます。このルールは、CPU 使用率が `cpu_threshold` (デフォルトでは 90%) を上回っているかどうかと、GPU 使用率が `gpu_threshold` (デフォルトでは 10%) を下回っているかどうかをチェックします。 ![\[デバッガープロファイリングレポートの例\]](http://docs.aws.amazon.com/ja_jp/sagemaker/latest/dg/images/debugger/debugger-profiling-report-cpu-bottlenecks.png) 円グラフには次の情報が表示されます。 + **CPU のボトルネックによる GPU 使用率の低下** - GPU 使用率がしきい値を上回るおよび下回るデータポイントの比率と、CPU のボトルネック基準に一致するデータポイントの比率を示します。 + **TRAIN/EVAL フェーズと他のフェーズの比率** - 異なるトレーニングフェーズに費やされた時間の比率を示します。 + **フォワードパスとバックパスの比率** - トレーニングループでフォワードパスとバックパスに費やされた時間の比率を示します。 + **CPU/GPU 演算子の比率** - データローダープロセス、フォワードパス演算子、バックワードパス演算子など、Python 演算子によって GPU と CPU に費やされた時間の比率を示します。 + **フレームワークに記録された一般的なメトリクス** - 主要なフレームワークメトリクスと、メトリクスに費やされた時間の比率を示します。 ## I/O のボトルネック このセクションには、I/O のボトルネックの要約が示されます。このルールは、I/O 待機時間と GPU 使用率を評価し、I/O リクエストに費やされた時間が合計トレーニング時間のしきい値のパーセントを超えたかどうかをモニタリングします。これは、GPU がストレージからのデータの到着を待っている場合の I/O ボトルネックを示している可能性があります。 ## マルチ GPU トレーニングでのロードバランシング このセクションでは、すべての GPU にわたるワークロードバランシングの問題を特定できます。 ![\[デバッガープロファイリングレポートの例\]](http://docs.aws.amazon.com/ja_jp/sagemaker/latest/dg/images/debugger/debugger-profiling-report-workload-balancing.gif) ## GPU メモリ分析 このセクションでは、GPUMemoryIncrease ルールによって収集された GPU メモリ使用率を分析できます。プロットにおきボックスは、中央値 (p50) から p25 および p75 までのパーセンタイル範囲 (それぞれ濃い紫と明るい黄色で塗りつぶされている) を示し、エラーバーは下限の 5 パーセンタイルと上限の 95 パーセンタイルを示します。 ![\[デバッガープロファイリングレポートの例\]](http://docs.aws.amazon.com/ja_jp/sagemaker/latest/dg/images/debugger/debugger-profiling-report-gpu-memory-utilization.png) # Amazon SageMaker Debugger の使用統計の収集をオプトアウトする すべての SageMaker トレーニングジョブについて、Amazon SageMaker デバッガーは、[ProfilerReport](debugger-built-in-profiler-rules.md#profiler-report) ルールを実行し、[SageMaker Debugger インタラクティブレポート](debugger-profiling-report.md) を自動生成します。`ProfilerReport` ルールは、対応する HTML ファイル (`profiler-report.html`) を生成する Jupyter ノートブックファイル (`profiler-report.ipynb`) を提供します。 デバッガーは、ユーザーが最終的な `profiler-report.html` ファイルを開くと、一意の `ProfilerReport` ルールの処理ジョブ ARN を収集するコードを Jupyter ノートブックに含めることによって、プロファイリングレポートの使用統計を収集します。 デバッガーは、ユーザーが最終的な HTML レポートを開いたかどうかに関する情報のみを収集します。トレーニングジョブ、トレーニングデータ、トレーニングスクリプト、処理ジョブ、ログ、プロファイリングレポート自体のコンテンツから情報を収集することは**ありません**。 次のいずれかのオプションを使って、使用統計の収集をオプトアウトできます。 ## (推奨) オプション 1: トレーニングジョブの実行前にオプトアウトする オプトアウトするには、次のデバッガー `ProfilerReport` ルール設定をトレーニングジョブリクエストに追加する必要があります。 ------ #### [ SageMaker Python SDK ] ``` estimator=sagemaker.estimator.Estimator( ... rules=ProfilerRule.sagemaker( base_config=rule_configs.ProfilerReport() rule_parameters={"opt_out_telemetry": "True"} ) ) ``` ------ #### [ AWS CLI ] ``` "ProfilerRuleConfigurations": [ { "RuleConfigurationName": "ProfilerReport-1234567890", "RuleEvaluatorImage": "895741380848.dkr.ecr.us-west-2.amazonaws.com/sagemaker-debugger-rules:latest", "RuleParameters": { "rule_to_invoke": "ProfilerReport", "opt_out_telemetry": "True" } } ] ``` ------ #### [ AWS SDK for Python (Boto3) ] ``` ProfilerRuleConfigurations=[ { 'RuleConfigurationName': 'ProfilerReport-1234567890', 'RuleEvaluatorImage': '895741380848.dkr.ecr.us-west-2.amazonaws.com/sagemaker-debugger-rules:latest', 'RuleParameters': { 'rule_to_invoke': 'ProfilerReport', 'opt_out_telemetry': 'True' } } ] ``` ------ ## オプション 2: トレーニングジョブの完了後にオプトアウトする トレーニングの完了後にオプトアウトするには、`profiler-report.ipynb` ファイルを変更する必要があります。 **注記** **オプション 1** がトレーニングジョブリクエストに追加されないまま自動生成された HTML レポートは、**オプション 2** でオプトアウトされた後でも、使用統計を報告します。 1. [SageMaker Debugger プロファイリングレポートをダウンロードする](debugger-profiling-report-download.md) ページのデバッガープロファイリングレポートファイルのダウンロード手順に従います。 1. `/ProfilerReport-1234567890/profiler-output` ディレクトリで、`profiler-report.ipynb` を開きます。 1. 次のサンプルコードに示すように、5 番目のコードセルの `setup_profiler_report()` 関数に **opt\$1out=True** を追加します。 ``` setup_profiler_report(processing_job_arn, opt_out=True) ``` 1. コードセルを実行してオプトアウトを終了します。