トレーニングジョブのプロファイリングモデルパラメータの分析用の Debugger サンプルノートブック

Debugger サンプルノートブック

SageMaker デバッガーサンプルノートブックは、aws/amazon-sagemaker-examples リポジトリにあります。デバッガーサンプルノートブックは、トレーニングジョブのデバッグとプロファイリングの基本的なユースケースから高度なユースケースまでを具体的に説明します。

サンプルノートブックでは、ほとんどのサンプルが Amazon EC2、Amazon S3、Amazon SageMaker Python SDK などの SageMaker AI エコシステムでのトレーニングジョブ用に設計されているため、SageMaker Studio または SageMaker ノートブックインスタンスで実行することをお勧めします。

サンプルリポジトリを SageMaker Studio に複製するには、Amazon SageMaker Studio ツアーの手順に従います。

重要

新しいデバッガー機能を使うには、SageMaker Python SDK と SMDebug クライアントライブラリをアップグレードする必要があります。iPython カーネル、Jupyter ノートブック、または JupyterLab 環境で、次のコードを実行して最新バージョンのライブラリをインストールし、カーネルを再起動します。


import sys
import IPython
!{sys.executable} -m pip install -U sagemaker smdebug
IPython.Application.instance().kernel.do_shutdown(True)

トレーニングジョブのプロファイリング用の Debugger サンプルノートブック

次のリストは、さまざまな機械学習モデル、データセット、フレームワークのトレーニングジョブをモニタリングおよびプロファイリングするためのデバッガーの適応性を紹介するデバッガーサンプルノートブックを示しています。

ノートブックのタイトル	フレームワーク	モデル	データセット	説明
Amazon SageMaker デバッガープロファイリングデータ分析	TensorFlow	Keras ResNet50	Cifar-10	このノートブックは、SageMaker デバッガーによってキャプチャされたプロファイルデータのインタラクティブな分析の概要を提供します。`SMDebug` インタラクティブ分析ツールの全機能をよく見てください。
Amazon SageMaker デバッガーを使用した機械学習トレーニングのプロフィリング	TensorFlow	1 次元の畳み込みニューラルネットワーク	IMDB データセット	肯定的または否定的なセンチメントを持っているものとしてラベル付けされた映画レビューからなる IMDB データのセンチメント分析のための TensorFlow 1-D CNN をプロファイリングします。Studio デバッガーのインサイトとデバッガープロファイリングレポートをよく見てください。
さまざまな分散トレーニング設定による TensorFlow ResNet モデルトレーニングのプロファイリング	TensorFlow	ResNet50	Cifar-10	さまざまな分散トレーニング設定の TensorFlow トレーニングジョブを実行し、システムリソースの使用率をモニタリングし、デバッガーを使ってモデルのパフォーマンスをプロファイリングします。
さまざまな分散トレーニング設定の PyTorch ResNet モデルトレーニングのプロファイリング	PyTorch	ResNet50	Cifar-10	さまざまな分散トレーニング設定の PyTorch トレーニングジョブを実行し、システムリソースの使用率をモニタリングし、デバッガーを使ってモデルのパフォーマンスをプロファイリングします。

モデルパラメータの分析用の Debugger サンプルノートブック

次のリストは、さまざまな機械学習モデル、データセット、フレームワークのトレーニングジョブをデバッグするためのデバッガーの適応性を紹介するデバッガーサンプルノートブックを示しています。

ノートブックのタイトル	フレームワーク	モデル	データセット	説明
Amazon SageMaker デバッガー - 組み込みルールの使用	TensorFlow	畳み込みニューラルネットワーク	MNIST	TensorFlow モデルのデバッグに、Amazon SageMaker デバッガーの組み込みルールを使用します。
Amazon SageMaker デバッガー - TensorFlow 2.1	TensorFlow	ResNet50	Cifar-10	TensorFlow 2.1 フレームワークでモデルをデバッグするために、Amazon SageMaker デバッガーフック設定と組み込みルールを使用します。
MXNet トレーニングのデバッグテンソルの視覚化	MXNet	Gluon 畳み込みニューラルネットワーク	Fashion MNIST	トレーニングジョブを実行し、このジョブからのすべてのテンソルを保存するように SageMaker デバッガーを設定し、それらのテンソルをノートブックで視覚化します。
Amazon SageMaker デバッガーによるスポットトレーニングの有効化	MXNet	Gluon 畳み込みニューラルネットワーク	Fashion MNIST	デバッガーがスポットインスタンスのトレーニングジョブからテンソルデータを収集する方法と、マネージドスポットトレーニングでデバッガーの組み込みルールを使う方法について説明します。
Amazon SageMaker デバッガーで個人の収益を予測する XGBoost モデルの説明	XGBoost	XGBoost 回帰	成人国勢調査データセット	デバッガーのフックと組み込みルールを使って、損失値、特徴、SHAP 値など、XGBoost 回帰モデルからテンソルデータを収集および視覚化する方法について説明します。

モデルパラメータとユースケースの高度な視覚化については、次のトピックの「Debugger の高度なデモと視覚化」を参照してください。

ブラウザで JavaScript が無効になっているか、使用できません。

AWS ドキュメントを使用するには、JavaScript を有効にする必要があります。手順については、使用するブラウザのヘルプページを参照してください。

ドキュメントの表記規則

チュートリアルビデオ

高度なデモと視覚化