モデルパフォーマンスをデバッグして改善する

機械学習モデル、深層学習ニューラルネットワーク、トランスフォーマーモデルのトレーニングの本質は、安定したモデルの収束を実現することにあります。そのため、最先端のモデルには数百万、数十億、または数兆ものモデルパラメータがあります。各反復中に膨大な数のモデルパラメータを更新するためのオペレーションの数は、天文学的なものになりがちです。モデル収束の問題を特定するには、最適化プロセス中に計算されたモデルのパラメータ、活性化、勾配にアクセスできることが重要です。

Amazon SageMaker AI には、このような収束の問題を特定し、モデルを可視化するのに役立つ 2 つのデバッグツールが用意されています。

TensorBoard を使用した Amazon SageMaker AI

SageMaker AI トレーニングプラットフォーム内のオープンソースコミュニティツールとの互換性を高めるために、SageMaker AI は TensorBoard を SageMaker AI ドメインのアプリケーションとしてホストします。トレーニングジョブを SageMaker AI に持ち込み、TensorBoard 概要ライターを使用してモデル出力テンソルを収集し続けることができます。TensorBoard は SageMaker AI ドメインに実装されているため、 AWS アカウントの SageMaker AI ドメインでユーザープロファイルを管理するオプションが増え、特定のアクションとリソースへのアクセスを許可することでユーザープロファイルを細かく制御できます。詳細については、「Amazon SageMaker AI の TensorBoard 」を参照してください。

Amazon SageMaker Debugger

Amazon SageMaker Debugger は SageMaker AI の一機能で、コールバックにフックを登録してモデル出力テンソルを抽出し、Amazon Simple Storage Service に保存するためのツールを提供します。オーバーフィット、活性化関数の飽和、勾配の消失など、モデル収束の問題を検出するための組み込みルールを提供します。Amazon CloudWatch Events と を使用して、検出された問題に対して自動アクションを実行 AWS Lambda するための組み込みルールを設定し、E メールまたはテキスト通知を受信するように Amazon Simple Notification Service を設定することもできます。詳細については、「Amazon SageMaker デバッガー」を参照してください。