モデルパフォーマンスをデバッグして改善する

機械学習モデル、深層学習ニューラルネットワーク、トランスフォーマーモデルのトレーニングの本質は、安定したモデルの収束を実現することにあります。そのため、最先端のモデルには数百万、数十億、または数兆ものモデルパラメータがあります。各反復中に膨大な数のモデルパラメータを更新するためのオペレーションの数は、天文学的なものになりがちです。モデル収束の問題を特定するには、最適化プロセス中に計算されたモデルのパラメータ、活性化、勾配にアクセスできることが重要です。

Amazon SageMaker AI は、このような収束の問題を特定し、モデルを可視化するのに役立つ 2 つのデバッグツールを提供します。

TensorBoard を備えた Amazon SageMaker AI

SageMaker AI トレーニングプラットフォーム内のオープンソースコミュニティツールとの互換性を高めるために、SageMaker AI は TensorBoard を SageMaker AI ドメインのアプリケーションとしてホストします。トレーニングジョブを SageMaker AI に持ち込み、引き続き TensorBoard サマリーライターを使用してモデル出力テンソルを収集できます。TensorBoard は SageMaker AI ドメインに実装されているため、AWSアカウントの SageMaker AI ドメインでユーザープロファイルを管理するオプションが増え、特定のアクションとリソースへのアクセスを許可することでユーザープロファイルを細かく制御できます。詳細についてはAmazon SageMaker AI の TensorBoardを参照してください。

Amazon SageMaker Debugger

Amazon SageMaker Debugger は、モデル出力テンソルを抽出して Amazon Simple Storage Service に保存するためにコールバックへのフックを登録するツールを提供する SageMaker AI の機能です。オーバーフィット、活性化関数の飽和、勾配の消失など、モデル収束の問題を検出するための組み込みルールを提供します。Amazon CloudWatch Events と を使用して、検出された問題に対して自動アクションを実行AWS Lambdaするための組み込みルールを設定し、E メールまたはテキスト通知を受信するように Amazon Simple Notification Service を設定することもできます。詳細についてはAmazon SageMaker デバッガーを参照してください。