View a markdown version of this page

デバッガーの可用性の変更 - Amazon SageMaker AI
Amazon SageMaker デバッガーの置き換え概要機能マッピングステップ 1: デバッガー設定を削除するステップ 2: 置き換えを設定する既存のデータの処理

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

デバッガーの可用性の変更

注記

Amazon SageMaker デバッガーは新規顧客に公開されなくなりました。既存のお客様は、引き続きこのサービスを通常どおり使用できます。 は AWS デバッガーのセキュリティと可用性の向上に引き続き投資しますが、新機能を導入する予定はありません。

Amazon SageMaker デバッガーの置き換え

代替サービスに移行するには、このガイドに従ってください。

概要

Amazon SageMaker デバッガーは、組み込みの SageMaker 機能として、トレーニングオブザーバビリティ、モデルデバッグ、システムプロファイリングを提供しました。これらの機能は、Amazon SageMaker AI MLflow、TensorBoard on SageMaker、Amazon CloudWatch を組み合わせて、オブザーバビリティ、モデルデバッグ、システムパフォーマンスのモニタリングをトレーニングすることでより適切に機能するようになりました。これらのツールは、基盤モデルの微調整、カスタムアーキテクチャのトレーニング、分散ワークロードの実行など、特定のトレーニングワークフローに適応する柔軟な機能を提供します。

機能マッピング

デバッガー機能 置換後の値 提供内容
トレーニングメトリクスのログ記録 MLflow/TensorBoard トレーニング実行全体のメトリクスのログ記録、視覚化、比較
モデルとパラメータの追跡 MLflow ハイパーパラメータ、モデルバージョン、アーティファクトを完全な再現性で追跡する
グラデーション、アクティベーション、重みの分析 TensorBoard トレーニングステップ全体でモデルの内部を検査するためのヒストグラムとディストリビューションプラグイン
システムリソースプロファイリング (CPU、GPU、メモリ、ディスク) Amazon CloudWatch 設定可能なダッシュボードを使用したリアルタイムの使用率メトリクス
自動トレーニング診断 Amazon CloudWatch アラーム + MLflow 損失収束、勾配基準、リソース使用率、しきい値違反のアラートなど、記録されたメトリクスをモニタリングします。MLflow 実行比較は実験間の回帰を識別します

ステップ 1: デバッガー設定を削除する

推定器から DebuggerHookConfig を削除する

トレーニングスクリプトまたは SageMaker 推定器に DebuggerHookConfig、デバッガー固有の TensorBoardOutputConfig、または rules設定が含まれている場合は、それらを削除します。これにより、自動テンソルキャプチャとルール評価が無効になります。

注記

SageMaker Python SDK v2 Estimator クラスを使用している場合は、推定器がレガシーコンストラクトであるため、新しい SageMaker Python SDK トレーニング APIs または直接 Boto3 CreateTrainingJob呼び出しへの移行も検討してください。

Amazon S3 でデバッガー出力を削除する

デバッガーはテンソルデータを保存し、次のようなパスで S3 に出力をプロファイリングします。

s3://<bucket>/<training-job-name>/debug-output/
s3://<bucket>/<training-job-name>/profiler-output/

履歴データが不要になった場合は、これらのプレフィックスを削除します。S3 のトレーニングジョブログとモデルアーティファクトは影響を受けません。

カスタムデバッガールールを削除する (使用する場合)

カスタムルールコンテナを定義した場合:

  • カスタムデバッガールール評価に使用される Amazon ECR イメージを削除する

  • 不要になったルール定義スクリプトまたは JSON 設定を削除する

CloudWatch ロググループを削除する (オプション)

デバッガーは、ルール評価/aws/sagemaker/TrainingJobsのために にロググループを作成しました。ログストレージコストを削減する必要がなくなった場合は、これらを削除します。

IAM ポリシーを確認する

デバッガーの使用専用にアクセスを付与した IAM ポリシーを削除します。

  • s3:GetObject / s3:PutObjectデバッガー出力パスの範囲

  • logs:PutLogEvents デバッガー固有のロググループ用

  • デバッガールールコンテナ実行のアクセス許可

トレーニングジョブ、MLflow、または CloudWatch にまだ必要なポリシーを保持します。

ステップ 2: 置き換えを設定する

MLflow を統合して実験を追跡する

Amazon SageMaker AI は、AI モデル開発タスクをサポートするように動的にスケールするサーバーレス MLflow 機能を追加料金なしで提供します。起動ブログを参照してください。

MLflow を使用して以下を行います。

  • ハイパーパラメータ、トレーニングメトリクス、モデルアーティファクトのログ記録

  • 実行をside-by-side比較し、リグレッションや改善点を特定する

  • 実験から本番稼働までのモデルバージョンと系統を追跡する

開始方法: Amazon Amazon SageMakerと MLflow を使用した機械学習実験 – セットアップ、追跡サーバーの作成、トレーニングコードとの統合について説明します。

モデルイントロスペクションに TensorBoard を使用する

Amazon SageMaker AI の TensorBoard は、トレーニング中にモデルの内部を深く可視化します。

  • ステップ間の勾配分布と重みヒストグラムを視覚化する

  • アクティベーションパターンとレイヤーの動作をモニタリングする

  • スカラーメトリクス、イメージ、カスタムビジュアライゼーションを追跡する

TensorBoard と MLflow を使用する場合: MLflow はスカラーメトリクスを追跡し、実行比較の基本的な視覚化をサポートします。TensorBoard は、勾配ヒストグラム、重み分布、計算グラフ、埋め込み射影など、多次元モデルのイントロスペクションに優れています。実験管理には MLflow、ディープデバッグセッションには TensorBoard の両方を使用します。

開始方法: Amazon Amazon SageMakerの TensorBoard

システムモニタリングとアラートに Amazon CloudWatch を使用する

Amazon CloudWatch は、トレーニングジョブのリソース使用率メトリクスをキャプチャし、設定可能なアラームをサポートします。

  • CPU、GPU、メモリ、ディスク使用率をリアルタイムでモニタリングする

  • トレーニングメトリクスにアラームを設定して異常を検出する – 損失プラトー、リソースのボトルネック、予期しないメトリクスの動作

  • システムメトリクスとトレーニングメトリクスを組み合わせてダッシュボードを構築し、統一された可視性を実現する

開始方法: トレーニングジョブのモニタリングと分析のための Amazon CloudWatch メトリクス

既存のデータの処理

  • S3 のトレーニングログ: トレーニングジョブの出力、モデルアーティファクト、ログには引き続きアクセスできます。これらはデバッガーから独立しています。

  • デバッガーテンソルデータ: デバッガーによって保存された履歴テンソルコレクションは、削除するまで上記のパスの S3 に残ります。smdebug クライアントライブラリは、このデータを引き続き参照用に読み取ることができます。

  • CloudWatch メトリクス: CloudWatch に既に存在する履歴トレーニングメトリクスは、アカウントのログ保持設定に従って保持されます。