翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。
# Model Dashboard に関するよくある質問
Amazon SageMaker Model Dashboard についてのよくある質問と回答については、次のよくある質問のトピックを参照してください。
## Q: モデルダッシュボードとはどういうものですか?
Amazon SageMaker Model Dashboard は、アカウントで作成されたすべてのモデルの一元化されたリポジトリです。モデルは通常 SageMaker AI トレーニングジョブの出力ですが、他の場所でトレーニングされたモデルをインポートして SageMaker AI でホストすることもできます。Model Dashboard は、IT 管理者、モデルリスクマネージャー、ビジネスリーダーがデプロイされたすべてのモデルを追跡し、複数の AWS サービスからのデータを集約して、モデルのパフォーマンスに関する指標を提供する単一のインターフェイスを提供します。モデルエンドポイント、バッチ変換ジョブ、モニタリングジョブに関する詳細を表示して、モデルのパフォーマンスに関する追加情報を得ることができます。ダッシュボードの視覚表示により、モニターが欠落しているか無効になっているモデルをすばやく特定できるため、すべてのモデルのデータドリフト、モデルドリフト、バイアスドリフト、特徴量属性ドリフトを定期的にチェックできます。最後に、ダッシュボードではモデルの詳細情報に簡単にアクセスして詳しく調べられるため、ログ、インフラストラクチャ関連の情報、リソースにアクセスしてモニタリング障害のデバッグに役立てることができます。
## Q: Model Dashboard を使用する際の前提条件は何ですか?
SageMaker AI でトレーニングされたモデルか、外部でトレーニングされたモデルを SageMaker AI で 1 つ以上作成する必要があります。必須の前提条件ではありませんが、エンドポイントにデプロイされたモデルに対して Amazon SageMaker Model Monitor を使用してモデルモニタリングジョブを設定すれば、ダッシュボードを最大限に活用できます。
## Q: Model Dashboard はどういう人が使用すべきですか?
モデルリスクマネージャー、ML プラクティショナー、データサイエンティスト、ビジネスリーダーが Model Dashboard を使用すると、モデルの包括的な概要を把握できます。ダッシュボードは Amazon SageMaker Model Cards、エンドポイント、Model Monitor サービスからのデータを集約して表示し、モデルカードとモデルレジストリからのモデルメタデータ、モデルがデプロイされているエンドポイント、モデルモニタリングからのインサイトなどの貴重な情報を表示します。
## Q: Model Dashboard の使用方法を教えてください。
モデルダッシュボードは Amazon SageMaker AI ですぐに使用でき、事前設定は必要ありません。ただし、SageMaker Model Monitor と Clarify を使用してモデルモニタリングジョブを設定した場合は、Amazon CloudWatch を使用して、モデルのパフォーマンスが許容範囲から外れたときにダッシュボードにフラグを立てるアラートを設定します。新しいモデルカードを作成してダッシュボードに追加し、エンドポイントに関連するすべてのモニタリング結果を表示できます。Model Dashboard では、現在、クロスアカウントモデルはサポートされていません。
## Q. Amazon SageMaker Model Monitor とはどういうものですか?
Amazon SageMaker Model Monitor を使用すると、コードを記述することなく、モニタリングおよび分析するデータを選択できます。SageMaker Model Monitor では、オプションのメニューから予測出力などのデータを選択し、タイムスタンプ、モデル名、エンドポイントなどのメタデータをキャプチャして、モデル予測を分析できます。大量のリアルタイム予測の場合、データキャプチャのサンプリングレートをトラフィック全体のパーセンテージとして指定できます。このデータはご利用の Amazon S3 バケットに保存されます。また、このデータの暗号化、きめ細かなセキュリティ設定、データ保持ポリシーの定義、安全にアクセスするためのアクセス制御メカニズムの実装も可能です。
## Q. SageMaker AI はどのようなタイプのモデルモニターをサポートしていますか。
SageMaker Model Monitor は次のタイプの[モデルモニター](https://docs.aws.amazon.com/sagemaker/latest/dg/model-monitor.html)を提供します。
+ *データ品質*: データ品質のドリフトをモニタリングします。
+ *モデル品質*: 精度などのモデル品質メトリクスのドリフトをモニタリングします。
+ *本番環境でのモデルのバイアスドリフト*: トレーニングデータとライブデータの分布を比較して、モデルの予測の偏りをモニタリングします。
+ *本番環境のモデルの特徴量属性ドリフト*: トレーニングデータとライブデータの特徴量の相対的な順位を比較して、特徴量属性のドリフトをモニタリングします。
## Q. SageMaker Model Monitor はどのような推論方法をサポートしていますか?
Model Monitor は現在、リアルタイム推論用の単一モデルをホストするエンドポイントをサポートしていますが、[マルチモデルエンドポイント](https://docs.aws.amazon.com/sagemaker/latest/dg/multi-model-endpoints.html)のモニタリングはサポートしていません。
## Q. SageMaker Model Monitor の使用を開始する方法を教えてください。
次のリソースを使用して、モデルモニタリングを開始できます。
+ [データ品質モニターのサンプルノートブック](https://github.com/aws/amazon-sagemaker-examples/blob/main/sagemaker_model_monitor/introduction/SageMaker-ModelMonitoring.ipynb)
+ [データ品質モニターのサンプルノートブック](https://github.com/aws/amazon-sagemaker-examples/blob/main/sagemaker_model_monitor/introduction/SageMaker-ModelMonitoring.ipynb)
+ [バイアスドリフトモニターのサンプルノートブック](https://github.com/aws/amazon-sagemaker-examples/blob/main/sagemaker_model_monitor/fairness_and_explainability/SageMaker-Model-Monitor-Fairness-and-Explainability.ipynb)
+ [特徴量属性ドリフトモニターのサンプルノートブック](https://github.com/aws/amazon-sagemaker-examples/blob/main/sagemaker_model_monitor/fairness_and_explainability/SageMaker-Model-Monitor-Fairness-and-Explainability.ipynb)
モデルモニタリングの例の詳細については、amazon-sagemaker-examples GitHub リポジトリの [amazon-sagemaker-examples](https://github.com/aws/amazon-sagemaker-examples/tree/main/sagemaker_model_monitor) を参照してください。
## Q. Model Monitor の機能を教えてください。
Amazon SageMaker Model Monitor は、モデル内のドリフトを検出するルールを使用して、本番環境の機械学習モデルを自動的にモニタリングします。Model Monitor は、品質上の問題が発生するとアラートを使って通知します。詳細については[Amazon SageMaker Model Monitor の仕組み](model-monitor.md#model-monitor-how-it-works)を参照してください。
## Q. 独自のコンテナ (BYOC) は Model Monitor にいつ、どのように持ち込めますか?
Model Monitor は、表形式のデータのみに基づいてモデルメトリクスと統計を計算します。画像やテキストなど、表形式データセット以外のユースケースでは、独自のコンテナ (BYOC) を持ち込んでデータやモデルをモニタリングできます。例えば、BYOC を使用して、画像を入力として受け取ってラベルを出力する画像分類モデルをモニタリングできます。コンテナ契約の詳細については、「[Amazon SageMaker Model Monitor を使用した独自のコンテナのサポート](model-monitor-byoc-containers.md)」を参照してください。
## Q: Model Monitor 用 BYOC の例はどこで見つかりますか?
参考になる BYOC 例は、次のリンクにあります。
+ [Amazon SageMaker Model Monitor を使用したデータとモデルの品質モニタリング](model-monitor.md)
+ [GitHub リポジトリ例](https://github.com/aws/amazon-sagemaker-examples/tree/master/sagemaker_model_monitor)
+ [Amazon SageMaker Model Monitor を使用した独自のコンテナのサポート](model-monitor-byoc-containers.md)
+ [BYOC Model Monitor を使用した NLP のデータドリフトの検出](https://aws.amazon.com/blogs/machine-learning/detect-nlp-data-drift-using-custom-amazon-sagemaker-model-monitor)
+ [ Detecting and analyzing incorrect predictions in CV ](https://aws.amazon.com/blogs//machine-learning/detecting-and-analyzing-incorrect-model-predictions-with-amazon-sagemaker-model-monitor-and-debugger)
## Q: Model Monitor を Pipelines と統合するにはどうしたらよいですか。
Model Monitor と Pipelines を統合する方法の詳細については、「[Amazon Pipelines now integrates with SageMaker Model Monitor and SageMaker Clarify](https://aws.amazon.com/about-aws/whats-new/2021/12/amazon-sagemaker-pipelines-integrates-sagemaker-model-monitor-sagemaker-clarify/)」を参照してください。
例については、GitHub サンプルノートブックの「[Pipelines integration with Model Monitor and Clarify](https://github.com/aws/amazon-sagemaker-examples/blob/main/sagemaker-pipelines/tabular/model-monitor-clarify-pipelines/sagemaker-pipeline-model-monitor-clarify-steps.ipynb)」を参照してください。
## Q: `DataCapture` を使用するとパフォーマンスに問題が起きますか?
オンにすると、SageMaker AI エンドポイントでデータキャプチャが非同期的に行われます。推論リクエストへの影響を防ぐため、ディスク使用率のレベルが高くなると、`DataCapture` はリクエストのキャプチャを停止します。`DataCapture` がリクエストのキャプチャを続行できるように、ディスク使用率を 75% 未満に抑えることをお勧めします。