翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

# モデルの説明可能性
<a name="clarify-model-explainability"></a>

Amazon SageMaker Clarify には、機械学習 (ML) モデルが予測を行う方法を説明するのに役立つツールが用意されています。これらのツールは、ML モデラー、デベロッパー、その他の内部ステークホルダーが、デプロイ前にモデル特性を全体として理解したり、デプロイ後にモデルが提供する予測をデバッグしたりするのに役立ちます。
+ データセットとモデルの説明を取得するには、「[SageMaker Clarify を使用した公平性、モデルの説明可能性、バイアス検出](clarify-configure-processing-jobs.md)」を参照してください。
+ SageMaker AI エンドポイントからリアルタイムで説明を取得する方法については、「[SageMaker Clarify によるオンライン説明可能性](clarify-online-explainability.md)」を参照してください。

ML モデルがどのように予測に到達するかについての透明性も、消費者や規制当局にとって重要です。モデル予測に基づいて決定を受け入れる場合は、モデルの予測を信頼する必要があります。SageMaker Clarify は、モデルにとらわれない特徴量帰属アプローチを採用しています。これを使用して、モデルがトレーニング後に予測を行った理由を理解し、推論中にインスタンスごとの説明を提供できます。この実装には、[SHAP](https://papers.nips.cc/paper/2017/file/8a20a8621978632d76c43dfd28b67767-Paper.pdf) のスケーラブルで効率的な実装が含まれます。これは、協調ゲーム理論の分野における Shapley 値という概念に基づいており、特定の予測で各特徴量に重要度を割り当てます。

Clarify は、特徴量が機械学習モデルの予測結果に与えるわずかな影響を示す部分依存プロット (PDP) を作成します。部分依存は、一連の入力特徴量が与えられた場合にターゲットレスポンスを説明するのに役立ちます。表形式のデータの説明に使用されるのと同じ Shapley 値 (SHAP) アルゴリズムを使用して、コンピュータビジョン (CV) と自然言語処理 (NLP) の両方の説明可能性もサポートされています。

機械学習のコンテキストにおける説明の特徴とは何でしょうか。説明とは、人間が予測の原因を理解するのに役立つ「*なぜ*」という質問に対する答えであると考えることができます。ML モデルのコンテキストでは、次のような質問に答えることに興味があるかれません。
+ モデルが特定の申請者のローン拒否などの否定的な結果を予測したのはなぜですか。
+ モデルはどのように予測するのですか。
+ モデルが誤った予測を行ったのはなぜですか。
+ モデルの動作に最大の影響を与える特徴量はどれですか。

説明を使用して、規制要件の監査と適合、モデルの信頼の構築と人間の意思決定のサポート、モデルのパフォーマンスのデバッグと改善を行うことができます。

ML 推論の性質と結果に関する人間の理解の要求を満たすニーズが、必要な説明の種類の鍵となります。哲学や認知科学の分野の研究によると、人は特に対照的な説明、つまり、ある事象 X が、起こらなかった他の事象 Y の代わりになぜ起こったのか、という説明に関心を持つことがわかっています。ここでX は、発生した予期せぬまたは驚くべき事象であり、Y はベースラインと呼ばれる既存のメンタルモデルに基づく期待に対応します。**同じ事象 Xでも、人の視点やメンタルモデル Y によって、求める説明が異なる場合があることに注意してください。説明可能な AI のコンテキストでは、X は説明される例であり、Y はデータセット内の情報の少ない例や平均的な例を表すために通常選択されるベースラインだと考えることができます。たとえば、画像の ML モデリングの場合、ベースラインが暗黙的に表示されることがあります。この場合、ピクセルがすべて同じ色の画像がベースラインとして機能することがあります。

## サンプルノートブック
<a name="clarify-model-explainability-sample-notebooks"></a>

Amazon SageMaker Clarify は、モデルの説明可能性について次のサンプルノートブックを提供しています。
+ [Amazon SageMaker Clarify 処理](https://sagemaker-examples.readthedocs.io/en/latest/sagemaker-clarify/index.html#sagemaker-clarify-processing) — SageMaker Clarify を使用して、バイアスを検出し、特徴量属性を使用してモデル予測を説明するための処理ジョブを作成します。例えば、CSV と JSON Lines のデータ形式の使用、独自のコンテナの持ち込み、Spark での処理ジョブの実行などがあります。
+ [SageMaker Clarify による画像分類の説明](https://github.com/aws/amazon-sagemaker-examples/blob/master/sagemaker-clarify/computer_vision/image_classification/explainability_image_classification.ipynb) — SageMaker Clarify を使用すると、コンピュータビジョンモデルが画像を分類する方法についてのインサイトが得られます。
+ [SageMaker Clarify によるオブジェクト検出モデルの説明](https://github.com/aws/amazon-sagemaker-examples/blob/main/sagemaker-clarify/computer_vision/object_detection/object_detection_clarify.ipynb) — SageMaker Clarify を使用すると、コンピュータビジョンモデルがオブジェクトを検出する方法についてのインサイトが得られます。

このノートブックの動作確認が実施されているのは、Amazon SageMaker Studio のみです。Amazon SageMaker Studio でノートブックを開く方法の手順については、「[Amazon SageMaker Studio Classic ノートブックを作成する、または開く](notebooks-create-open.md)」を参照してください。カーネルの選択を求めるメッセージが表示されたら、**[Python 3 (Data Science)]** (Python 3 (データサイエンス)) を選択します。

**Topics**
+ [サンプルノートブック](#clarify-model-explainability-sample-notebooks)
+ [Shapley 値を使用する特徴属性](clarify-shapley-values.md)
+ [非対称 Shapley 値](clarify-feature-attribute-shap-asymm.md)
+ [説明可能性のための SHAP ベースライン](clarify-feature-attribute-shap-baselines.md)