グローバルな解釈可能性

特徴がモデルの出力全体にどのように寄与するかを理解することで、特徴選択とモデル開発に役立つ一般的な知見が得られます。新しい機能を追加した場合の効果を測定するには、通常、その機能がある場合とない場合の相互検証を実行します。ただし、検討中のすべての特徴の組み合わせとすべてのモデルタイプに対して相互検証を実行することは、計算コストが高いため実行できないことがよくあります。そのため、特徴の重要度を判断する他の方法も迅速な判断に役立ちます。グローバルフィーチャアトリビューションを決定するには、前のセクションで推奨したローカルフィーチャアトリビューションスコアをすべてのデータにわたって集計することをおすすめします。また、時間と計算上の制約が許せば、フィーチャが削除されたときの相互検証スコアの変化を計算することをおすすめします。次の例はローカルアトリビューションスコアの集計を説明します。虹彩分類モデルの SHAP 値の大きさを (概要から) 平均し、ヒートマップとしてプロットしています。虹彩のクラスを決定するモデルでは、がく片の測定値が大きな役割を果たしていないことがわかります。

指定されたモデル出力について、評価インスタンス全体にわたる SHAP 値の集合は、以下の図 (虹彩データセット [4] からのデータのサブセットについて) に示されるように、蜂群プロットで可視化することができます。この図から、petal_width属性がクラスIris-versicolorのモデル出力に最も大きな影響を及ぼし、高いpetal_width値がクラス予測にマイナスに寄与していることがわかります。複数のデータポイントが同じ、または非常に類似した特徴属性値を持つ場合、ドットはその場所でのより大きな有病率を示すために積み重ねられています。