モデルカードに関するよくある質問

A: サイバー攻撃の予測やローン申請の承認からメールのカテゴリの検出まで、さまざまなビジネスアプリケーションにモデルを使用できます。これらのアプリケーションはそれぞれ異なるレベルのリスクを想定しています。例えば、サイバー攻撃を誤って検出すると、メールを誤って分類するよりもビジネスにははるかに大きな影響があります。モデルのこのようなさまざまなリスクプロファイルを考慮して、モデルカードを使用し、モデルに low、medium、high のリスク評価を提供します。モデルのリスクがわからない場合は、ステータスを unknown に設定できます。顧客は各モデルにリスクプロファイルを割り当てる責任があります。リスク評価に基づいて、組織はそれらのモデルを本番環境にデプロイするための異なるルールを定めている場合があります。詳細については、「リスク評価」を参照してください。

モデルの使用目的は、本番アプリケーションでそのモデルをどのように使用すべきかを示します。これは、モデルをデプロイすべきインスタンスのタイプなどの技術的要件にとどまらず、そのモデルを使用して作成するアプリケーションのタイプ、モデルから妥当なパフォーマンスを期待できるシナリオ、モデルで使用するデータのタイプなどを指します。モデルガバナンスを強化するために、この情報をモデルカードに記載することをおすすめします。使用目的フィールドで一種のモデル仕様を定義し、モデルの開発者と利用者がモデルをトレーニングしてデプロイする際にこの仕様に従うようにすることができます。詳細については、「モデルの使用目的」を参照してください。

SageMaker Python SDK または AWS コンソールを使用してモデルカードを作成すると、SageMaker AI はトレーニング済みモデルに関する情報を自動的に入力します。これには、包括的なトレーニングの詳細と、describe-model API コールを通じて利用可能なすべてのモデル情報が含まれます。Amazon SageMaker Studio で作業する場合は、DescribeModelPackageAPI を呼び出してモデルカードを自動入力できます。

Amazon SageMaker Model Cards には構造が定義されており、変更することはできません。この構造により、モデルカードにどのような情報を取り込むべきかがわかります。モデルカードの構造は変更できませんが、モデルカードの [追加情報] セクションのカスタムプロパティを使うと、ある程度の柔軟性が得られます。

モデルカードにはバージョンが関連付けられています。特定のモデルバージョンは、モデルカードのステータスを除くすべての属性を変更できません。評価メトリクス、説明、使用目的など、モデルカードにその他の変更を加えると、SageMaker AI によって、更新された情報を反映する新しいバージョンのモデルカードが作成されます。これは、一度作成したモデルカードが改ざんされないようにするためです。

モデルカードは、モデルレジストリでモデルパッケージのバージョンを変更する都度、自動的に更新されます。

A: はい。SageMaker AI でトレーニングを受けていないモデルのモデルカードを作成することはできますが、カードには情報が自動入力されません。SageMaker AI 以外のモデルの場合は、モデルカードに必要な情報をすべて入力する必要があります。

A: はい。モデルカードの各バージョンは、PDF にエクスポートし、ダウンロードして共有できます。

A: モデルカードには、SageMaker AI コンソールとモデルレジストリの両方からアクセスできます。Model Registry を使用すると、モデルのバージョンごとにモデルカードが自動的に届きます。

A: モデルカードは、SageMaker AI の基準となる指針に従い、独自のカスタム情報を提供することで、モデルに関する詳細を必要なだけ文書化する仕組みを組織に提供することを目的としています。ML プロセスの最初にモデルカードを導入して、そのモデルで解決すべきビジネス上の問題や、モデルを使用する際に考慮すべき考慮事項を定義できます。モデルをトレーニングしたら、そのモデルに関連するモデルカードに、モデルとそのトレーニング方法に関する情報を入力できます。モデルカードはモデルに関連付けられていますが、一度モデルに関連付けられると変更できなくなります。これにより、モデルカードのトレーニング方法や使用方法など、モデルに関連するすべての情報を一元的に把握できます。

Model Registry は、モデルに関するメタデータを保存するカタログです。モデルレジストリの各エントリは、固有のモデルバージョンに対応しています。そのモデルバージョンには、Amazon S3 のモデルアーティファクトの保存場所、モデルのデプロイに必要なコンテナ、モデルに添付する必要があるカスタムメタデータなど、モデルに関する情報が含まれています。各モデルパッケージバージョンには、モデルカードが関連付けられています。

A: モデルカードはモデルレジストリオブジェクトに統合されています。モデルレジストリ内のモデルパッケージの各バージョンは、対応するモデルカードに関連付けられています。ModelPackageModelCard API を使用して、各バージョンのモデルカードスキーマにアクセスできます。

A: はい、モデルレジストリのモデルカードとモデルは、1 対 1 の関係です。モデルレジストリに保存されている各モデルバージョンには、対応するモデルカードが 1 つだけ関連付けられています。

A: いいえ。 SageMaker Model Monitor によって計算されたパフォーマンスメトリクスをモデルカードにアップロードするには、メトリクスファイルを Amazon S3 にアップロードしてカードにリンクしますが、Model Monitor とモデルカードはネイティブには統合されていません。モデルダッシュボードは Model Monitor と統合されています。モデルダッシュボードの詳細については、「Amazon SageMaker Model Dashboard」を参照してください。