モデル抽出の前提条件 - Amazon Bedrock
アクセス許可蒸留用の教師モデルと生徒モデルを選択する

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

モデル抽出の前提条件

開始する前に、Model Distillation のアクセスコントロールとセキュリティコントロールを理解していることを確認します。また、留学ジョブの教師モデルと学生モデルを選択する必要があります。

アクセス許可

開始する前に、Model Distillation のアクセスコントロールとセキュリティコントロールを理解していることを確認します。Model Distillation のトレーニングデータと検証データを保存する Amazon S3 バケットにアクセスできる IAM サービスロールが必要です。Amazon Bedrock には、蒸留ジョブとアーティファクトを暗号化し、セキュリティをさらに強化するオプションもあります。詳細については、「モデルのカスタマイズのアクセスとセキュリティ」を参照してください。

Distillation ジョブで教師モデルのクロスリージョン推論プロファイルを使用するには、推論プロファイルの各リージョンのモデルに加えて AWS リージョン、サービスロールに で推論プロファイルを呼び出すアクセス許可が必要です。ポリシーの例については「(オプション) クロスリージョン推論プロファイルを使用して蒸留ジョブを作成するためのアクセス許可」を参照してください。クロスリージョン推論の詳細については、「クロスリージョン推論によりスループットを向上させる」を参照してください。

蒸留用の教師モデルと生徒モデルを選択する

モデルタイプ 選択基準 主な考慮事項 要件
教師モデル 生徒モデルよりもかなり大規模で性能が高く、ユースケースに合わせて達成する必要がある精度の教師モデルを選択してください。 蒸留の効果を高めるには、ユースケースと同様のタスクで既にトレーニングされているモデルを選択します。一部の教師モデルでは、クロスリージョン推論プロファイルを選択できます。 各リージョンで推論プロファイルとモデルを呼び出すアクセス許可が必要です。ポリシーの例については、「クロスリージョン推論ドキュメント」を参照してください。
学生モデル 生徒モデルには、教師モデルよりもサイズがかなり小さいモデルを選択してください。 学生モデルは、サポートされているモデルテーブルの教師モデルとペアになっている学生モデルの 1 つである必要があります。 次の表に示すように、選択した教師モデルと互換性がある必要があります。

次のセクションでは、Amazon Bedrock Model Distillation でサポートされているモデルとリージョンの一覧を示します。教師モデルと生徒モデルを選択したら、蒸留用のトレーニングデータセットを準備して最適化します。詳細については、「蒸留用トレーニングデータセットを準備する」を参照してください。

Amazon Bedrock Model Distillation でサポートされているモデルとリージョン

次の表は、教師モデルと学生モデルでサポートされているモデルと AWS リージョン Amazon Bedrock Model Distillation を示しています。クロスリージョン推論プロファイルを使用する場合、モデル蒸留ではシステム推論プロファイルのみがサポートされます。詳細については、「クロスリージョン推論によりスループットを向上させる」を参照してください。

プロバイダー 教師 教師 ID 推論プロファイルのサポート 生徒 生徒 ID リージョン
Amazon Nova Pro amazon.nova-pro-v1:0 [Both] (両方)

Nova Lite

Nova Micro

amazon.nova-lite-v1:0:300k

amazon.nova-micro-v1:0:128k

 米国東部 (バージニア北部)
Nova Premier amazon.nova-premier-v1:0 推論プロファイルのみ

Nova Lite

Nova Micro

Nova Pro

amazon.nova-lite-v1:0:300k

amazon.nova-micro-v1:0:128k

amazon.nova-pro-v1:0:300k

 米国東部 (バージニア北部)
Anthropic Claude 3.5 v1 anthropic.claude-3-5-sonnet-20240620-v1:0 [Both] (両方)

Claude 3 Haiku

anthropic.claude-3-haiku-20240307-v1:0:200k

 米国西部 (オレゴン)
Claude 3.5 v2 anthropic.claude-3-5-sonnet-20241022-v2:0 [Both] (両方)

Claude 3 Haiku

anthropic.claude-3-haiku-20240307-v1:0:200k

 米国西部 (オレゴン)
Meta Llama 3.1 405B meta.llama3-1-405b-instruct-v1:0 オンデマンド

Llama 3.1 8B

Llama 3.1 70B

ラマ 3.2 1B

ラマ 3.3 70B

meta.llama3-1-8b-instruct-v1:0:128k

meta.llama3-1-70b-instruct-v1:0:128k

meta.llama3-2-1b-instruct-v1:0:128k

meta.llama3-3-70b-instruct-v1:0:128k

 米国西部 (オレゴン)
Llama 3.1 70B meta.llama3-1-70b-instruct-v1:0 [Both] (両方)

Llama 3.1 8B

ラマ 3.2 1B

ラマ 3.2 3B

meta.llama3-1-8b-instruct-v1:0:128k

meta.llama3-2-1b-instruct-v1:0:128k

meta.llama3-2-3b-instruct-v1:0:128k

 米国西部 (オレゴン)
Llama 3.3 70B meta.llama3-3-70b-instruct-v1:0 推論プロファイルのみ

Llama 3.1 8B

ラマ 3.2 1B

ラマ 3.2 3B

meta.llama3-1-8b-instruct-v1:0:128k

meta.llama3-2-1b-instruct-v1:0:128k

meta.llama3-2-3b-instruct-v1:0:128k

 米国西部 (オレゴン)
注記