蒸留用の教師モデルと生徒モデルを選択する - Amazon Bedrock
蒸留でサポートされているモデルとリージョン

蒸留用の教師モデルと生徒モデルを選択する

Model Distillation では、教師モデルと生徒モデルを選択します。

  • 教師モデルを選択する

    生徒モデルよりもかなり大規模で性能が高く、ユースケースに合わせて達成する必要がある精度の教師モデルを選択してください。蒸留の効果を高めるには、ユースケースと同様のタスクで既にトレーニングされているモデルを選択します。

    一部の教師モデルでは、クロスリージョン推論プロファイル (クロスリージョン推論によりスループットを向上させる) を選択できます。クロスリージョン推論では、推論リクエストを処理するのに最適な AWS リージョンが地域内で自動的に選択されます。これにより、利用可能なリソースとモデルの可用性が最大限に高まり、カスタマーエクスペリエンスが向上します。クロスリージョン推論プロファイルを使用するには、推論プロファイルの各リージョン内のモデルのほかに、AWS リージョンで推論プロファイルを呼び出すためのアクセス許可がサービスロールに必要です。ポリシーの例については「(オプション) クロスリージョン推論プロファイルを使用して蒸留ジョブを作成するためのアクセス許可」を参照してください。

  • 生徒モデルを選択する

    生徒モデルには、教師モデルよりもサイズがかなり小さいモデルを選択してください。生徒モデルは、次の表で教師モデルとペアになっている生徒モデルのいずれかである必要があります。

次のセクションでは、Amazon Bedrock Model Distillation でサポートされているモデルとリージョンの一覧を示します。教師モデルと生徒モデルを選択したら、蒸留用のトレーニングデータセットを準備して最適化します。詳細については、「蒸留用トレーニングデータセットを準備する」を参照してください。

Amazon Bedrock Model Distillation でサポートされているモデルとリージョン

次の表は、Amazon Bedrock Model Distillation が教師モデルと生徒モデル用にサポートしているモデルと AWS リージョンを示しています。クロスリージョン推論プロファイルを使用する場合、モデル蒸留ではシステム推論プロファイルのみがサポートされます。詳細については、「クロスリージョン推論によりスループットを向上させる」を参照してください。

プロバイダー 教師 教師 ID 推論プロファイルのサポート 生徒 生徒 ID リージョン
Amazon Nova Pro amazon.nova-pro-v1:0 両方

Nova Lite

Nova Micro

amazon.nova-lite-v1:0:300k

amazon.nova-micro-v1:0:128k

 米国東部 (バージニア北部)
Nova Premier amazon.nova-premier-v1:0 推論プロファイルのみ

Nova Lite

Nova Micro

Nova Pro

amazon.nova-lite-v1:0:300k

amazon.nova-micro-v1:0:128k

amazon.nova-pro-v1:0:300k

 米国東部 (バージニア北部)
Anthropic Claude 3.5 v1 anthropic.claude-3-5-sonnet-20240620-v1:0 両方

Claude 3 Haiku

anthropic.claude-3-haiku-20240307-v1:0:200k

 米国西部 (オレゴン）
Claude 3.5 v2 anthropic.claude-3-5-sonnet-20241022-v2:0 両方

Claude 3 Haiku

anthropic.claude-3-haiku-20240307-v1:0:200k

 米国西部 (オレゴン）
Meta Llama 3.1 405B meta.llama3-1-405b-instruct-v1:0 オンデマンド

Llama 3.1 8B

Llama 3.1 70B

Llama 3.2 1B

Llama 3.3 70B

meta.llama3-1-8b-instruct-v1:0:128k

meta.llama3-1-70b-instruct-v1:0:128k

meta.llama3-2-1b-instruct-v1:0:128k

meta.llama3-3-70b-instruct-v1:0:128k

 米国西部 (オレゴン）
Llama 3.1 70B meta.llama3-1-70b-instruct-v1:0 両方

Llama 3.1 8B

Llama 3.2 1B

Llama 3.2 3B

meta.llama3-1-8b-instruct-v1:0:128k

meta.llama3-2-1b-instruct-v1:0:128k

meta.llama3-2-3b-instruct-v1:0:128k

 米国西部 (オレゴン）
Llama 3.3 70B meta.llama3-3-70b-instruct-v1:0 推論プロファイルのみ

Llama 3.1 8B

Llama 3.2 1B

Llama 3.2 3B

meta.llama3-1-8b-instruct-v1:0:128k

meta.llama3-2-1b-instruct-v1:0:128k

meta.llama3-2-3b-instruct-v1:0:128k

 米国西部 (オレゴン）
注記