翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。
Amazon Bedrock でのインテリジェントなプロンプトルーティングについて
Amazon Bedrock インテリジェントプロンプトルーティングは、単一のサーバーレスエンドポイントを提供し、同じモデルファミリー内の異なる基盤モデル間でリクエストを効率的にルーティングします。リクエストごとに各モデルのレスポンス品質を動的に予測し、最適なレスポンス品質でモデルにリクエストをルーティングできます。これにより、レスポンスの品質とコストの両方を最適化できます。
トピック
インテリジェントなプロンプトルーティングでサポートされているリージョンとモデル
インテリジェントプロンプトルーティングは、次のモデルでサポートされています。
| プロバイダー | モデル | 基盤モデルをサポートするリージョン | 推論プロファイルをサポートするリージョン |
|---|---|---|---|
| Amazon | Nova Lite |
us-east-1 us-gov-west-1 |
us-east-1 us-east-2 us-west-2 ap-northeast-1 ap-northeast-2 ap-south-1 ap-southeast-2 eu-central-1 eu-west-1 eu-west-3 |
| Amazon | Nova Pro |
us-east-1 us-gov-west-1 |
us-east-1 us-east-2 us-west-2 ap-northeast-1 ap-northeast-2 ap-south-1 ap-southeast-2 eu-central-1 eu-west-1 eu-west-3 |
| Anthropic | Claude 3.5 Haiku |
us-west-2 |
us-east-1 us-east-2 us-west-2 |
| Anthropic | Claude 3.5 Sonnet |
us-east-1 us-west-2 us-gov-west-1 ap-northeast-1 ap-northeast-2 eu-central-1 |
us-east-1 us-east-2 us-west-2 us-gov-east-1 ap-northeast-1 ap-northeast-2 ap-south-1 ap-southeast-2 eu-central-1 eu-west-1 eu-west-3 |
| Anthropic | Claude 3.5 Sonnet v2 |
us-west-2 ap-southeast-2 |
us-east-1 us-east-2 us-west-2 ap-northeast-1 ap-south-1 ap-southeast-2 eu-west-3 |
| Anthropic | Claude 3 Haiku |
us-east-1 us-west-2 us-gov-west-1 ap-northeast-1 ap-northeast-2 ap-south-1 ap-southeast-2 eu-central-1 eu-west-1 eu-west-3 |
us-east-1 us-east-2 us-west-2 us-gov-east-1 ap-northeast-1 ap-northeast-2 ap-south-1 ap-southeast-2 eu-central-1 eu-west-1 eu-west-3 |
| Meta | Llama 3.1 70B Instruct |
us-west-2 |
us-east-1 us-east-2 us-west-2 |
| Meta | Llama 3.1 8B Instruct |
us-west-2 |
us-east-1 us-east-2 us-west-2 |
| Meta | Llama 3.2 11B Instruct |
N/A |
us-east-1 us-east-2 us-west-2 |
| Meta | Llama 3.2 90B Instruct |
N/A |
us-east-1 us-east-2 us-west-2 |
| Meta | Llama 3.3 70B Instruct |
us-east-2 |
us-east-1 us-east-2 us-west-2 |
利点
-
レスポンスの品質とコストの最適化： プロンプトをさまざまな基盤モデルにルーティングして、最も低いコストで最高のレスポンス品質を実現します。
-
管理の簡素化： 複雑なオーケストレーションロジックが不要になります。
-
Future-Proof: 利用可能になった新しいモデルを組み込みます。
デフォルトおよび設定されたプロンプトルーター
インテリジェントなプロンプトルーティングを使用する場合は、Amazon Bedrock が提供するデフォルトのプロンプトルーターを使用するか、独自のプロンプトルーターを設定できます。
デフォルトのプロンプトルーターは、Amazon Bedrock が提供する事前設定されたルーティングシステムです。これらのルーターには事前定義された設定があり、特定の基盤モデルでout-of-the-box機能するように設計されています。ルーティング設定を構成することなく、シンプルでready-to-useソリューションを提供します。インテリジェントなプロンプトルーティングを開始するときは、Amazon Bedrock が提供するデフォルトのルーターを試すことをお勧めします。プレビュー中に、Anthropic および Meta ファミリーで一部のモデルを使用することを選択できます。
設定されたプロンプトルーターを使用すると、特定のニーズや好みに合わせた独自のルーティング設定を定義できます。リクエストのルーティング方法と使用するモデルをより細かく制御する必要がある場合に適しています。設定済みルーターは、レスポンス品質メトリクスとユースケースに基づいて最適化を可能にします。デフォルトのルーターを試したら、アプリケーションに適した独自のルーターを設定し、プレイグラウンドのレスポンス品質を評価し、要件を満たしている場合は本番稼働用アプリケーションに使用できます。
考慮事項と制限事項
Amazon Bedrock でのインテリジェントなプロンプトルーティングに関する考慮事項と制限事項を次に示します。
-
インテリジェントプロンプトルーティングは、英語プロンプトにのみ最適化されています。
-
インテリジェントプロンプトルーティングでは、アプリケーション固有のパフォーマンスデータに基づいてルーティングの決定やレスポンスを調整できません。
-
インテリジェントプロンプトルーティングは、一意または特殊なユースケースに最適なルーティングを提供するとは限りません。ルーティングの有効性は、初期トレーニングデータによって異なります。
プロンプトルーター基準とフォールバックモデル
プロンプトルーターを設定するときは、ルーティング条件を指定できます。ルーティング条件は、レスポンス品質の差に基づいてリクエストを処理するために選択するモデルを決定するために使用されます。この基準を使用して、フォールバックモデルのレスポンスを他のモデルのレスポンスにどれだけ近づけるかを決定します。
フォールバックモデル
リクエストに適したフォールバックモデルを選択します。このモデルは信頼性の高いベースラインとして機能します。その後、別のモデルを選択して、フォールバックモデルと比較して精度を向上させるか、コストを削減できます。フォールバックモデルはアンカーとして機能し、ルーティング基準は応答品質の差に基づいて他のモデルに切り替えるタイミングを決定します。
レスポンス品質の違い
レスポンス品質の差は、フォールバックモデルと他のモデルのレスポンスの格差を測定します。値が小さいほど、レスポンスが類似していることを示します。値が大きいほど、フォールバックモデルと他のモデル間のレスポンスに大きな違いがあることを示します。
たとえば、応答品質の差が 10% の場合、フォールバックモデル Claude Haiku3 の応答品質が 10% であるとすると、応答が Claude Haiku3 の応答よりも 10% 優れている場合にのみ、ルーターは別のモデル Claude Sonnet3 に切り替えられます。 Haiku3
インテリジェントなプロンプトルーティングの仕組み
-
モデルの選択とルーターの設定
アプリケーションに使用するモデルのファミリーを選択します。デフォルトのプロンプトルーターを使用している場合は、Anthropic または Meta ファミリーのモデルから選択できます。設定されたプロンプトルーターを使用している場合は、追加のモデルから選択し、ルーティング条件を設定できます。詳細については、「インテリジェントなプロンプトルーティングの使用方法」を参照してください。
-
受信リクエスト分析
受信リクエストごとに、システムはプロンプトを分析してその内容とコンテキストを理解します。
-
レスポンス品質予測
Amazon Bedrock は、プロンプトに基づいて、選択したファミリー内の指定された各モデルのレスポンス品質を予測します。プロンプトルーターを設定した場合、応答品質の違いであるルーティング条件が考慮され、条件が満たされない場合は、指定されたフォールバックモデルにリクエストがルーティングされます。
-
モデルの選択とリクエストの転送
レスポンス品質の予測に基づいて、Amazon Bedrock は特定のリクエストのレスポンス品質とコストの最適な組み合わせを提供するモデルを動的に選択します。その後、リクエストは選択したモデルに転送され、処理されます。
-
レスポンス処理
選択したモデルからのレスポンスが取得され、ユーザーに返されます。レスポンスには、リクエストの処理に使用されたモデルに関する情報が含まれます。
インテリジェントなプロンプトルーティングの使用方法
インテリジェントなプロンプトルーティングを開始するには、Amazon Bedrock コンソール AWS CLI、または AWS SDK を使用します。
注記
インテリジェントなプロンプトルーティングを最大限に活用するには、定期的にパフォーマンスを確認して新しいモデルを活用する必要があります。使用量を最適化するには、使用可能なパフォーマンスとコストのメトリクスをモニタリングします。
以下のセクションでは、 コンソールと CLI からこの機能を使用する方法を示します。プロンプトルーターを設定すると、Amazon Bedrock は で説明されているステップを実行してインテリジェントなプロンプトルーティングの仕組み、選択したルーターのモデルのいずれかからレスポンスを生成します。
