推論プロファイルを使用してモデル呼び出しリソースを設定する

使用状況メトリクスを追跡する – CloudWatch ログを設定し、アプリケーション推論プロファイルを使用してモデル呼び出しリクエストを送信して、モデル呼び出しの使用状況メトリクスを収集します。推論プロファイルに関する情報を表示するときにこれらのメトリクスを確認し、メトリクスを使用して決定事項を通知することができます。CloudWatch ログの設定方法の詳細については、「CloudWatch Logs と Amazon S3 を使用してモデル呼び出しをモニタリングする」を参照してください。

タグを使用してコストをモニタリングする – オンデマンドのモデル呼び出しリクエストを送信するときに、アプリケーション推論プロファイルにタグをアタッチしてコストを追跡します。コスト配分にタグを使用する方法の詳細については、「AWS Billing 請求ユーザーガイド」の「AWS コスト配分タグを使用したコストの整理と追跡」を参照してください。

クロスリージョン推論 – 複数の AWS リージョンを含む推論プロファイルを使用してスループットを向上させます。推論プロファイルは、これらのリージョンにモデル呼び出しリクエストを分散して、スループットとパフォーマンスを向上させます。クロスリージョン推論の詳細については、「クロスリージョン推論によりスループットを向上させる」を参照してください。

クロスリージョン (システム定義) 推論プロファイル – Amazon Bedrock で事前定義され、モデルへのリクエストのルーティング先となる複数のリージョンを含む推論プロファイル。

アプリケーション推論プロファイル – コストとモデルの使用状況を追跡するためにユーザーが作成する推論プロファイル。モデル呼び出しリクエストを 1 つのリージョンまたは複数のリージョンにルーティングする推論プロファイルを作成できます。

モデル推論 – Amazon Bedrock コンソールのプレイグラウンドで推論プロファイルを選択するか、InvokeModel、InvokeModelWithResponseStream、Converse、ConverseStream オペレーションの呼び出し時に推論プロファイルの ARN を指定することで、モデル呼び出しを実行する際に推論プロファイルを使用します。詳細については、「プロンプトを送信し、モデル推論を使用してレスポンスを生成する」を参照してください。

ナレッジベースのベクトル埋め込みとレスポンス生成 – ナレッジベースでのクエリ後にレスポンスを生成する場合や、データソース内の非テキスト情報を解析する場合に、推論プロファイルを使用します。詳細については、「クエリとレスポンスを使用してナレッジベースをテストする」および「データソースの解析オプション」を参照してください。

モデル評価 – モデル評価ジョブを送信する際、評価するモデルとして推論プロファイルを送信できます。詳細については、「Amazon Bedrock リソースのパフォーマンスを評価する」を参照してください。

プロンプト管理 – プロンプト管理で作成したプロンプトのレスポンスを生成する際に、推論プロファイルを使用できます。詳細については、Amazon Bedrock のプロンプト管理で再利用可能なプロンプトを構築して保存するを参照してください。

フロー – フローのプロンプトノードでインラインに定義したプロンプトのレスポンスを生成する際に、推論プロファイルを使用できます。詳細については、「Amazon Bedrock フローを使用してエンドツーエンドの生成 AI ワークフローを構築する」を参照してください。