Amazon Bedrock で RAG 評価用のプロンプトデータセットを作成する

Amazon Bedrock ナレッジベースまたは独自の検索拡張生成 (RAG) システムの取得と生成を評価するには、プロンプトデータセットを指定します。独自の RAG システムからレスポンスデータを指定すると、Amazon Bedrock はナレッジベースの呼び出しステップをスキップし、データに対して直接評価ジョブを実行します。

プロンプトデータセットは Amazon S3 に保存し、JSON 行形式と .jsonl ファイル拡張子を使用する必要があります。各行が有効な JSON オブジェクトである必要があります。評価ジョブごとに、データセット内のプロンプト数は最大 1000 個まで使用できます。retrieve-and-generate 評価ジョブの場合、会話ごとの最大ターン数は 5 です。取得のみを行う評価ジョブの場合、指定できるターンは 1 つのみです。

コンソールを使用して作成されたジョブの場合、S3 バケットのクロスオリジンリソース共有 (CORS) 設定を更新する必要があります。必要な CORS アクセス許可の詳細については、「S3 バケットに必要なクロスオリジンリソース共有 (CORS) のアクセス許可」を参照してください。

選択した評価ジョブのタイプで必要なキー値のペアの詳細については、以降のトピックを参照してください。