Erstellen eines Prompt-Datensatzes für RAG-Bewertungsaufträge, die nur zum Abrufen bestimmt sind - Amazon Bedrock
Vorbereiten eines Datensatzes für einen Bewertungsauftrag, der nur zum Abrufen bestimmt ist und bei dem Amazon Bedrock Ihre Wissensdatenbank aufruftVorbereiten eines Datensatzes für einen Bewertungsauftrag, der nur zum Abrufen bestimmt ist, unter Verwendung Ihrer eigenen Inferenzantwortdaten

Erstellen eines Prompt-Datensatzes für RAG-Bewertungsaufträge, die nur zum Abrufen bestimmt sind

Für Bewertungsaufträge, die nur zum Abrufen bestimmt sind, ist ein Prompt-Datensatz im JSON-Zeilenformat erforderlich. Sie können über maximal 1 000 Prompts in Ihrem Datensatz verfügen.

Vorbereiten eines Datensatzes für einen Bewertungsauftrag, der nur zum Abrufen bestimmt ist und bei dem Amazon Bedrock Ihre Wissensdatenbank aufruft

Zum Erstellen eines Bewertungsauftrags nur zum Abrufen, bei dem Amazon Bedrock Ihre Wissensdatenbank aufruft, muss Ihr Prompt-Datensatz die folgenden Schlüssel-Wert-Paare enthalten:

  • referenceResponses – Dieser übergeordnete Schlüssel wird verwendet, um die Ground-Truth-Antwort anzugeben, die Sie von einem durchgängigen RAG-System erwarten würden. Dieser Parameter steht nicht für die erwarteten Passagen oder Chunks, von denen Sie erwarten, dass sie aus Ihrer Wissensdatenbank abgerufen werden. Geben Sie die Ground Truth im text-Schlüssel an. referenceResponses ist erforderlich, wenn Sie in Ihrem Bewertungsauftrag die Metrik Kontextabdeckung auswählen.

  • prompt – Dieser übergeordnete Schlüssel wird verwendet, um den Prompt (Benutzerabfrage) anzugeben, auf den das RAG-System antworten soll.

Im Folgenden finden Sie ein Beispiel für einen benutzerdefinierten Datensatz, der 6 Eingaben enthält und das JSON-Zeilenformat verwendet.

{"conversationTurns":[{"prompt":{"content":[{"text":"Provide the prompt you want to use during inference"}]},"referenceResponses":[{"content":[{"text":"Specify a ground-truth response"}]}]}]}
{"conversationTurns":[{"prompt":{"content":[{"text":"Provide the prompt you want to use during inference"}]},"referenceResponses":[{"content":[{"text":"Specify a ground-truth response"}]}]}]}
{"conversationTurns":[{"prompt":{"content":[{"text":"Provide the prompt you want to use during inference"}]},"referenceResponses":[{"content":[{"text":"Specify a ground-truth response"}]}]}]}
{"conversationTurns":[{"prompt":{"content":[{"text":"Provide the prompt you want to use during inference"}]},"referenceResponses":[{"content":[{"text":"Specify a ground-truth response"}]}]}]}
{"conversationTurns":[{"prompt":{"content":[{"text":"Provide the prompt you want to use during inference"}]},"referenceResponses":[{"content":[{"text":"Specify a ground-truth response"}]}]}]}
{"conversationTurns":[{"prompt":{"content":[{"text":"Provide the prompt you want to use during inference"}]},"referenceResponses":[{"content":[{"text":"Specify a ground-truth response"}]}]}]}

Der folgende Prompt wurde aus Gründen der Übersichtlichkeit erweitert. In Ihrem tatsächlichen Prompt-Datensatz muss jede Zeile (ein Prompt) ein gültiges JSON-Objekt sein.

{
    "conversationTurns": [
        {
            "prompt": {
                "content": [
                    {
                        "text": "What is the recommended service interval for your product?"
                    }
                ]
            },
            "referenceResponses": [
                {
                    "content": [
                        {
                            "text": "The recommended service interval for our product is two years."
                        }
                    ]
                }
            ]
        }
    ]
}

Vorbereiten eines Datensatzes für einen Bewertungsauftrag, der nur zum Abrufen bestimmt ist, unter Verwendung Ihrer eigenen Inferenzantwortdaten

Wenn Sie einen Bewertungsauftrag erstellen möchten, der nur zum Abrufen bestimmt ist und bei dem Sie Ihre eigenen Inferenzantwortdaten angeben, muss Ihr Prompt-Datensatz Folgendes enthalten:

  • prompt – Dieser übergeordnete Schlüssel wird verwendet, um den Prompt (Benutzerabfrage) anzugeben, mit dem Sie Ihre Inferenzantwortdaten generiert haben.

  • referenceResponses – Dieser übergeordnete Schlüssel wird verwendet, um die Ground-Truth-Antwort anzugeben, die Sie von einem durchgängigen RAG-System erwarten würden. Dieser Parameter steht nicht für die erwarteten Passagen oder Chunks, von denen Sie erwarten, dass sie aus der Wissensdatenbank abgerufen werden. Geben Sie die Ground Truth im text-Schlüssel an. referenceResponses ist erforderlich, wenn Sie in Ihrem Bewertungsauftrag die Metrik Kontextabdeckung auswählen.

  • referenceContexts (optional) – Dieser optionale übergeordnete Schlüssel wird verwendet, um die Ground-Truth-Passagen anzugeben, von denen Sie erwarten würden, dass sie aus der RAG-Quelle abgerufen werden. Sie müssen diesen Schlüssel nur angeben, wenn Sie ihn in Ihren eigenen benutzerdefinierten Bewertungsmetriken verwenden möchten. Die integrierten Metriken, die Amazon Bedrock bereitstellt, verwenden diese Eigenschaft nicht.

  • knowledgeBaseIdentifier – Eine vom Kunden definierte Zeichenfolge, die die RAG-Quelle identifiziert, mit der die Abrufergebnisse generiert wurden

  • retrievedResults – Ein JSON-Objekt mit einer Liste von Abrufergebnissen Für jedes Ergebnis können Sie einen optionalen name und optionale metadata angeben, die als Schlüssel-Wert-Paare angegeben werden.

Im Folgenden finden Sie ein Beispiel für einen benutzerdefinierten Datensatz, der 6 Eingaben enthält und das JSON-Zeilenformat verwendet.

{"conversationTurns":[{"prompt":{"content":[{"text":"The prompt you used to generate your response"}]},"referenceResponses":[{"content":[{"text":"A ground-truth response"}]}],"referenceContexts":[{"content":[{"text":"A ground truth for a received passage"}]}],"output":{"knowledgeBaseIdentifier":"A string identifying your RAG source","retrievedResults":{"retrievalResults":[{"name":"(Optional) a name for your reference context","content":{"text":"The output from your RAG inference"},"metadata":{"(Optional) a key for your metadata":"(Optional) a metadata value"}}]}}}]}
{"conversationTurns":[{"prompt":{"content":[{"text":"The prompt you used to generate your response"}]},"referenceResponses":[{"content":[{"text":"A ground-truth response"}]}],"referenceContexts":[{"content":[{"text":"A ground truth for a received passage"}]}],"output":{"knowledgeBaseIdentifier":"A string identifying your RAG source","retrievedResults":{"retrievalResults":[{"name":"(Optional) a name for your reference context","content":{"text":"The output from your RAG inference"},"metadata":{"(Optional) a key for your metadata":"(Optional) a metadata value"}}]}}}]}
{"conversationTurns":[{"prompt":{"content":[{"text":"The prompt you used to generate your response"}]},"referenceResponses":[{"content":[{"text":"A ground-truth response"}]}],"referenceContexts":[{"content":[{"text":"A ground truth for a received passage"}]}],"output":{"knowledgeBaseIdentifier":"A string identifying your RAG source","retrievedResults":{"retrievalResults":[{"name":"(Optional) a name for your reference context","content":{"text":"The output from your RAG inference"},"metadata":{"(Optional) a key for your metadata":"(Optional) a metadata value"}}]}}}]}
{"conversationTurns":[{"prompt":{"content":[{"text":"The prompt you used to generate your response"}]},"referenceResponses":[{"content":[{"text":"A ground-truth response"}]}],"referenceContexts":[{"content":[{"text":"A ground truth for a received passage"}]}],"output":{"knowledgeBaseIdentifier":"A string identifying your RAG source","retrievedResults":{"retrievalResults":[{"name":"(Optional) a name for your reference context","content":{"text":"The output from your RAG inference"},"metadata":{"(Optional) a key for your metadata":"(Optional) a metadata value"}}]}}}]}
{"conversationTurns":[{"prompt":{"content":[{"text":"The prompt you used to generate your response"}]},"referenceResponses":[{"content":[{"text":"A ground-truth response"}]}],"referenceContexts":[{"content":[{"text":"A ground truth for a received passage"}]}],"output":{"knowledgeBaseIdentifier":"A string identifying your RAG source","retrievedResults":{"retrievalResults":[{"name":"(Optional) a name for your reference context","content":{"text":"The output from your RAG inference"},"metadata":{"(Optional) a key for your metadata":"(Optional) a metadata value"}}]}}}]}
{"conversationTurns":[{"prompt":{"content":[{"text":"The prompt you used to generate your response"}]},"referenceResponses":[{"content":[{"text":"A ground-truth response"}]}],"referenceContexts":[{"content":[{"text":"A ground truth for a received passage"}]}],"output":{"knowledgeBaseIdentifier":"A string identifying your RAG source","retrievedResults":{"retrievalResults":[{"name":"(Optional) a name for your reference context","content":{"text":"The output from your RAG inference"},"metadata":{"(Optional) a key for your metadata":"(Optional) a metadata value"}}]}}}]}

Der folgende Prompt wurde aus Gründen der Übersichtlichkeit erweitert. In Ihrem tatsächlichen Prompt-Datensatz muss jede Zeile (ein Prompt) ein gültiges JSON-Objekt sein.

{
  "conversationTurns": [
    {
      "prompt": {
        "content": [
          {
            "text": "What is the recommended service interval for your product?"
          }
        ]
      },
      "referenceResponses": [
        {
          "content": [
            {
              "text": "The recommended service interval for our product is two years."
            }
          ]
        }
      ],
      "referenceContexts": [
        {
          "content": [
            {
              "text": "A ground truth for a received passage"
            }
          ]
        }
      ],
       "output": {
        "knowledgeBaseIdentifier": "RAG source 1",
        "retrievedResults": {
          "retrievalResults": [
            {
              "name": "(Optional) a name for your retrieval",
              "content": {
                "text": "The recommended service interval for our product is two years."
              },
              "metadata": {
                "(Optional) a key for your metadata": "(Optional) a value for your metadata"
              }
            }
          ]
        }
      }
    }
  ]
}