Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich. # So erstellen Sie einen Nur-Abruf-Bewertungsauftrag unter RAG; Sie können einen RAG-Bewertungsauftrag mithilfe der AWS-Managementkonsole, der AWS CLI oder eines unterstützten AWS SDKs erstellen. Für diesen Auftragstyp ist Zugriff auf ein Evaluatormodell erforderlich. Eine Liste der unterstützten Evaluatormodelle finden Sie unter [Unterstützte Modelle](evaluation-kb.md#evaluation-kb-supported). Um einen Job anhand der folgenden Anweisungen zu erstellen, benötigen Sie außerdem einen Prompt-Datensatz. Wenn Sie noch keinen erstellt haben, finden Sie weitere Informationen unter [Erstellen eines Prompt-Datensatzes für eine RAG-Bewertung in Amazon Bedrock](knowledge-base-evaluation-prompt.md). ------ #### [ Console ] 1. Öffnen Sie die [Amazon-Bedrock-Konsole](https://console.aws.amazon.com/bedrock/home). 1. Wählen Sie im linken Bereich unter **Inferenz und Bewertung** die Option **Bewertungen** aus. 1. Wählen Sie im Bereich **RAG-Bewertungen** die Option **Erstellen** aus. 1. Gehen Sie wie folgt vor, um Ihre RAG-Bewertungsdetails einzugeben: 1. Geben Sie im Bereich **Bewertungsdetails** unter **Bewertungsname** einen Namen für Ihren Bewertungsauftrag ein. Der ausgewählte Name muss innerhalb Ihrer AWS-Region eindeutig sein. 1. Geben Sie optional unter **Beschreibung – *optional*** eine Beschreibung für Ihren Bewertungsauftrag ein. 1. Klicken Sie unter **Evaluatormodell** auf **Modell auswählen** und wählen Sie das Evaluatormodell aus, für das Sie Ihre Bewertung durchführen möchten. 1. Geben Sie die Inferenzquelle für Ihren Bewertungsauftrag ein. Mit den RAG-Bewertungen in Amazon Bedrock können Sie entweder die Leistung der Wissensdatenbanken für Amazon Bedrock auswerten oder die anderer RAG-Quellen, indem Sie Ihre eigenen Inferenzantwortdaten im [Prompt-Datensatz](knowledge-base-evaluation-prompt.md) bereitstellen. Gehen Sie wie folgt vor, um eine Amazon Bedrock Knowledge Base auszuwählen: 1. Wählen Sie im Bereich **Inferenzquelle** unter **Quelle auswählen** die Option **Bedrock Knowledge Base** aus. 1. Wählen Sie unter **Wissensdatenbank auswählen** mithilfe der Dropdown-Liste eine Wissensdatenbank aus. 1. Gehen Sie wie folgt vor, um eigene Inferenzantwortdaten bereitzustellen: 1. Wählen Sie im Bereich **Inferenzquelle** unter **Quelle auswählen** die Option **Eigene Inferenzantworten einbringen** aus. 1. Geben Sie unter **Quellenname** einen Namen für die RAG-Quelle ein, mit der Sie die Antwortdaten erstellt haben. Der eingegebene Name muss mit dem `knowledgeBaseIdentifier`-Parameter in Ihrem [Prompt-Datensatz](knowledge-base-evaluation-prompt.md) übereinstimmen. 1. Wählen Sie im Bereich **Inferenzquelle** unter **Bewertungstyp** die Option **Nur Abruf** aus. 1. Wählen Sie die integrierten Metriken aus, die das Evaluatormodell verwenden soll, indem Sie sie im Bereich **Metriken** mindestens eine Metrik auswählen. 1. Definieren Sie Ihre Eingabe- und Ausgabeorte für Ihren Datensatz und Ihre Ergebnisse, indem Sie wie folgt vorgehen: 1. Geben Sie im Bereich **Datensätze** unter **Prompt-Datensatz auswählen** den Amazon-S3-URI für Ihren Prompt-Datensatz ein, oder wählen Sie **S3 durchsuchen** aus, um Ihre Datei auszuwählen. Eine Definition des erforderlichen Prompt-Datensatzformats für einen Nur-Abruf-Bewertungsauftrag finden Sie unter [Erstellen eines Prompt-Datensatzes für RAG-Bewertungsaufträge, die nur zum Abrufen bestimmt sind](knowledge-base-evaluation-prompt-retrieve.md). 1. Geben Sie unter **Ergebnisse der Bewertung** einen Amazon-S3-Speicherort für Amazon Bedrock ein oder wählen Sie **S3 durchsuchen** aus, um einen Speicherort auszuwählen. 1. Wählen Sie unter **IAM-Rolle für Amazon-Bedrock – Berechtigungen** die Option **Neue Servicerolle erstellen und verwenden** aus, damit Amazon Bedrock eine neue IAM-Rolle für den Bewertungsauftrag erstellt, oder wählen Sie **Eine vorhandene Servicerolle verwenden** aus, um eine vorhandene IAM-Rolle auszuwählen. Eine Liste der erforderlichen Berechtigungen zum Erstellen und Ausführen eines Bewertungsauftrags finden Sie unter [Voraussetzungen](knowledge-base-evaluation-create.md#knowledge-base-evaluation-create-prereqs). 1. (Optional) Um Ihren eigenen KMS-Schlüssel zum Verschlüsseln Ihrer Bewertungsdaten zu verwenden, aktivieren Sie unter **KMSkey – *Optional*** die Option **Verschlüsselungseinstellungen anpassen (erweitert)** und wählen dann Ihren AWS KMS-Schlüssel aus. Amazon Bedrock verschlüsselt die Daten Ihres Bewertungsauftrags standardmäßig mit einem AWS-eigenen KMS-Schlüssel. 1. Klicken Sie auf **Erstellen**, um die Erstellung Ihres Bewertungsauftrags abzuschließen. ------ #### [ AWS CLI ] **So erstellen Sie einen Nur-Abruf-Bewertungsauftrag für Amazon Bedrock Knowledge Base** + Führen Sie den folgenden AWS CLI-Befehl mit der JSON-Beispieldatei aus. ``` aws bedrock create-evaluation-job --cli-input-json file://my_eval_job.json ``` ``` { "jobName": "my_rag_eval", "roleArn": "arn:aws:iam::111122223333:role/service-role/Amazon-Bedrock-IAM-Role-Amazon-Bedrock-IAM-Role-20250218T063974", "applicationType": "RagEvaluation", "evaluationConfig": { "automated": { "datasetMetricConfigs": [ { "taskType": "General", "dataset": { "name": "text_dataset", "datasetLocation": { "s3Uri": "s3://amzn-s3-demo-bucket/input/retrieval-only/retrieve-eval-byoir.jsonl" } }, "metricNames": [ "Builtin.ContextCoverage", "Builtin.ContextRelevance" ] } ], "evaluatorModelConfig": { "bedrockEvaluatorModels": [ { "modelIdentifier": "us.meta.llama3-1-70b-instruct-v1:0" } ] } } }, "inferenceConfig": { "ragConfigs": [ { "knowledgeBaseConfig": { "retrieveConfig": { "knowledgeBaseId": "your-knowledge-base-id", "knowledgeBaseRetrievalConfiguration": { "vectorSearchConfiguration": { "numberOfResults": 3 } } } } } ] }, "outputDataConfig": { "s3Uri": "s3://amzn-s3-demo-bucket/output/" } } ``` **So erstellen Sie einen Nur-Abruf-Bewertungsauftrag mit Ihren eigenen Inferenzantwortdaten** + Führen Sie den folgenden AWS CLI-Befehl mit der JSON-Beispieldatei aus. ``` aws bedrock create-evaluation-job --cli-input-json file://my_eval_job.json ``` ``` { "jobName": "my_rag_eval", "roleArn": "arn:aws:iam::111122223333:role/service-role/Amazon-Bedrock-IAM-Role-Amazon-Bedrock-IAM-Role-20250218T063974", "applicationType": "RagEvaluation", "evaluationConfig": { "automated": { "datasetMetricConfigs": [ { "taskType": "General", "dataset": { "name": "text_dataset", "datasetLocation": { "s3Uri": "s3://amzn-s3-demo-bucket/input/retrieval-only/retrieve-eval-byoir.jsonl" } }, "metricNames": [ "Builtin.ContextCoverage", "Builtin.ContextRelevance" ] } ], "evaluatorModelConfig": { "bedrockEvaluatorModels": [ { "modelIdentifier": "us.meta.llama3-1-70b-instruct-v1:0" } ] } } }, "inferenceConfig": { "ragConfigs": [ { "precomputedRagSourceConfig": { "retrieveSourceConfig": { "ragSourceIdentifier": "my_rag_source" } } } ] }, "outputDataConfig": { "s3Uri": "s3://amzn-s3-demo-bucket/output/" } } ``` ------ #### [ SDK for Python ] Das folgende Python-Codebeispiel zeigt, wie ein reiner Abrufauftrag für Amazon Bedrock Knowledge Base mithilfe von AWS SDK für Python (Boto3) erstellt wird. Weitere Informationen zur Erstellung eines Bewertungsauftrags mit Boto3 finden Sie unter [https://boto3.amazonaws.com/v1/documentation/api/1.35.6/reference/services/bedrock/client/create_evaluation_job.html](https://boto3.amazonaws.com/v1/documentation/api/1.35.6/reference/services/bedrock/client/create_evaluation_job.html) in der Boto3-Dokumentation. ``` import boto3 client = boto3.client('bedrock') job_response = client.create_evaluation_job( jobName="my_evaluation_job", jobDescription="two different task types", roleArn="arn:aws:iam::111122223333:role/service-role/Amazon-Bedrock-IAM-RoleAmazon-Bedrock-IAM-Role", applicationType="RagEvaluation", inferenceConfig={ "ragConfigs": [ { "knowledgeBaseConfig": { "retrieveConfig": { "knowledgeBaseId": "your-knowledge-base-id", "knowledgeBaseRetrievalConfiguration": { "vectorSearchConfiguration": { "numberOfResults": 10, "overrideSearchType": "HYBRID" } } } } } ] }, outputDataConfig={ "s3Uri":"s3://amzn-s3-demo-bucket-model-evaluations/outputs/" }, evaluationConfig={ "automated": { "datasetMetricConfigs": [ { "taskType": "Summarization", "dataset": { "name": "RagDataset", "datasetLocation": { "s3Uri": "s3://amzn-s3-demo-bucket/input_data/data_3_rng.jsonl" } }, "metricNames": [ "Builtin.ContextCoverage" ] } ], "evaluatorModelConfig": { "bedrockEvaluatorModels": [{ "modelIdentifier": "meta.llama3-1-70b-instruct-v1:0" }] } } } ) print(job_request) ``` ------