Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich. # Einen retrieve-and-generate RAG-Bewertungsjob erstellen Sie können einen RAG-Evaluierungsjob mit dem AWS-Managementkonsole AWS CLI, oder einem unterstützten AWS SDK erstellen. Für diesen Auftragstyp ist Zugriff auf ein Evaluatormodell erforderlich. Eine Liste der unterstützten Evaluatormodelle finden Sie unter [Unterstützte Modelle](evaluation-kb.md#evaluation-kb-supported). Für eine Auftragserstellung mit den folgenden Anweisungen benötigen Sie einen Prompt-Datensatz. Wenn Sie noch keinen erstellt haben, finden Sie weitere Informationen unter [Erstellen eines Prompt-Datensatzes für eine RAG-Bewertung in Amazon Bedrock](knowledge-base-evaluation-prompt.md). ------ #### [ Console ] 1. Öffnen Sie die [Amazon-Bedrock-Konsole](https://console.aws.amazon.com/bedrock/home). 1. Wählen Sie im linken Bereich unter **Inferenz und Bewertung** die Option **Bewertungen** aus. 1. Wählen Sie im Bereich **RAG-Bewertungen** die Option **Erstellen** aus. 1. Gehen Sie wie folgt vor, um Ihre RAG-Bewertungsdetails einzugeben: 1. Geben Sie im Bereich **Bewertungsdetails** unter **Bewertungsname** einen Namen für Ihren Bewertungsauftrag ein. Der Name, den Sie wählen, muss innerhalb Ihres eindeutig sein AWS-Region. 1. Geben Sie optional unter **Beschreibung – *optional*** eine Beschreibung für Ihren Bewertungsauftrag ein. 1. Klicken Sie unter **Evaluatormodell** auf **Modell auswählen** und wählen Sie das Evaluatormodell aus, für das Sie Ihre Bewertung durchführen möchten. 1. Geben Sie die Inferenzquelle für Ihren Bewertungsauftrag ein. Mit den RAG-Bewertungen in Amazon Bedrock können Sie entweder die Leistung der Wissensdatenbanken für Amazon Bedrock auswerten oder die anderer RAG-Quellen, indem Sie Ihre eigenen Inferenzantwortdaten im [Prompt-Datensatz](knowledge-base-evaluation-prompt.md) bereitstellen. Gehen Sie wie folgt vor, um eine Amazon Bedrock Knowledge Base auszuwählen: 1. Wählen Sie im Bereich **Inferenzquelle** unter **Quelle auswählen** die Option **Bedrock Knowledge Base** aus. 1. Wählen Sie unter **Wissensdatenbank auswählen** mithilfe der Dropdown-Liste eine Wissensdatenbank aus. 1. Gehen Sie wie folgt vor, um eigene Inferenzantwortdaten bereitzustellen: 1. Wählen Sie im Bereich **Inferenzquelle** unter **Quelle auswählen** die Option **Eigene Inferenzantworten einbringen** aus. 1. Geben Sie unter **Quellenname** einen Namen für die RAG-Quelle ein, mit der Sie die Antwortdaten erstellt haben. Der eingegebene Name muss mit dem `knowledgeBaseIdentifier`-Parameter in Ihrem [Prompt-Datensatz](knowledge-base-evaluation-prompt.md) übereinstimmen. 1. Wählen Sie im Bereich **Inferenzquelle** unter **Bewertungstyp** die Option **Abruf und Antwortgenerierung** aus. 1. Wählen Sie die integrierten Metriken aus, die das Evaluatormodell verwenden soll, indem Sie sie im Bereich **Metriken** mindestens eine Metrik auswählen. 1. Definieren Sie Ihre Eingabe- und Ausgabeorte für Ihren Datensatz und Ihre Ergebnisse, indem Sie wie folgt vorgehen: 1. Geben Sie im Bereich **Datensätze** unter **Prompt-Datensatz auswählen** den Amazon-S3-URI für Ihren Prompt-Datensatz ein, oder wählen Sie **S3 durchsuchen** aus, um Ihre Datei auszuwählen. Eine Definition des erforderlichen Prompt-Datensatzformats für einen Nur-Abruf-Bewertungsauftrag finden Sie unter [Erstellen eines Prompt-Datensatzes für RAG-Bewertungsaufträge, die nur zum Abrufen bestimmt sind](knowledge-base-evaluation-prompt-retrieve.md). 1. Geben Sie unter **Ergebnisse der Bewertung** einen Amazon-S3-Speicherort für Amazon Bedrock ein oder wählen Sie **S3 durchsuchen** aus, um einen Speicherort auszuwählen. 1. Wählen Sie unter **IAM-Rolle für Amazon-Bedrock – Berechtigungen** die Option **Neue Servicerolle erstellen und verwenden** aus, damit Amazon Bedrock eine neue IAM-Rolle für den Bewertungsauftrag erstellt, oder wählen Sie **Eine vorhandene Servicerolle verwenden** aus, um eine vorhandene IAM-Rolle auszuwählen. Eine Liste der erforderlichen Berechtigungen zum Erstellen und Ausführen eines Bewertungsauftrags finden Sie unter [Voraussetzungen](knowledge-base-evaluation-create.md#knowledge-base-evaluation-create-prereqs). 1. (Optional) Um Ihren eigenen KMS-Schlüssel zur Verschlüsselung Ihrer Testdaten zu verwenden, aktivieren Sie unter **KMSkey — *Optional*** die Option **Verschlüsselungseinstellungen anpassen (erweitert)** und wählen Sie Ihren AWS KMS Schlüssel aus. Amazon Bedrock verschlüsselt die Daten Ihres Bewertungsauftrags standardmäßig mit einem AWS-eigenen KMS-Schlüssel. 1. Klicken Sie auf **Erstellen**, um die Erstellung Ihres Bewertungsauftrags abzuschließen. ------ #### [ AWS CLI ] **Erstellen Sie einen retrieve-and-generate Bewertungsauftrag für eine Amazon Bedrock Knowledge Base** + Führen Sie den folgenden AWS CLI Befehl mit der JSON-Beispieldatei aus. ``` aws bedrock create-evaluation-job --cli-input-json file://my_eval_job.json ``` ``` { "jobName": "my_rag_eval", "roleArn": "arn:aws:iam::111122223333:role/service-role/Amazon-Bedrock-IAM-Role-Amazon-Bedrock-IAM-Role-20250218T063974", "applicationType": "RagEvaluation", "evaluationConfig": { "automated": { "datasetMetricConfigs": [ { "taskType": "General", "dataset": { "name": "text_dataset", "datasetLocation": { "s3Uri": "s3://amzn-s3-demo-bucket/input/retrieve-and-generate/rng-eval-byoir.jsonl" } }, "metricNames": [ "Builtin.Correctness", "Builtin.Completeness", "Builtin.Helpfulness", "Builtin.LogicalCoherence", "Builtin.Faithfulness", "Builtin.Harmfulness", "Builtin.Stereotyping", "Builtin.Refusal", "Builtin.CitationCoverage", "Builtin.CitationPrecision" ] } ], "evaluatorModelConfig": { "bedrockEvaluatorModels": [ { "modelIdentifier": "us.meta.llama3-1-70b-instruct-v1:0" } ] } } }, "inferenceConfig": { "ragConfigs": [ { "knowledgeBaseConfig": { "retrieveAndGenerateConfig": { "type": "KNOWLEDGE_BASE", "knowledgeBaseConfiguration": { "knowledgeBaseId": "≪Your Knowledge Base ID>", "modelArn": "mistral.mistral-large-2402-v1:0", "generationConfiguration": { "promptTemplate": { "textPromptTemplate": "$search_results$ hello world template" } }, "orchestrationConfiguration": { "queryTransformationConfiguration": { "type": "QUERY_DECOMPOSITION" } } } } } } ] }, "outputDataConfig": { "s3Uri": "s3://amzn-s3-demo-bucket/output/" } } ``` **Erstellen Sie einen retrieve-and-generate Bewertungsjob mit Ihren eigenen Inferenzantwortdaten** + Führen Sie den folgenden AWS CLI Befehl mit der JSON-Beispieldatei aus. ``` aws bedrock create-evaluation-job --cli-input-json file://my_eval_job.json ``` ``` { "jobName": "my_rag_eval", "roleArn": "arn:aws:iam::111122223333:role/service-role/Amazon-Bedrock-IAM-Role-Amazon-Bedrock-IAM-Role-20250218T063974", "applicationType": "RagEvaluation", "evaluationConfig": { "automated": { "datasetMetricConfigs": [ { "taskType": "General", "dataset": { "name": "text_dataset", "datasetLocation": { "s3Uri": "s3://amzn-s3-demo-bucket/input/retrieve-and-generate/rng-eval-byoir.jsonl" } }, "metricNames": [ "Builtin.Correctness", "Builtin.Completeness", "Builtin.Helpfulness", "Builtin.LogicalCoherence", "Builtin.Faithfulness", "Builtin.Harmfulness", "Builtin.Stereotyping", "Builtin.Refusal", "Builtin.CitationCoverage", "Builtin.CitationPrecision" ] } ], "evaluatorModelConfig": { "bedrockEvaluatorModels": [ { "modelIdentifier": "us.meta.llama3-1-70b-instruct-v1:0" } ] } } }, "inferenceConfig": { "ragConfigs": [ { "precomputedRagSourceConfig": { "retrieveAndGenerateSourceConfig": { "ragSourceIdentifier": "my_rag_source" } } } ] }, "outputDataConfig": { "s3Uri": "s3://amzn-s3-demo-bucket/output/" } } ``` ------ #### [ SDK for Python ] Im folgenden Python-Beispiel sehen Sie, wie Sie einen boto3-API-Aufruf *Abrufen und Generieren* erstellen. ``` import boto3 client = boto3.client('bedrock') job_response = client.create_evaluation_job( jobName="my_evaluation_job", jobDescription="two different task types", roleArn="arn:aws:iam::111122223333:role/role-name", applicationType="RagEvaluation", inferenceConfig={ "ragConfigs": [ { "knowledgeBaseConfig": { "retrieveAndGenerateConfig": { "type": "KNOWLEDGE_BASE", "knowledgeBaseConfiguration": { "knowledgeBaseId": "73SPNQM4CI", "modelArn": "anthropic.claude-3-sonnet-20240229-v1:0", "generationConfiguration": { "promptTemplate": { "textPromptTemplate": "$search_results$ hello world template" } }, "retrievalConfiguration": { "vectorSearchConfiguration": { "numberOfResults": 10, "overrideSearchType": "HYBRID" } } } } } } ] }, outputDataConfig={ "s3Uri":"s3://amzn-s3-demo-bucket-model-evaluations/outputs/" }, evaluationConfig={ "automated": { "datasetMetricConfigs": [ { "taskType": "Summarization", "dataset": { "name": "RagDataset", "datasetLocation": { "s3Uri": "s3://amzn-s3-demo-bucket-input-data/data_3_rng.jsonl" } }, "metricNames": [ "Builtin.Faithfulness" ] } ], "evaluatorModelConfig": { "bedrockEvaluatorModels": [{ "modelIdentifier": "meta.llama3-1-70b-instruct-v1:0" }] } } } ) print(job_response) ``` ------