So erstellen Sie einen RAG-Bewertungsauftrag in Amazon Bedrock - Amazon Bedrock
Voraussetzungen

So erstellen Sie einen RAG-Bewertungsauftrag in Amazon Bedrock

Sie können einen RAG-Bewertungsauftrag mithilfe der AWS-Managementkonsole, der AWS CLI oder eines unterstützten AWS SDKs erstellen.

Für diesen Auftragstyp ist Zugriff auf ein Evaluatormodell erforderlich. Wenn Sie einen „Abrufen und Generieren“-Auftrag erstellen, der ein Amazon-Bedrock-Modell als Antwortgenerator verwendet, benötigen Sie ebenfalls Zugriff auf dieses Modell. Beide Modelle müssen in derselben AWS-Region verfügbar sein. Eine Liste der unterstützten Antwortgenerator- und Evaluatormodelle finden Sie unter Unterstützte Modelle.

Voraussetzungen

Um einen RAG-Bewertungsauftrag zu erstellen, benötigen Sie nicht nur Zugriff auf mindestens ein Evaluatormodell, sondern auch bestimmte Berechtigungen für IAM-Servicerollen. Weitere Informationen über die erforderlichen Maßnahmen und Anforderungen an die Vertrauensrichtlinie finden Sie unterErforderliche Servicerollenberechtigungen für die Erstellung eines Modellbewertungsauftrags mit einem Judge-Modell.

Wenn Sie den Auftrag erstellen, geben Sie einen Prompt-Datensatz in einem Amazon-S3-Bucket und einen Ausgabe-Bucket an, in dem Ihre Ergebnisse gespeichert werden. Um sicherzustellen, dass Ihre S3-Buckets über die erforderlichen CORS-Berechtigungen verfügen, siehe Erforderliche Cross Origin Resource Sharing (CORS)-Berechtigungen für S3-Buckets.

Um einen Auftrag in der Konsole zu erstellen, benötigt die Konsole die Berechtigung, bestimmte Aktionen auszuführen und muss Zugriff auf die benötigten Ressourcen haben. In der folgenden Richtlinie ist ein Mindestsatz von IAM-Berechtigungen definiert, die zum Erstellen eines Auftrags in der Konsole erforderlich sind. Wir empfehlen, in der Richtlinie das IAM-JSON-Richtlinienelement Ressource zu verwenden, um den Zugriff nur auf die Modelle und Buckets zu beschränken, die für den IAM-Benutzer, die Gruppe oder die Rolle erforderlich sind.

Die IAM-Richtlinie muss Zugriff auf ein Evaluatormodell gewähren und außerdem für Abrufen-und-Generieren-Aufträge, die ein Amazon-Bedrock-Antwortgeneratormodell verwenden, Zugriff auf den Antwortgenerator gewähren.

JSON
{
    "Version":"2012-10-17",		 	 	 
    "Statement": [
        {
            "Sid": "BedrockConsole",
            "Effect": "Allow",
            "Action": [
                "bedrock:CreateEvaluationJob",
                "bedrock:GetEvaluationJob",
                "bedrock:ListEvaluationJobs",
                "bedrock:StopEvaluationJob",
                "bedrock:GetCustomModel",
                "bedrock:ListCustomModels",
                "bedrock:CreateProvisionedModelThroughput",
                "bedrock:UpdateProvisionedModelThroughput",
                "bedrock:GetProvisionedModelThroughput",
                "bedrock:ListProvisionedModelThroughputs",
                "bedrock:GetImportedModel",
                "bedrock:ListImportedModels",
                "bedrock:ListTagsForResource",
                "bedrock:UntagResource",
                "bedrock:TagResource"
            ],
            "Resource": [
                "arn:aws:bedrock:us-west-2::foundation-model/*;"
            ]
        },
        {
            "Sid": "AllowConsoleS3AccessForModelEvaluation",
            "Effect": "Allow",
            "Action": [
                "s3:GetObject",
                "s3:GetBucketCORS",
                "s3:ListBucket",
                "s3:ListBucketVersions",
                "s3:GetBucketLocation"
            ],
            "Resource": [
                "arn:aws:s3:::amzn-s3-demo-destination-bucket/*",
                "arn:aws:s3:::input_datasets/prompts.jsonl"
            ]
        }
    ]
}
Anmerkung

In dieser Beispielrichtlinie werden Berechtigungen für alle Amazon-Bedrock-Basismodelle gewährt. In einer Produktionsumgebung empfehlen wir, dem Prinzip der geringsten Berechtigung zu folgen und nur die Zugriffsberechtigungen für die Modelle zu gewähren, die tatsächlich benötigt werden.

Themen