Erstellen eines Auftrags zur Modellbewertung mit einem LLM-as-a-Judge - Amazon Bedrock
Voraussetzungen

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Erstellen eines Auftrags zur Modellbewertung mit einem LLM-as-a-Judge

Sie können einen Modellevaluierungsjob mit dem AWS Management ConsoleAWS CLI, oder einem unterstützten AWS SDK erstellen.

Für diesen Auftragstyp ist Zugriff auf ein Evaluatormodell erforderlich. Wenn Sie die Leistung eines Amazon-Bedrock-Modells bewerten, benötigen Sie ebenfalls Zugriff auf dieses Modell. Beide Modelle müssen in derselben AWS-Region verfügbar sein. Eine Liste der unterstützten Generator- und Evaluatormodelle finden Sie unter Unterstützte Modelle.

Voraussetzungen

Zum Erstellen eines Bewertungsauftrags, der ein LLM-as-a-Judge verwendet, benötigen Sie nicht nur Zugriff auf mindestens ein Evaluatormodell, sondern auch bestimmte Berechtigungen für IAM-Servicerollen. Weitere Informationen über die erforderlichen Maßnahmen und Anforderungen an die Vertrauensrichtlinie finden Sie unter Erforderliche Servicerollenberechtigungen für die Erstellung eines Modellbewertungsauftrags mit einem Judge-Modell.

Wenn Sie den Auftrag erstellen, geben Sie einen Prompt-Datensatz in einem Amazon-S3-Bucket und einen Ausgabe-Bucket an, in dem Ihre Ergebnisse gespeichert werden. Um sicherzustellen, dass Ihre S3-Buckets über die erforderlichen CORS-Berechtigungen verfügen, siehe Erforderliche Cross Origin Resource Sharing (CORS)-Berechtigungen für S3-Buckets.

Um einen Auftrag in der Konsole zu erstellen, benötigt die Konsole die Berechtigung, bestimmte Aktionen auszuführen und muss Zugriff auf die benötigten Ressourcen haben. In der folgenden Richtlinie ist ein Mindestsatz von IAM-Berechtigungen definiert, die zum Erstellen eines Auftrags in der Konsole erforderlich sind. Wir empfehlen, in der Richtlinie das IAM-JSON-Richtlinienelement Ressource zu verwenden, um den Zugriff nur auf die Modelle und Buckets zu beschränken, die für den IAM-Benutzer, die Gruppe oder die Rolle erforderlich sind.

Die IAM-Richtlinie gewährt Zugriff auf Generator- und Evaluatormodelle.

JSON
{
    "Version":"2012-10-17",		 	 	 
    "Statement": [
        {
            "Sid": "BedrockConsole",
            "Effect": "Allow",
            "Action": [
                "bedrock:CreateEvaluationJob",
                "bedrock:GetEvaluationJob",
                "bedrock:ListEvaluationJobs",
                "bedrock:StopEvaluationJob",
                "bedrock:GetCustomModel",
                "bedrock:ListCustomModels",
                "bedrock:CreateProvisionedModelThroughput",
                "bedrock:UpdateProvisionedModelThroughput",
                "bedrock:GetProvisionedModelThroughput",
                "bedrock:ListProvisionedModelThroughputs",
                "bedrock:GetImportedModel",
                "bedrock:ListImportedModels",
                "bedrock:ListTagsForResource",
                "bedrock:UntagResource",
                "bedrock:TagResource"
            ],
            "Resource": [
                "arn:aws:bedrock:us-west-2::foundation-model/*;"
            ]
        },
        {
            "Sid": "AllowConsoleS3AccessForModelEvaluation",
            "Effect": "Allow",
            "Action": [
                "s3:GetObject",
                "s3:GetBucketCORS",
                "s3:ListBucket",
                "s3:ListBucketVersions",
                "s3:GetBucketLocation"
            ],
            "Resource": [
                "arn:aws:s3:::amzn-s3-demo-destination-bucket/*",
                "arn:aws:s3:::input_datasets/prompts.jsonl"
            ]
        }
    ]
}
Anmerkung

In dieser Beispielrichtlinie werden Berechtigungen für alle Amazon-Bedrock-Basismodelle gewährt. In einer Produktionsumgebung empfehlen wir, dem Prinzip der geringsten Berechtigung zu folgen und nur die Zugriffsberechtigungen für die Modelle zu gewähren, die tatsächlich benötigt werden.

Sie können einen Bewertungsauftrag nur mit den integrierten Metriken von Amazon Bedrock oder mit Ihren eigenen benutzerdefinierten Metriken erstellen. Anweisungen zum Erstellen von Modellbewertungsaufträgen finden Sie in den folgenden Abschnitten.

Themen