Verstärkung, Feinabstimmung von Zugriff und Sicherheit - Amazon Bedrock
VoraussetzungenRFT-spezifische IAM-BerechtigungenGrader Lambda-Funktionsberechtigungen für RLAIF

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Verstärkung, Feinabstimmung von Zugriff und Sicherheit

Bevor Sie mit der Feinabstimmung der Verstärkung beginnen, stellen Sie sicher, dass Sie wissen, welche Art von Zugriff Amazon Bedrock für RFT-spezifische Operationen benötigt. RFT benötigt aufgrund seiner Funktionen zur Ausführung von Prämienfunktionen zusätzliche Berechtigungen, die über die standardmäßige Feinabstimmung hinausgehen.

Informationen zur grundlegenden Sicherheitseinrichtung für die Modellanpassung, einschließlich Vertrauensbeziehungen, Amazon S3 S3-Berechtigungen und KMS-Verschlüsselung, finden Sie unterErstellen einer IAM-Servicerolle für die Modellanpassung.

Voraussetzungen

Bevor Sie RFT-spezifische IAM-Berechtigungen hinzufügen, müssen Sie die folgenden IAM-Servicerollen hinzufügen:

RFT-spezifische IAM-Berechtigungen

Fügen Sie diese Berechtigungen zu Ihrer bestehenden Servicerolle für Modellanpassungen für RFT-Funktionen hinzu.

Lambda-Berechtigungen für Belohnungsfunktionen

Sie müssen Lambda-Aufrufberechtigungen hinzufügen. Im Folgenden finden Sie ein Beispiel für eine Richtlinie, die Sie verwenden können:

{
    "Version": "2012-10-17",		 	 	 
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "lambda:InvokeFunction"
            ],
            "Resource": [
                "arn:aws:lambda:*:*:function:reward-function-name"
            ]
        }
    ]
}

Zugriff auf das Aufruf-Protokoll

Um bestehende Aufrufprotokolle des Amazon Bedrock-Modells als Trainingsdaten zu verwenden, fügen Sie Berechtigungen für den Zugriff auf Ihren Amazon S3 S3-Bucket hinzu, in dem Aufrufprotokolle gespeichert sind.

Sie müssen Amazon S3 S3-Bucket-Zugriffsberechtigungen für den Eingabe-Bucket bereitstellen. Im Folgenden finden Sie ein Beispiel für eine Richtlinie, die Sie verwenden können:

{
    "Version": "2012-10-17",		 	 	 
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "s3:GetObject",
                "s3:ListBucket"
            ],
            "Resource": [
                "arn:aws:s3:::s3-invocation-logs-bucket",
                "arn:aws:s3:::s3-invocation-logs-bucket/*"
            ]
        }
    ]
}

Informationen zur Sicherheitseinrichtung, einschließlich grundlegender IAM-Rollen, Amazon S3 S3-Berechtigungen und Verschlüsselung, finden Sie unterErstellen einer IAM-Servicerolle für die Modellanpassung.

Grader Lambda-Funktionsberechtigungen für RLAIF

Wenn Sie Ihre eigene Lambda-Funktion für RLAIF-Belohnungsfunktionen (Reinforcement Learning from AI Feedback) erstellen, müssen Sie der Lambda-Ausführungsrolle spezifische Berechtigungen hinzufügen.

Grundlegende Genehmigungen für LLM-Richter

Fügen Sie für LLM-as-Judge Belohnungsfunktionen (RLAIF) Berechtigungen hinzu, um Foundation-Modelle aufzurufen. Im Folgenden finden Sie eine Beispielrichtlinie, die Sie für Ihre Lambda-Ausführungsrolle verwenden können.

Anmerkung

Fügen Sie diese Berechtigungen Ihrer Lambda-Ausführungsrolle nur hinzu, wenn Sie Ihre eigene Lambda-Funktion erstellen. Die Konsole verarbeitet dies automatisch, wenn Lambda-Funktionen über die Konsole erstellt werden.

Im Folgenden finden Sie ein Beispiel für die Berufung von Bedrock LLM als Richter unter Verwendung des Foundation-Modells:

{
    "Version": "2012-10-17",		 	 	 
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "bedrock:InvokeModel"
            ],
            "Resource": [
                "arn:aws:bedrock:*:*:foundation-model/*"
            ]
        }
    ]
}

Im Folgenden finden Sie ein Beispiel für LLM aus dem Grundgestein als Richteraufruf unter Verwendung eines Inferenzprofils:

{
    "Version": "2012-10-17",		 	 	 
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "bedrock:InvokeModel"
            ],
            "Resource": [
                "arn:aws:bedrock:us-east-1::foundation-model/amazon.nova-premier-v1:0",
                "arn:aws:bedrock:us-east-2::foundation-model/amazon.nova-premier-v1:0",
                "arn:aws:bedrock:us-west-2::foundation-model/amazon.nova-premier-v1:0"
            ],
            "Condition": {
                "StringLike": {
                    "bedrock:InferenceProfileArn": "arn:aws:bedrock:us-east-1:111122223333:inference-profile/us.amazon.nova-premier-v1:0"
                }
            }
        },
        {
            "Effect": "Allow",
            "Action": [
                "bedrock:InvokeModel"
            ],
            "Resource": [
                "arn:aws:bedrock:us-east-1:111122223333:inference-profile/us.amazon.nova-premier-v1:0"
            ]
        }
    ]
}

Informationen zu den Voraussetzungen für Inferenzprofile finden Sie unter Voraussetzungen für Inferenzprofile.