Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Renforcement, affinement de l'accès et de la sécurité

Avant de commencer à peaufiner le renforcement, assurez-vous de bien comprendre le type d'accès dont Amazon Bedrock a besoin pour les opérations spécifiques à la RFT. RFT nécessite des autorisations supplémentaires au-delà du réglage précis standard en raison de ses capacités d'exécution de la fonction de récompense.

Pour la configuration de sécurité de base de la personnalisation du modèle, y compris les relations de confiance, les autorisations Amazon S3 et le chiffrement KMS, consultezCréation d’un rôle de service IAM pour la personnalisation du modèle.

Conditions préalables

Avant d'ajouter des autorisations IAM spécifiques à RFT, vous devez ajouter les rôles de service IAM suivants :

Autorisations IAM spécifiques à RFT

Ajoutez ces autorisations à votre rôle de service de personnalisation de modèles existant pour la fonctionnalité RFT.

Autorisations Lambda pour les fonctions de récompense

Vous devez ajouter des autorisations d'invocation Lambda. Voici un exemple de politique que vous pouvez utiliser :

{
    "Version": "2012-10-17",		 	 	 
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "lambda:InvokeFunction"
            ],
            "Resource": [
                "arn:aws:lambda:*:*:function:reward-function-name"
            ]
        }
    ]
}

Accès au journal des invocations

Pour utiliser les journaux d'invocation du modèle Amazon Bedrock existants comme données de formation, ajoutez des autorisations pour accéder à votre compartiment Amazon S3 dans lequel les journaux d'invocation sont stockés.

Vous devez fournir des autorisations d'accès au compartiment Amazon S3 pour le compartiment d'entrée. Voici un exemple de politique que vous pouvez utiliser :

{
    "Version": "2012-10-17",		 	 	 
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "s3:GetObject",
                "s3:ListBucket"
            ],
            "Resource": [
                "arn:aws:s3:::s3-invocation-logs-bucket",
                "arn:aws:s3:::s3-invocation-logs-bucket/*"
            ]
        }
    ]
}

Pour la configuration de la sécurité, y compris les rôles IAM de base, les autorisations Amazon S3 et le chiffrement, consultezCréation d’un rôle de service IAM pour la personnalisation du modèle.

Autorisations relatives à la fonction Lambda du gradeur pour RLAIF

Si vous créez votre propre fonction Lambda pour les fonctions de récompense RLAIF (Reinforcement Learning from AI Feedback), vous devez ajouter des autorisations spécifiques au rôle d'exécution Lambda.

Permissions fondamentales pour les juges du LLM

Pour les fonctions de LLM-as-Judge récompense (RLAIF), ajoutez des autorisations pour invoquer des modèles de base. Voici un exemple de politique que vous pouvez utiliser pour votre rôle d'exécution Lambda.

Voici un exemple de LLM fondamental en tant qu'invocation d'un juge à l'aide d'un modèle de fondation :

{
    "Version": "2012-10-17",		 	 	 
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "bedrock:InvokeModel"
            ],
            "Resource": [
                "arn:aws:bedrock:*:*:foundation-model/*"
            ]
        }
    ]
}

Voici un exemple de LLM fondamental en tant qu'invocation d'un juge à l'aide d'un profil d'inférence :

{
    "Version": "2012-10-17",		 	 	 
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "bedrock:InvokeModel"
            ],
            "Resource": [
                "arn:aws:bedrock:us-east-1::foundation-model/amazon.nova-premier-v1:0",
                "arn:aws:bedrock:us-east-2::foundation-model/amazon.nova-premier-v1:0",
                "arn:aws:bedrock:us-west-2::foundation-model/amazon.nova-premier-v1:0"
            ],
            "Condition": {
                "StringLike": {
                    "bedrock:InferenceProfileArn": "arn:aws:bedrock:us-east-1:111122223333:inference-profile/us.amazon.nova-premier-v1:0"
                }
            }
        },
        {
            "Effect": "Allow",
            "Action": [
                "bedrock:InvokeModel"
            ],
            "Resource": [
                "arn:aws:bedrock:us-east-1:111122223333:inference-profile/us.amazon.nova-premier-v1:0"
            ]
        }
    ]
}

Pour plus d'informations sur les conditions requises pour les profils d'inférence, consultez la section Conditions préalables pour les profils d'inférence.