Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Reforzar el ajuste del acceso y la seguridad

Antes de empezar a afinar el refuerzo, asegúrese de entender qué tipo de acceso necesita Amazon Bedrock para las operaciones específicas de RFT. RFT requiere permisos adicionales además de los ajustes estándar debido a sus capacidades de ejecución de funciones de recompensa.

Para obtener información básica sobre la configuración de seguridad de la personalización del modelo, incluidas las relaciones de confianza, los permisos de Amazon S3 y el cifrado de KMS, consulteCreación de un rol de servicio para la personalización de modelos.

Requisitos previos

Antes de añadir permisos de IAM específicos de RFT, debe añadir las siguientes funciones de servicio de IAM:

Permisos de IAM específicos de RFT

Añada estos permisos a su función de servicio de personalización de modelos existente para la funcionalidad de RFT.

Permisos Lambda para funciones de recompensa

Debe añadir permisos de invocación a Lambda. A continuación, se muestra un ejemplo de política que puede utilizar:

{
    "Version": "2012-10-17",		 	 	 
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "lambda:InvokeFunction"
            ],
            "Resource": [
                "arn:aws:lambda:*:*:function:reward-function-name"
            ]
        }
    ]
}

Acceso al registro de invocación

Para utilizar los registros de invocación del modelo Amazon Bedrock existentes como datos de entrenamiento, añada permisos para acceder al bucket de Amazon S3 donde se almacenan los registros de invocación.

Debe proporcionar permisos de acceso al bucket de Amazon S3 para el bucket de entrada. A continuación, se muestra un ejemplo de política que puede utilizar:

{
    "Version": "2012-10-17",		 	 	 
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "s3:GetObject",
                "s3:ListBucket"
            ],
            "Resource": [
                "arn:aws:s3:::s3-invocation-logs-bucket",
                "arn:aws:s3:::s3-invocation-logs-bucket/*"
            ]
        }
    ]
}

Para obtener información sobre la configuración de seguridad, incluidas las funciones básicas de IAM, los permisos de Amazon S3 y el cifrado, consulteCreación de un rol de servicio para la personalización de modelos.

Permisos de la función Lambda de Grader para RLAIF

Si crea su propia función de Lambda para las funciones de recompensa de Reinforcement Learning from AI Feedback (RLAIF), debe añadir permisos específicos a la función de ejecución de Lambda.

Permisos fundamentales para los jueces de LLM

En el caso de las funciones de LLM-as-Judge recompensa (RLAIF), añada permisos para invocar modelos básicos. A continuación, se muestra un ejemplo de política que puede utilizar para su función de ejecución de Lambda.

El siguiente es un ejemplo de invocación de un LLM fundamental como juez mediante el modelo básico:

{
    "Version": "2012-10-17",		 	 	 
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "bedrock:InvokeModel"
            ],
            "Resource": [
                "arn:aws:bedrock:*:*:foundation-model/*"
            ]
        }
    ]
}

El siguiente es un ejemplo de invocación de un LLM fundamental como juez mediante un perfil de inferencia:

{
    "Version": "2012-10-17",		 	 	 
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "bedrock:InvokeModel"
            ],
            "Resource": [
                "arn:aws:bedrock:us-east-1::foundation-model/amazon.nova-premier-v1:0",
                "arn:aws:bedrock:us-east-2::foundation-model/amazon.nova-premier-v1:0",
                "arn:aws:bedrock:us-west-2::foundation-model/amazon.nova-premier-v1:0"
            ],
            "Condition": {
                "StringLike": {
                    "bedrock:InferenceProfileArn": "arn:aws:bedrock:us-east-1:111122223333:inference-profile/us.amazon.nova-premier-v1:0"
                }
            }
        },
        {
            "Effect": "Allow",
            "Action": [
                "bedrock:InvokeModel"
            ],
            "Resource": [
                "arn:aws:bedrock:us-east-1:111122223333:inference-profile/us.amazon.nova-premier-v1:0"
            ]
        }
    ]
}

Para obtener información sobre los requisitos previos del perfil de inferencia, consulte Requisitos previos para los perfiles de inferencia.