本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

加固、微调、访问和安全

在开始强化微调之前，请务必了解 Amazon Bedrock 需要什么样的访问权限才能进行 RFT 特定的操作。由于RFT具有奖励功能执行功能，因此除了标准微调外，还需要其他权限。

有关基本模型自定义安全设置，包括信任关系、Amazon S3 权限和 KMS 加密，请参阅为模型自定义创建 IAM 服务角色。

先决条件

在添加特定于 RFT 的 IAM 权限之前，您必须添加以下 IAM 服务角色：

特定于 RFT 的 IAM 权限

将这些权限添加到您现有的模型自定义服务角色中，以实现 RFT 功能。

奖励函数的 Lambda 权限

您必须添加 Lambda 调用权限。以下显示了您可以使用的策略示例：

{
    "Version": "2012-10-17",		 	 	 
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "lambda:InvokeFunction"
            ],
            "Resource": [
                "arn:aws:lambda:*:*:function:reward-function-name"
            ]
        }
    ]
}

调用日志访问权限

要使用现有 Amazon Bedrock 模型调用日志作为训练数据，请添加访问存储调用日志的 Amazon S3 存储桶的权限。

您需要为输入存储桶提供 Amazon S3 存储桶访问权限。以下显示了您可以使用的策略示例：

{
    "Version": "2012-10-17",		 	 	 
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "s3:GetObject",
                "s3:ListBucket"
            ],
            "Resource": [
                "arn:aws:s3:::s3-invocation-logs-bucket",
                "arn:aws:s3:::s3-invocation-logs-bucket/*"
            ]
        }
    ]
}

有关包括基本 IAM 角色、Amazon S3 权限和加密在内的安全设置，请参阅为模型自定义创建 IAM 服务角色。

RLAIF 的评分者 Lambda 函数权限

如果您为通过 AI 反馈进行强化学习 (RLAIF) 奖励函数创建自己的 Lambda 函数，则需要向 Lambda 执行角色添加特定权限。

法学硕士评委的基本权限

对于 LLM-as-Judge奖励函数 (RLAIF)，添加调用基础模型的权限。下面显示了您可以用于 Lambda 执行角色的示例策略。

以下是使用基础模型作为判断调用的基岩法学硕士的示例：

{
    "Version": "2012-10-17",		 	 	 
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "bedrock:InvokeModel"
            ],
            "Resource": [
                "arn:aws:bedrock:*:*:foundation-model/*"
            ]
        }
    ]
}

以下是使用推理配置文件将 bedrock LLM 用作判断调用的示例：

{
    "Version": "2012-10-17",		 	 	 
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "bedrock:InvokeModel"
            ],
            "Resource": [
                "arn:aws:bedrock:us-east-1::foundation-model/amazon.nova-premier-v1:0",
                "arn:aws:bedrock:us-east-2::foundation-model/amazon.nova-premier-v1:0",
                "arn:aws:bedrock:us-west-2::foundation-model/amazon.nova-premier-v1:0"
            ],
            "Condition": {
                "StringLike": {
                    "bedrock:InferenceProfileArn": "arn:aws:bedrock:us-east-1:111122223333:inference-profile/us.amazon.nova-premier-v1:0"
                }
            }
        },
        {
            "Effect": "Allow",
            "Action": [
                "bedrock:InvokeModel"
            ],
            "Resource": [
                "arn:aws:bedrock:us-east-1:111122223333:inference-profile/us.amazon.nova-premier-v1:0"
            ]
        }
    ]
}

有关推理配置文件先决条件的信息，请参阅推理配置文件的先决条件。