本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

強化微調存取和安全性

開始強化微調之前，請確定您了解 Amazon Bedrock 需要哪種存取才能進行 RFT 特定操作。RFT 需要超出標準微調的額外許可，因為其獎勵函數執行功能。

如需基本模型自訂安全設定，包括信任關係、Amazon S3 許可和 KMS 加密，請參閱 建立模型自訂的 IAM 服務角色。

先決條件

在新增 RFT 特定的 IAM 許可之前，您必須新增下列 IAM 服務角色：

RFT 特定的 IAM 許可

將這些許可新增至 RFT 功能的現有模型自訂服務角色。

獎勵函數的 Lambda 許可

您必須新增 Lambda 調用許可。以下顯示您可以使用的範例政策：

{
    "Version": "2012-10-17",		 	 	 
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "lambda:InvokeFunction"
            ],
            "Resource": [
                "arn:aws:lambda:*:*:function:reward-function-name"
            ]
        }
    ]
}

調用日誌存取

若要使用現有的 Amazon Bedrock 模型調用日誌作為訓練資料，請新增許可來存取存放調用日誌的 Amazon S3 儲存貯體。

您需要提供輸入儲存貯體的 Amazon S3 儲存貯體存取許可。以下顯示您可以使用的範例政策：

{
    "Version": "2012-10-17",		 	 	 
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "s3:GetObject",
                "s3:ListBucket"
            ],
            "Resource": [
                "arn:aws:s3:::s3-invocation-logs-bucket",
                "arn:aws:s3:::s3-invocation-logs-bucket/*"
            ]
        }
    ]
}

如需包含基本 IAM 角色、Amazon S3 許可和加密的安全設定，請參閱 建立模型自訂的 IAM 服務角色。

RLAIF 的 Grader Lambda 函數許可

如果您為從 AI Feedback (RLAIF) 強化學習獎勵函數建立自己的 Lambda 函數，則需要將特定許可新增至 Lambda 執行角色。

LLM 判斷的 Bedrock 許可

對於 LLM-as-Judge 獎勵函數 (RLAIF)，新增叫用基礎模型的許可。以下顯示可用於 Lambda 執行角色的範例政策。

以下是使用基礎模型做為判斷調用的基礎 LLM 範例：

{
    "Version": "2012-10-17",		 	 	 
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "bedrock:InvokeModel"
            ],
            "Resource": [
                "arn:aws:bedrock:*:*:foundation-model/*"
            ]
        }
    ]
}

以下是使用推論描述檔將底端 LLM 做為判斷調用的範例：

{
    "Version": "2012-10-17",		 	 	 
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "bedrock:InvokeModel"
            ],
            "Resource": [
                "arn:aws:bedrock:us-east-1::foundation-model/amazon.nova-premier-v1:0",
                "arn:aws:bedrock:us-east-2::foundation-model/amazon.nova-premier-v1:0",
                "arn:aws:bedrock:us-west-2::foundation-model/amazon.nova-premier-v1:0"
            ],
            "Condition": {
                "StringLike": {
                    "bedrock:InferenceProfileArn": "arn:aws:bedrock:us-east-1:111122223333:inference-profile/us.amazon.nova-premier-v1:0"
                }
            }
        },
        {
            "Effect": "Allow",
            "Action": [
                "bedrock:InvokeModel"
            ],
            "Resource": [
                "arn:aws:bedrock:us-east-1:111122223333:inference-profile/us.amazon.nova-premier-v1:0"
            ]
        }
    ]
}

如需推論設定檔先決條件的相關資訊，請參閱推論設定檔的先決條件。