기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

강화 미세 조정 액세스 및 보안

강화 미세 조정을 시작하기 전에 RFT 관련 작업에 Amazon Bedrock에 필요한 액세스 유형을 이해해야 합니다. RFT는 보상 함수 실행 기능으로 인해 표준 미세 조정 이외의 추가 권한이 필요합니다.

신뢰 관계, Amazon S3 권한 및 KMS 암호화를 포함한 기본 모델 사용자 지정 보안 설정은 섹션을 참조하세요모델 사용자 지정을 위한 IAM 서비스 역할 생성.

사전 조건

RFT별 IAM 권한을 추가하기 전에 다음 IAM 서비스 역할을 추가해야 합니다.

RFT별 IAM 권한

RFT 기능을 위한 기존 모델 사용자 지정 서비스 역할에 이러한 권한을 추가합니다.

보상 함수에 대한 Lambda 권한

Lambda 호출 권한을 추가해야 합니다. 다음은 사용할 수 있는 정책의 예입니다.

{
    "Version": "2012-10-17",		 	 	 
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "lambda:InvokeFunction"
            ],
            "Resource": [
                "arn:aws:lambda:*:*:function:reward-function-name"
            ]
        }
    ]
}

호출 로그 액세스

기존 Amazon Bedrock 모델 호출 로그를 훈련 데이터로 사용하려면 호출 로그가 저장되는 Amazon S3 버킷에 액세스할 수 있는 권한을 추가합니다.

입력 버킷에 대한 Amazon S3 버킷 액세스 권한을 제공해야 합니다. 다음은 사용할 수 있는 정책의 예입니다.

{
    "Version": "2012-10-17",		 	 	 
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "s3:GetObject",
                "s3:ListBucket"
            ],
            "Resource": [
                "arn:aws:s3:::s3-invocation-logs-bucket",
                "arn:aws:s3:::s3-invocation-logs-bucket/*"
            ]
        }
    ]
}

기본 IAM 역할, Amazon S3 권한 및 암호화를 포함한 보안 설정은 섹션을 참조하세요모델 사용자 지정을 위한 IAM 서비스 역할 생성.

RLAIF에 대한 상위 Lambda 함수 권한

AI 피드백에서 강화 학습(RLAIF) 보상 함수를 위한 자체 Lambda 함수를 생성하는 경우 Lambda 실행 역할에 특정 권한을 추가해야 합니다.

LLM 심사자에 대한 Bedrock 권한

LLM-as-Judge 보상 함수(RLAIF)의 경우 파운데이션 모델을 호출할 수 있는 권한을 추가합니다. 다음은 Lambda 실행 역할에 사용할 수 있는 정책의 예입니다.

다음은 파운데이션 모델을 사용한 판단 호출로서 Bedrock LLM의 예입니다.

{
    "Version": "2012-10-17",		 	 	 
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "bedrock:InvokeModel"
            ],
            "Resource": [
                "arn:aws:bedrock:*:*:foundation-model/*"
            ]
        }
    ]
}

다음은 추론 프로파일을 사용한 판단 호출로서 Bedrock LLM의 예입니다.

{
    "Version": "2012-10-17",		 	 	 
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "bedrock:InvokeModel"
            ],
            "Resource": [
                "arn:aws:bedrock:us-east-1::foundation-model/amazon.nova-premier-v1:0",
                "arn:aws:bedrock:us-east-2::foundation-model/amazon.nova-premier-v1:0",
                "arn:aws:bedrock:us-west-2::foundation-model/amazon.nova-premier-v1:0"
            ],
            "Condition": {
                "StringLike": {
                    "bedrock:InferenceProfileArn": "arn:aws:bedrock:us-east-1:111122223333:inference-profile/us.amazon.nova-premier-v1:0"
                }
            }
        },
        {
            "Effect": "Allow",
            "Action": [
                "bedrock:InvokeModel"
            ],
            "Resource": [
                "arn:aws:bedrock:us-east-1:111122223333:inference-profile/us.amazon.nova-premier-v1:0"
            ]
        }
    ]
}

추론 프로필 사전 조건에 대한 자세한 내용은 추론 프로필 사전 조건을 참조하세요.