Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Penguatan akses dan keamanan fine-tuning

Sebelum Anda memulai fine-tuning penguatan, pastikan Anda memahami jenis akses apa yang dibutuhkan Amazon Bedrock untuk operasi khusus RFT. RFT memerlukan izin tambahan di luar fine-tuning standar karena kemampuan eksekusi fungsi reward.

Untuk pengaturan keamanan kustomisasi model dasar termasuk hubungan kepercayaan, izin Amazon S3, dan enkripsi KMS, lihat. Buat peran layanan IAM untuk kustomisasi model

Prasyarat

Sebelum menambahkan izin IAM khusus RFT, Anda harus menambahkan peran layanan IAM berikut:

Izin IAM khusus RFT

Tambahkan izin ini ke peran layanan penyesuaian model yang ada untuk fungsionalitas RFT.

Izin Lambda untuk fungsi hadiah

Anda harus menambahkan izin pemanggilan Lambda. Berikut ini menunjukkan contoh kebijakan yang dapat Anda gunakan:

{
    "Version": "2012-10-17",		 	 	 
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "lambda:InvokeFunction"
            ],
            "Resource": [
                "arn:aws:lambda:*:*:function:reward-function-name"
            ]
        }
    ]
}

Akses log pemanggilan

Untuk menggunakan log pemanggilan model Amazon Bedrock yang ada sebagai data pelatihan, tambahkan izin untuk mengakses bucket Amazon S3 tempat log pemanggilan disimpan.

Anda harus memberikan izin akses bucket Amazon S3 untuk bucket input. Berikut ini menunjukkan contoh kebijakan yang dapat Anda gunakan:

{
    "Version": "2012-10-17",		 	 	 
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "s3:GetObject",
                "s3:ListBucket"
            ],
            "Resource": [
                "arn:aws:s3:::s3-invocation-logs-bucket",
                "arn:aws:s3:::s3-invocation-logs-bucket/*"
            ]
        }
    ]
}

Untuk pengaturan keamanan termasuk peran IAM dasar, izin Amazon S3, dan enkripsi, lihat. Buat peran layanan IAM untuk kustomisasi model

Izin fungsi Grader Lambda untuk RLAIF

Jika Anda membuat fungsi Lambda sendiri untuk fungsi reward Reinforcement Learning from AI Feedback (RLAIF), Anda perlu menambahkan izin khusus ke peran eksekusi Lambda.

Izin dasar dasar untuk juri LLM

Untuk fungsi LLM-as-Judge reward (RLAIF), tambahkan izin untuk memanggil model foundation. Berikut ini menunjukkan contoh kebijakan yang dapat Anda gunakan untuk peran eksekusi Lambda Anda.

Berikut ini adalah contoh untuk batuan dasar LLM sebagai pemanggilan hakim menggunakan model pondasi:

{
    "Version": "2012-10-17",		 	 	 
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "bedrock:InvokeModel"
            ],
            "Resource": [
                "arn:aws:bedrock:*:*:foundation-model/*"
            ]
        }
    ]
}

Berikut ini adalah contoh untuk batuan dasar LLM sebagai pemanggilan hakim menggunakan profil inferensi:

{
    "Version": "2012-10-17",		 	 	 
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "bedrock:InvokeModel"
            ],
            "Resource": [
                "arn:aws:bedrock:us-east-1::foundation-model/amazon.nova-premier-v1:0",
                "arn:aws:bedrock:us-east-2::foundation-model/amazon.nova-premier-v1:0",
                "arn:aws:bedrock:us-west-2::foundation-model/amazon.nova-premier-v1:0"
            ],
            "Condition": {
                "StringLike": {
                    "bedrock:InferenceProfileArn": "arn:aws:bedrock:us-east-1:111122223333:inference-profile/us.amazon.nova-premier-v1:0"
                }
            }
        },
        {
            "Effect": "Allow",
            "Action": [
                "bedrock:InvokeModel"
            ],
            "Resource": [
                "arn:aws:bedrock:us-east-1:111122223333:inference-profile/us.amazon.nova-premier-v1:0"
            ]
        }
    ]
}

Untuk informasi tentang prasyarat profil inferensi, lihat Prasyarat untuk profil inferensi.