Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Rinforzo, ottimizzazione dell'accesso e della sicurezza

Prima di iniziare la messa a punto del rinforzo, assicurati di aver compreso il tipo di accesso di cui Amazon Bedrock ha bisogno per operazioni specifiche di RFT. RFT richiede autorizzazioni aggiuntive oltre alla regolazione di precisione standard grazie alle sue funzionalità di esecuzione della funzione di ricompensa.

Per la configurazione di sicurezza della personalizzazione del modello di base, tra cui relazioni di fiducia, autorizzazioni Amazon S3 e crittografia KMS, consulta. Creare un ruolo di servizio IAM per la personalizzazione del modello

Prerequisiti

Prima di aggiungere autorizzazioni IAM specifiche per RFT, devi aggiungere i seguenti ruoli di servizio IAM:

Autorizzazioni IAM specifiche per RFT

Aggiungi queste autorizzazioni al tuo ruolo esistente nel servizio di personalizzazione dei modelli per la funzionalità RFT.

Autorizzazioni Lambda per le funzioni di ricompensa

È necessario aggiungere le autorizzazioni di chiamata Lambda. Di seguito viene illustrato un esempio di policy che è possibile utilizzare:

{
    "Version": "2012-10-17",		 	 	 
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "lambda:InvokeFunction"
            ],
            "Resource": [
                "arn:aws:lambda:*:*:function:reward-function-name"
            ]
        }
    ]
}

Accesso al registro delle chiamate

Per utilizzare i log di invocazione del modello Amazon Bedrock esistenti come dati di addestramento, aggiungi le autorizzazioni per accedere al tuo bucket Amazon S3 in cui sono archiviati i log di chiamata.

È necessario fornire le autorizzazioni di accesso al bucket Amazon S3 per il bucket di input. Di seguito viene illustrato un esempio di policy che puoi utilizzare:

{
    "Version": "2012-10-17",		 	 	 
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "s3:GetObject",
                "s3:ListBucket"
            ],
            "Resource": [
                "arn:aws:s3:::s3-invocation-logs-bucket",
                "arn:aws:s3:::s3-invocation-logs-bucket/*"
            ]
        }
    ]
}

Per la configurazione della sicurezza, inclusi i ruoli IAM di base, le autorizzazioni Amazon S3 e la crittografia, consulta. Creare un ruolo di servizio IAM per la personalizzazione del modello

Autorizzazioni della funzione Grader Lambda per RLAIF

Se crei la tua funzione Lambda per le funzioni di ricompensa Reinforcement Learning from AI Feedback (RLAIF), devi aggiungere autorizzazioni specifiche al ruolo di esecuzione Lambda.

Autorizzazioni base per i giudici LLM

Per le funzioni di LLM-as-Judge ricompensa (RLAIF), aggiungi le autorizzazioni per richiamare i modelli di base. Di seguito viene illustrato un esempio di policy che è possibile utilizzare per il ruolo di esecuzione Lambda.

Di seguito è riportato un esempio di bedrock LLM come invocazione di un giudice utilizzando il modello di base:

{
    "Version": "2012-10-17",		 	 	 
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "bedrock:InvokeModel"
            ],
            "Resource": [
                "arn:aws:bedrock:*:*:foundation-model/*"
            ]
        }
    ]
}

Di seguito è riportato un esempio di bedrock LLM come invocazione del giudice utilizzando il profilo di inferenza:

{
    "Version": "2012-10-17",		 	 	 
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "bedrock:InvokeModel"
            ],
            "Resource": [
                "arn:aws:bedrock:us-east-1::foundation-model/amazon.nova-premier-v1:0",
                "arn:aws:bedrock:us-east-2::foundation-model/amazon.nova-premier-v1:0",
                "arn:aws:bedrock:us-west-2::foundation-model/amazon.nova-premier-v1:0"
            ],
            "Condition": {
                "StringLike": {
                    "bedrock:InferenceProfileArn": "arn:aws:bedrock:us-east-1:111122223333:inference-profile/us.amazon.nova-premier-v1:0"
                }
            }
        },
        {
            "Effect": "Allow",
            "Action": [
                "bedrock:InvokeModel"
            ],
            "Resource": [
                "arn:aws:bedrock:us-east-1:111122223333:inference-profile/us.amazon.nova-premier-v1:0"
            ]
        }
    ]
}

Per informazioni sui prerequisiti del profilo di inferenza, vedere Prerequisiti per i profili di inferenza.