Coherence: Measures the organization and structure of a generated text. - Thumbs up/down\nAccuracy: Indicates the accuracy of a generated text. - Choice buttons
\nThe evaluation creator should use this space to write detailed descriptions for every rating method so your evaluators know how to properly rate the responses with the buttons on their screen.
\nIf using Likert scale - individual, define the 1 and 5 of the 5 point Likert scale for each metric so your evaluators know if 1 or 5 means favorable/acceptable/preferable.\nIf using Likert scale - comparison, describe what the evaluator is looking for to determine their preference between two responses.\nIf using Choice buttons, describe what is preferred according to your metric and its description.\nIf using Ordinal ranking, define what should receive a #1 ranking according to your metric and its description.\nIf using Thumbs up/down, define what makes an acceptable response according to your metric and its description.
\nDescribe the purpose of your ground truth responses that will be shown on screen next to each model response. Note that the ground truth responses you provide are not rated/scored by the evaluators - they are meant to be a reference standard for comparison against the model responses.
" } } }, "inferenceConfig": { "models": [ { "precomputedInferenceSource": { "inferenceSourceIdentifier": "llama-3-1-80b" } }, { "precomputedInferenceSource": { "inferenceSourceIdentifier": "my_other_model" } } ] }, "outputDataConfig": { "s3Uri": "s3://amzn-s3-demo-bucket/output/" } } ``` ------ #### [ SDK for Python ] L’esempio di codice seguente mostra come creare un processo di valutazione del modello che utilizza lavoratori umani tramite l’SDK per Python. ``` import boto3 client = boto3.client('bedrock') job_request = client.create_evaluation_job( jobName="111122223333-job-01", jobDescription="two different task types", roleArn="arn:aws:iam::111122223333:role/example-human-eval-api-role", inferenceConfig={ ## You must specify and array of models "models": [ { "bedrockModel": { "modelIdentifier":"arn:aws:bedrock:us-west-2::foundation-model/amazon.titan-text-lite-v1", "inferenceParams":"{\"inferenceConfig\":{\"maxTokens\": 512,\"temperature\":0.7,\"topP\":0.9}}" } }, { "bedrockModel": { "modelIdentifier": "anthropic.claude-v2", "inferenceParams": "{\"inferenceConfig\":{\"maxTokens\":512,\"temperature\":1,\"topP\":0.999,\"stopSequences\":[\"stop\"]},\"additionalModelRequestFields\":{\"top_k\": 128}}" } } ] }, outputDataConfig={ "s3Uri":"s3://job-bucket/outputs/" }, evaluationConfig={ "human": { "humanWorkflowConfig": { "flowDefinitionArn": "arn:aws:sagemaker:us-west-2:111122223333:flow-definition/example-workflow-arn", "instructions": "some human eval instruction" }, "customMetrics": [ { "name": "IndividualLikertScale", "description": "testing", "ratingMethod": "IndividualLikertScale" } ], "datasetMetricConfigs": [ { "taskType": "Summarization", "dataset": { "name": "Custom_Dataset1", "datasetLocation": { "s3Uri": "s3://job-bucket/custom-datasets/custom-trex.jsonl" } }, "metricNames": [ "IndividualLikertScale" ] } ] } } ) print(job_request) ``` ------ # Visualizzazione di un elenco dei processi di valutazione del modello che utilizzano lavoratori umani in Amazon Bedrock Puoi elencare gli attuali processi di valutazione del modello basati su lavoratori umani utilizzando la AWS o un SDK AWS CLI supportato. Nella console Amazon Bedrock, puoi anche visualizzare una tabella contenente gli attuali processi di valutazione del modello. Gli esempi seguenti mostrano come trovare i processi di valutazione del modello utilizzando la Console di gestione AWS, la AWS CLI e l’SDK per Python. ------ #### [ Amazon Bedrock console ] 1. Apri la console Amazon Bedrock all’indirizzo [https://console.aws.amazon.com/bedrock/home](https://console.aws.amazon.com/bedrock/home) 1. Nel riquadro di navigazione, seleziona **Valutazione del modello**. 1. Nella scheda **Processi di valutazione del modello**, puoi trovare una tabella che elenca i processi di valutazione del modello che hai già creato. ------ #### [ AWS CLI ] Nella AWS CLI, puoi utilizzare il comando `help` per visualizzare i parametri obbligatori e quelli facoltativi durante l’utilizzo di `list-evaluation-jobs`. ``` aws bedrock list-evaluation-jobs help ``` Di seguito è riportato un esempio di utilizzo di `list-evaluation-jobs` e di impostazione di un limite massimo di cinque processi da restituire. Per impostazione predefinita, i processi vengono restituiti in ordine decrescente a partire dal momento in cui sono stati avviati. ``` aws bedrock list-evaluation-jobs --max-items 5 ``` ------ #### [ SDK for Python ] Gli esempi seguenti mostrano come utilizzare l’AWS SDK per Python per trovare un processo di valutazione del modello creato in precedenza. ``` import boto3 client = boto3.client('bedrock') job_request = client.list_evaluation_jobs(maxResults=20) print (job_request) ``` ------ # Arresto di un processo di valutazione del modello in Amazon Bedrock È possibile arrestare un processo di valutazione del modello attualmente in fase di elaborazione utilizzando la Console di gestione AWS, la AWS CLI o un SDK AWS supportato. Gli esempi seguenti mostrano come arrestare un processo di valutazione del modello utilizzando la Console di gestione AWS, la AWS CLI e l’SDK per Python. ------ #### [ Amazon Bedrock console ] L’esempio seguente mostra come arrestare un processo di valutazione del modello utilizzando la Console di gestione AWS. 1. Apri la console Amazon Bedrock all'indirizzo [https://console.aws.amazon.com/bedrock/home](https://console.aws.amazon.com/bedrock/home) 1. Nel riquadro di navigazione seleziona **Valutazione del modello**. 1. Nella scheda **Processi di valutazione del modello**, puoi trovare una tabella che elenca i processi di valutazione del modello che hai già creato. 1. Seleziona il pulsante di opzione accanto al nome del processo. 1. Quindi, seleziona **Interrompi la valutazione**. ------ #### [ SDK for Python ] L’esempio seguente mostra come arrestare un processo di valutazione del modello utilizzando l’SDK per Python. ``` import boto3 client = boto3.client('bedrock') response = client.stop_evaluation_job( ## The ARN of the model evaluation job you want to stop. jobIdentifier='arn:aws:bedrock:us-west-2:444455556666:evaluation-job/fxaqujhttcza' ) print(response) ``` ------ #### [ AWS CLI ] Nella AWS CLI, puoi utilizzare il comando `help` per verificare quali sono i parametri obbligatori e quali quelli facoltativi quando specifichi `add-something` nella AWS CLI. ``` aws bedrock create-evaluation-job help ``` L’esempio seguente mostra come arrestare un processo di valutazione del modello utilizzando la AWS CLI. ``` aws bedrock stop-evaluation-job --job-identifier arn:aws:bedrock:us-west-2:444455556666:evaluation-job/fxaqujhttcza ``` ------ # Eliminazione di un processo di valutazione del modello in Amazon Bedrock Puoi eliminare un processo di valutazione del modello utilizzando la console Amazon Bedrock o utilizzando l’operazione [BatchDeleteEvaluationJob](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_BatchDeleteEvaluationJob.html) con la AWS CLI o un SDK AWS supportato. Prima di poter eliminare un processo di valutazione del modello, lo stato del processo deve essere `FAILED` `COMPLETED` o `STOPPED`. Puoi ottenere lo stato corrente di un processo dalla console Amazon Bedrock o chiamando [ListEvaluationJobs](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_ListEvaluationJobs.html). Per ulteriori informazioni, consulta [Elenco dei processi di valutazione automatica del modello in Amazon BedrockVisualizzazione di un elenco dei processi di valutazione del modello che utilizzano lavoratori umani in Amazon Bedrock](model-evaluation-jobs-management-list.md). Puoi eliminare fino a 25 processi di valutazione del modello alla volta con la console e con l’operazione `BatchDeleteEvaluationJob`. Se è necessario eliminare altri processi, ripeti la procedura o la chiamata `BatchDeleteEvaluationJob` della console. Se elimini un processo di valutazione del modello con l’operazione `BatchDeleteEvaluationJob`, hai bisogno dei nomi della risorsa Amazon (ARN) dei modelli che desideri eliminare. Per informazioni su come ottenere l’ARN di un modello, consulta [Elenco dei processi di valutazione automatica del modello in Amazon BedrockVisualizzazione di un elenco dei processi di valutazione del modello che utilizzano lavoratori umani in Amazon Bedrock](model-evaluation-jobs-management-list.md). Quando elimini un processo di valutazione del modello, tutte le risorse in Amazon Bedrock e Amazon SageMaker AI vengono rimosse. Qualsiasi processo di valutazione del modello salvato nei bucket Amazon S3 rimane invariato. Inoltre, per i processi di valutazione del modello che utilizzano lavoratori umani, l’eliminazione di un processo di valutazione del modello non elimina la forza lavoro o il team di lavoro configurato in Amazon Cognito o SageMaker AI. Nelle sezioni seguenti sono riportati alcuni esempi di come eliminare un processo di valutazione del modello. ------ #### [ Amazon Bedrock console ] Utilizza la seguente procedura per esaminare un processo di valutazione del modello utilizzando la console Amazon Bedrock. Per completare correttamente questa procedura, assicurati che l’utente, il gruppo o il ruolo IAM disponga delle autorizzazioni sufficienti per accedere alla console. Per ulteriori informazioni, consulta [Autorizzazioni console necessarie per creare un processo di valutazione del modello basato sull’uomo](model-evaluation-type-human.md#more-for-human). **Come eliminare più processi di valutazione del modello.** 1. Apri la console Amazon Bedrock all’indirizzo [https://console.aws.amazon.com/bedrock/](https://console.aws.amazon.com/bedrock/) 1. Nel riquadro di navigazione seleziona **Valutazione del modello**. 1. Nella scheda **Model Evaluation Jobs**, utilizza la tabella per trovare i processi di valutazione del modello che desideri eliminare e selezionali utilizzando la casella di controllo accanto al nome del processo. Puoi selezionarne fino a 25 processi. 1. Scegli **Elimina** per eliminare i processi di valutazione del modello. 1. Se è necessario eliminare altri processi di valutazione del modello, ripeti le fasi 3 e 4. ------ #### [ AWS CLI ] In AWS CLI, puoi utilizzare il comando `help` per visualizzare i parametri obbligatori e quali parametri sono facoltativi durante l’utilizzo di `batch-delete-evaluation-job`. ``` aws bedrock batch-delete-evaluation-job help ``` Di seguito è riportato un esempio di utilizzo del processo `batch-delete-evaluation-job` e di specifica dell’eliminazione di 2 processi di valutazione del modello. Il parametro `job-identifiers` viene utilizzato per specificare un elenco di ARN per i processi di valutazione del modello da eliminare. Puoi eliminare fino a 25 processi di valutazione del modello in una singola chiamata a `batch-delete-evaluation-job`. Se è necessario eliminare più processi, effettua ulteriori chiamate a `batch-delete-evaluation-job`. ``` aws bedrock batch-delete-evaluation-job \ --job-identifiers arn:aws:bedrock:us-east-1:111122223333:evaluation-job/rmqp8zg80rvg arn:aws:bedrock:us-east-1:111122223333:evaluation-job/xmfp9zg204fdk ``` Dopo l’invio riceverai la risposta seguente. ``` { "evaluationJobs": [ { "jobIdentifier": "rmqp8zg80rvg", "jobStatus": "Deleting" }, { "jobIdentifier": "xmfp9zg204fdk", "jobStatus": "Deleting" } ], "errors": [] } ``` ------ #### [ SDK for Python ] Gli esempi seguenti mostrano come utilizzare l’AWS SDK per Python per eliminare un processo di valutazione del modello. Utilizza il parametro `jobIdentifiers` per specificare un elenco di ARN per i processi di valutazione del modello da eliminare. Puoi eliminare fino a 25 processi di valutazione del modello in una singola chiamata a `BatchDeleteEvaluationJob`. Se è necessario eliminare più processi, effettua ulteriori chiamate a `BatchDeleteEvaluationJob`. ``` import boto3 client = boto3.client('bedrock') job_request = client.batch_delete_model_evaluation_job(jobIdentifiers=["arn:aws:bedrock:us-east-1:111122223333:evaluation-job/rmqp8zg80rvg", "arn:aws:bedrock:us-east-1:111122223333:evaluation-job/xmfp9zg204fdk"]) print (job_request) ``` ------ # Gestione di un team di lavoro per le valutazioni umane dei modelli in Amazon Bedrock Nei processi di valutazione del modello che utilizzano lavoratori umani è necessario disporre di un team di lavoro. Un team di lavoro è un gruppo di lavoratori scelti da *te*. Questi possono essere dipendenti dell'azienda o un gruppo di soggetti esperti del settore. **Notifiche ai lavoratori in Amazon Bedrock** Quando crei un processo di valutazione del modello in Amazon Bedrock, i lavoratori ricevono una notifica del processo assegnato *solo* quando li aggiungi per la prima volta a un team di lavoro Se elimini un lavoratore da un team di lavoro durante la creazione di un processo di valutazione, questi perderà anche l’accesso a *tutti* i processi di valutazione del modello che gli sono stati assegnati. Ogni nuovo processo di valutazione assegnato a un lavoratore umano esistente deve essere notificato direttamente a quest’ultimo, indicando l’URL del portale del lavoratore. I lavoratori devono utilizzare le credenziali di accesso create in precedenza per il portale dei lavoratori. Questo portale per i lavoratori è lo stesso per tutti i lavori di valutazione del tuo AWS account, per regione. Puoi creare un team di lavoro umano o gestirne uno esistente mentre imposti un lavoro di valutazione per lavoratori in una *forza lavoro privata* gestita da Amazon SageMaker Ground Truth. Amazon SageMaker Ground Truth supporta funzionalità di gestione della forza lavoro più avanzate. Per ulteriori informazioni sulla gestione della forza lavoro in Amazon SageMaker Ground Truth, consulta [Creare e gestire la forza lavoro](https://docs.aws.amazon.com/sagemaker/latest/dg/sms-workforce-management.html). Puoi eliminare i lavoratori da un team di lavoro durante la configurazione di un nuovo processo di valutazione. Altrimenti, devi utilizzare la console Amazon Cognito o la console Amazon SageMaker Ground Truth per gestire i team di lavoro che hai creato in Amazon Bedrock. Se l'utente, il gruppo o il ruolo IAM dispone delle autorizzazioni necessarie, vedrai visibili la forza lavoro privata e i team di lavoro esistenti che hai creato in Amazon Cognito, Amazon SageMaker Ground Truth o Amazon Augmented AI quando crei un lavoro di valutazione che utilizza lavoratori umani. Amazon Bedrock supporta un massimo di 50 lavoratori per team di lavoro. Nel campo degli indirizzi e-mail puoi inserire fino a 50 indirizzi e-mail alla volta. Per aggiungere altri lavoratori al processo di valutazione del modello, utilizza la console Amazon Cognito o la console Ground Truth. Gli indirizzi devono essere separati da una virgola. È opportuno includere il proprio indirizzo e-mail, in modo da entrare a far parte della forza lavoro e poter vedere le attività di etichettatura. ## Creazione di istruzioni per lavoratori umani La creazione di istruzioni efficaci per le attività di valutazione del modello favorisce l'accuratezza del lavoratore nel completare il suo compito. Puoi modificare le istruzioni predefinite fornite nella console durante la creazione di un processo di valutazione del modello. Le istruzioni vengono mostrate al worker nella pagina di interfaccia utente di completamento dell'attività di etichettatura. Per aiutare i lavoratori a completare le attività assegnate, puoi fornire istruzioni in due ubicazioni. **Fornisci una buona descrizione per ogni metodo di valutazione e classificazione** Le descrizioni devono fornire una spiegazione succinta delle metriche selezionate. La descrizione deve ampliare la metrica e chiarire in che modo desideri che i lavoratori valutino il metodo di valutazione selezionato. **Fornisci ai tuoi dipendenti istruzioni generali per la valutazione** Queste istruzioni vengono visualizzate nella stessa pagina Web in cui i lavoratori completano un'attività. Puoi utilizzare questo spazio per fornire indicazioni di alto livello per il processo di valutazione del modello e per descrivere le risposte di verità fondamentale, se le hai incluse nel tuo set di dati dei prompt. # Valutazione delle prestazioni del modello utilizzando un altro LLM-as-a-judge Con un processo di valutazione del modello che utilizza un modello di arbitro, Amazon Bedrock utilizza un LLM per assegnare un punteggio alle risposte di un altro modello e fornire una spiegazione di come ha valutato ciascuna coppia di prompt e risposta. I punteggi e le spiegazioni sono disponibili nella console Amazon Bedrock tramite la pagina [Valutazioni](https://console.aws.amazon.com/bedrock/home#/eval/evaluation). Questo tipo di valutazione del modello richiede due modelli diversi, un *modello di generatore* e un *modello di valutatore*. I prompt per il modello di generatore vengono definiti in un set di dati e il modello di valutatore assegna un punteggio alle risposte a tali prompt in base alle metriche selezionate. La scheda di riepilogo delle metriche nella console mostra un istogramma che indica il numero di volte in cui una risposta ha ricevuto un determinato punteggio e le spiegazioni del punteggio per i primi cinque prompt presenti nel set di dati. Il rapporto completo del processo di valutazione è disponibile nel bucket Amazon S3 specificato al momento della creazione del processo di valutazione del modello. Quando crei il processo di valutazione del modello, puoi selezionare un modello Amazon Bedrock come modello di generatore oppure valutare un modello non Amazon Bedrock fornendo i dati di risposta all’inferenza nel set di dati del prompt. Se fornisci i dati di risposta, Amazon Bedrock ignora la fase di invocazione del modello e valuta direttamente i dati forniti. Per valutare le risposte dei modelli generatore, Amazon Bedrock fornisce una serie di metriche integrate tra cui puoi scegliere. Ogni metrica utilizza un prompt diverso per il modello di valutatore. Puoi anche definire metriche personalizzate per il business case specifico. Per ulteriori informazioni, consulta [Utilizzo delle metriche per comprendere le prestazioni del modello](model-evaluation-metrics.md). ## Modelli supportati ### Modelli di valutazione supportati (metriche integrate) Per creare un processo di valutazione che utilizzi un LLM-as-a-judge con le metriche integrate di Amazon Bedrock, è necessario avere accesso ad almeno uno dei modelli di arbitro elencati di seguito. Per ulteriori informazioni su come accedere ai modelli e sulla disponibilità della Regione, consulta [Accesso ai modelli di fondazione Amazon Bedrock](model-access.md). + Amazon Nova Pro – `amazon.nova-pro-v1:0` + Anthropic Claude 3.5 Sonnet v1 – `anthropic.claude-3-5-sonnet-20240620-v1:0` + Anthropic Claude 3.5 Sonnet v2 – `anthropic.claude-3-5-sonnet-20241022-v2:0` + Anthropic Claude 3.7 Sonnet – `anthropic.claude-3-7-sonnet-20250219-v1:0` + Anthropic Claude 3 Haiku – `anthropic.claude-3-haiku-20240307-v1:0` + Anthropic Claude 3.5 Haiku – `anthropic.claude-3-5-haiku-20241022-v1:0` + Meta Llama 3.1 70B Instruct – `meta.llama3-1-70b-instruct-v1:0` + Mistral Large – `mistral.mistral-large-2402-v1:0` I profili di [inferenza tra Regioni](cross-region-inference.md) sono supportati per i modelli elencati. Per ulteriori informazioni, consulta [Profili di inferenza tra Regioni supportati](inference-profiles-support.md#inference-profiles-support-system). ### Modelli di valutazione supportati (metriche personalizzate) Per creare un processo di valutazione che utilizzi un LLM-as-a-judge con le metriche personalizzate, è necessario avere accesso ad almeno uno dei modelli di arbitro elencati di seguito. + Mistral Large 24.02 – `mistral.mistral-large-2402-v1:0` + Mistral Large 24.07 – `mistral.mistral-large-2407-v1:0` + Anthropic Claude 3.5 Sonnet v1 – `anthropic.claude-3-5-sonnet-20240620-v1:0` + Anthropic Claude 3.5 Sonnet v2 – `anthropic.claude-3-5-sonnet-20241022-v2:0` + Anthropic Claude 3.7 Sonnet – `anthropic.claude-3-7-sonnet-20250219-v1:0` + Anthropic Claude 3 Haiku 3 – `anthropic.claude-3-haiku-20240307-v1:0` + Anthropic Claude 3 Haiku 3.5 – `anthropic.claude-3-5-haiku-20241022-v1:0` + Meta Llama 3.1 70B Instruct – `meta.llama3-1-70b-instruct-v1:0` + Meta Llama 3.3 70B Instruct – `meta.llama3-3-70b-instruct-v1:0` + Amazon Nova Pro – `amazon.nova-pro-v1:0` I profili di [inferenza tra Regioni](cross-region-inference.md) sono supportati per i modelli elencati. Per ulteriori informazioni, consulta [Profili di inferenza tra Regioni supportati](inference-profiles-support.md#inference-profiles-support-system). ### Modelli generatore supportati Puoi utilizzare i seguenti tipi di modello in Amazon Bedrock come modello di generatore in un processo di valutazione. Puoi anche importare i dati di risposta di inferenza da modelli non Amazon Bedrock. + Modelli di fondazione: [Informazioni sul modello di fondazione Amazon Bedrock](foundation-models-reference.md) + Modelli Marketplace Amazon Bedrock: [Marketplace Amazon Bedrock](amazon-bedrock-marketplace.md) + Modelli di fondazione personalizzati: [Personalizzazione del modello per migliorarne le prestazioni per il proprio caso d’uso](custom-models.md) + Modelli di fondazione importati: [Usare Custom Model Import per importare un modello open source personalizzato in Amazon Bedrock](model-customization-import-model.md) + Router dei prompt: [Comprendere il routing di prompt intelligente in Amazon Bedrock](prompt-routing.md) + Modelli per i quali è stato acquistato throughput assegnato: [Aumenta la capacità di invocazione del modello con Provisioned Throughput in Amazon Bedrock](prov-throughput.md) # Creazione di un set di dati dei prompt per un processo di valutazione del modello che utilizza un modello come giudice Per creare un processo di valutazione del modello con un modello come giudice, devi specificare un set di dati dei prompt con lo stesso formato dei processi di valutazione del modello automatica e che viene utilizzato durante l’inferenza con i modelli selezionati per la valutazione. Se desideri valutare modelli non Amazon Bedrock utilizzando risposte già generate, includile nel set di dati dei prompt come descritto in [Preparazione di un set di dati per un processo di valutazione utilizzando i propri dati della risposta di inferenza](#model-evaluation-prompt-datasets-judge-byoir). Quando fornisci i dati della risposta di inferenza, Amazon Bedrock ignora la fase di invocazione del modello ed esegue il processo di valutazione con i dati forniti. I set di dati dei prompt personalizzati devono essere archiviati in Amazon S3 e utilizzare il formato di riga JSON e l’estensione del file `.jsonl`. Ogni riga deve essere un oggetto JSON valido. Nel set di dati possono essere presenti fino a 1.000 prompt per processo di valutazione. Per i processi creati utilizzando la console, devi aggiornare la configurazione Cross Origin Resource Sharing (CORS) sul bucket S3. Per ulteriori informazioni sulle autorizzazioni CORS necessarie, consulta [Autorizzazioni CORS (Cross Origin Resource Sharing) richiesta per i bucket S3](model-evaluation-security-cors.md). ## Preparazione di un set di dati per un processo di valutazione in cui Amazon Bedrock invoca automaticamente i modelli Per eseguire un processo di valutazione in cui Amazon Bedrock invoca i modelli per tuo conto, fornisci un set di dati dei prompt contenente le seguenti coppie chiave-valore: + `prompt`: il prompt a cui desideri che i modelli rispondano. + `referenceResponse`: (facoltativo) la risposta ground truth. + `category`: (facoltativo) genera punteggi di valutazione riportati per ogni categoria. **Nota** Se scegli di fornire una risposta ground truth (`referenceResponse)`, Amazon Bedrock utilizzerà questo parametro per calcolare le metriche **Completezza** (`Builtin.Completeness`) e **Correttezza** (`Builtin.Correctness`). Puoi utilizzare queste metriche anche senza fornire una risposta ground truth. Per visualizzare i prompt del giudice per entrambi questi scenari, consulta la sezione relativa al modello di giudice scelto in [Prompt del valutatore metrico integrato per i processi di valutazione model-as-a-judge](model-evaluation-type-judge-prompt.md). Di seguito è riportato un esempio di set di dati personalizzati che contiene 6 input e utilizza il formato di riga JSON. ``` {"prompt":"Provide the prompt you want the model to use during inference","category":"(Optional) Specify an optional category","referenceResponse":"(Optional) Specify a ground truth response."} {"prompt":"Provide the prompt you want the model to use during inference","category":"(Optional) Specify an optional category","referenceResponse":"(Optional) Specify a ground truth response."} {"prompt":"Provide the prompt you want the model to use during inference","category":"(Optional) Specify an optional category","referenceResponse":"(Optional) Specify a ground truth response."} {"prompt":"Provide the prompt you want the model to use during inference","category":"(Optional) Specify an optional category","referenceResponse":"(Optional) Specify a ground truth response."} {"prompt":"Provide the prompt you want the model to use during inference","category":"(Optional) Specify an optional category","referenceResponse":"(Optional) Specify a ground truth response."} {"prompt":"Provide the prompt you want the model to use during inference","category":"(Optional) Specify an optional category","referenceResponse":"(Optional) Specify a ground truth response."} ``` L’esempio seguente riporta una voce singola espansa per maggiore chiarezza. Nel set di dati dei prompt effettivo, ogni riga deve essere un oggetto JSON valido. ``` { "prompt": "What is high intensity interval training?", "category": "Fitness", "referenceResponse": "High-Intensity Interval Training (HIIT) is a cardiovascular exercise approach that involves short, intense bursts of exercise followed by brief recovery or rest periods." } ``` ## Preparazione di un set di dati per un processo di valutazione utilizzando i propri dati della risposta di inferenza Per eseguire un processo di valutazione utilizzando risposte già generate, è necessario creare un set di dati dei prompt contenente le seguenti coppie chiave-valore: + `prompt`: il prompt utilizzato dai modelli per generare le risposte. + `referenceResponse`: (facoltativo) la risposta ground truth. + `category`: (facoltativo) genera punteggi di valutazione riportati per ogni categoria. + `modelResponses`: la risposta derivante dall’inferenza che desideri far valutare da Amazon Bedrock. I processi di valutazione che utilizzano un modello come giudice supportano solo una risposta del modello per ogni prompt, definita utilizzando le seguenti chiavi: + `response`: una stringa contenente la risposta dall’inferenza del modello. + `modelIdentifier`: una stringa che identifica il modello che ha generato la risposta. In ogni processo di valutazione è possibile utilizzare un solo `modelIdentifier` univoco e ciascun prompt del set di dati deve utilizzare questo identificatore. **Nota** Se scegli di fornire una risposta ground truth (`referenceResponse)`, Amazon Bedrock utilizzerà questo parametro per calcolare le metriche **Completezza** (`Builtin.Completeness`) e **Correttezza** (`Builtin.Correctness`). Puoi utilizzare queste metriche anche senza fornire una risposta ground truth. Per visualizzare i prompt del giudice per entrambi questi scenari, consulta la sezione relativa al modello di giudice scelto in [Prompt del valutatore metrico integrato per i processi di valutazione model-as-a-judge](model-evaluation-type-judge-prompt.md). Quello che segue è un esempio di set di dati personalizzato con 6 input in formato JSON. ``` {"prompt":"The prompt you used to generate the model response","referenceResponse":"(Optional) a ground truth response","category":"(Optional) a category for the prompt","modelResponses":[{"response":"The response your model generated","modelIdentifier":"A string identifying your model"}]} {"prompt":"The prompt you used to generate the model response","referenceResponse":"(Optional) a ground truth response","category":"(Optional) a category for the prompt","modelResponses":[{"response":"The response your model generated","modelIdentifier":"A string identifying your model"}]} {"prompt":"The prompt you used to generate the model response","referenceResponse":"(Optional) a ground truth response","category":"(Optional) a category for the prompt","modelResponses":[{"response":"The response your model generated","modelIdentifier":"A string identifying your model"}]} {"prompt":"The prompt you used to generate the model response","referenceResponse":"(Optional) a ground truth response","category":"(Optional) a category for the prompt","modelResponses":[{"response":"The response your model generated","modelIdentifier":"A string identifying your model"}]} {"prompt":"The prompt you used to generate the model response","referenceResponse":"(Optional) a ground truth response","category":"(Optional) a category for the prompt","modelResponses":[{"response":"The response your model generated","modelIdentifier":"A string identifying your model"}]} {"prompt":"The prompt you used to generate the model response","referenceResponse":"(Optional) a ground truth response","category":"(Optional) a category for the prompt","modelResponses":[{"response":"The response your model generated","modelIdentifier":"A string identifying your model"}]} ``` L’esempio seguente mostra una voce singola in un set di dati dei prompt espanso per maggiore chiarezza. ``` { "prompt": "What is high intensity interval training?", "referenceResponse": "High-Intensity Interval Training (HIIT) is a cardiovascular exercise approach that involves short, intense bursts of exercise followed by brief recovery or rest periods.", "category": "Fitness", "modelResponses": [ { "response": "High intensity interval training (HIIT) is a workout strategy that alternates between short bursts of intense, maximum-effort exercise and brief recovery periods, designed to maximize calorie burn and improve cardiovascular fitness.", "modelIdentifier": "my_model" } ] } ``` # Utilizzo delle metriche per comprendere le prestazioni del modello Quando si esegue un processo di valutazione del modello basato su arbitro, il modello del sistema di valutazione selezionato utilizza una serie di metriche per caratterizzare le prestazioni dei modelli in corso di valutazione. Amazon Bedrock offre una serie di metriche integrate tra cui scegliere, in alternativa puoi definire parametri personalizzati. Nella tabella seguente vengono elencate le metriche integrate disponibili in Amazon Bedrock per i processi di valutazione che utilizzano un LLM-as-a-judge. Per ulteriori informazioni sull’utilizzo delle metriche personalizzate, consulta [Creare un prompt per una metrica personalizzata](model-evaluation-custom-metrics-prompt-formats.md) e [Creare un processo di valutazione dei modelli utilizzando metriche personalizzate](model-evaluation-custom-metrics-create-job.md). | Parametro | Descrizione | | --- | --- | | Correttezza (Builtin.Correctness) | Misura se la risposta del modello al prompt è corretta. Si noti che se si fornisce una risposta di riferimento (ground truth) come parte del [set di dati di prompt](model-evaluation-prompt-datasets-judge.md), il modello del sistema di valutazione ne terrà conto durante l’assegnazione del punteggio alla risposta. | | Completezza (Builtin.Completeness) | Misura quanto la risposta del modello risponde adeguatamente a ogni domanda contenuta nel prompt. Si noti che se si fornisce una risposta di riferimento (ground truth) come parte del [set di dati di prompt](model-evaluation-prompt-datasets-judge.md), il modello del sistema di valutazione ne terrà conto durante l’assegnazione del punteggio alla risposta. | | Fedeltà (Builtin.Faithfulness) | Identifica se la risposta contiene informazioni non presenti nel prompt per valutare quanto la risposta sia fedele al contesto disponibile. | | Utilità (Builtin.Helpfulness) | Misura l’utilità della risposta del modello. La valutazione tiene conto di fattori quali la conformità della risposta alle istruzioni fornite, la sua ragionevolezza e coerenza, nonché la sua capacità di anticipare esigenze e aspettative implicite. | | Coerenza logica (Builtin.Coherence) | Misura la coerenza della risposta identificando lacune logiche, incoerenze e contraddizioni nella risposta di un modello a un prompt. | | Rilevanza (Builtin.Relevance) | Misura quanto la risposta sia pertinente al prompt. | | Seguire le istruzioni (Builtin.FollowingInstructions) | Misura quanto la risposta del modello rispetti le indicazioni esatte contenute nel prompt. | | Stile e tono professionali (Builtin.ProfessionalStyleAndTone) | Misura quanto lo stile, la formattazione e il tono della risposta siano appropriati per un contesto professionale. | | Nocività (Builtin.Harmfulness) | Valuta se la risposta contiene contenuti dannosi. | | Stereotipia (Builtin.Stereotyping) | Valuta se il contenuto della risposta contiene stereotipi di qualsiasi tipo (positivi o negativi). | | Rifiuto (Builtin.Refusal) | Determina se la risposta rifiuta direttamente di rispondere al prompt o la rifiuta fornendo delle motivazioni. | # Prompt del valutatore metrico integrato per i processi di valutazione model-as-a-judge Quando si esegue un processo di valutazione del modello basato su un giudice, il *modello* di valutazione assegna un punteggio alle risposte del *modello di generatore* in base a una serie di metriche definite dall’utente. Amazon Bedrock offre una serie di metriche integrate oppure puoi definire le tue [metriche personalizzate](model-evaluation-custom-metrics-prompt-formats.md). Fai riferimento alle seguenti sezioni per visualizzare i prompt utilizzati dai modelli di valutazione disponibili per le metriche integrate di Amazon Bedrock. **Topics** + [ # Amazon Nova Pro ](model-evaluation-type-judge-prompt-nova.md) + [ # Anthropic Claude 3.5 Sonnet ](model-evaluation-type-judge-prompt-claude-sonnet.md) + [ # Anthropic Claude 3.5 Sonnet v2 ](model-evaluation-type-judge-prompt-claude-sonnet35v2.md) + [ # Anthropic Claude 3.7 Sonnet ](model-evaluation-type-judge-prompt-claude-sonnet37.md) + [ # Anthropic Claude 3 Haiku ](model-evaluation-type-judge-prompt-haiku.md) + [ # Anthropic Claude 3.5 Haiku ](model-evaluation-type-judge-prompt-haiku35.md) + [ # Meta Llama 3.1 70B Instruct ](model-evaluation-type-judge-prompt-llama.md) + [ # Mistral Large ](model-evaluation-type-judge-prompt-mistral.md) # Amazon Nova Pro Prompt utilizzati con Amazon Nova Pro. ## Coerenza logica *Coerenza logica*: cerca lacune logiche, incongruenze e contraddizioni nelle risposte fornite da un modello a un prompt. Le risposte vengono valutate in base a una scala Likert a 5 punti e poi normalizzate nell’output e nella scheda del report del processo. `{{prompt}}` contiene il prompt inviato al generatore dal set di dati, mentre `{{prediction}}` rappresenta le risposte del modello di generatore. ``` You are a helpful agent that can assess LLM response according to the given rubrics. You are given a question and a response from LLM. Your task is to check if the arguments presented in the response follow logically from one another. When evaluating the logical cohesion of the response, consider the following rubrics: 1. Check for self-contradictions: - Does the response contradict its own previous statements? - If chat history is provided, does the response contradict statements from previous turns without explicitly correcting itself? 2. Identify any logic gaps or errors in reasoning: - Does the response draw false conclusions from the available information? - Does it make "logical leaps" by skipping steps in an argument? - Are there instances where you think, "this does not follow from that" or "these two things cannot be true at the same time"? 3. Evaluate the soundness of the reasoning, not the soundness of the claims: - If the question asks that a question be answered based on a particular set of assumptions, take those assumptions as the basis for argument, even if they are not true. - Evaluate the logical cohesion of the response as if the premises were true. 4. Distinguish between logical cohesion and correctness: - Logical cohesion focuses on how the response arrives at the answer, not whether the answer itself is correct. - A correct answer reached through flawed reasoning should still be penalized for logical cohesion. 5. Relevance of Logical Reasoning: - If the response doesn't require argumentation or inference-making, and simply presents facts without attempting to draw conclusions, it can be considered logically cohesive by default. - In such cases, automatically rate the logical cohesion as 'Yes', as there's no logic gaps. Please rate the logical cohesion of the response based on the following scale: - Not at all: The response contains too many errors of reasoning to be usable, such as contradicting itself, major gaps in reasoning, or failing to present any reasoning where it is required. - Not generally: The response contains a few instances of coherent reasoning, but errors reduce the quality and usability. - Neutral/Mixed: It's unclear whether the reasoning is correct or not, as different users may disagree. The output is neither particularly good nor particularly bad in terms of logical cohesion. - Generally yes: The response contains small issues with reasoning, but the main point is supported and reasonably well-argued. - Yes: There are no issues with logical cohesion at all. The output does not contradict itself, and all reasoning is sound. Here is the actual task: Question: {{prompt}} Response: {{prediction}} The output should be a well-formatted JSON instance that conforms to the JSON schema below. As an example, for the schema {"properties": {"foo": {"title": "Foo", "description": "a list of strings", "type": "array", "items": {"type": "string"}}}, "required": ["foo"]} the object {"foo": ["bar", "baz"]} is a well-formatted instance of the schema. The object {"properties": {"foo": ["bar", "baz"]}} is not well-formatted. Here is the output JSON schema: ``` {"properties": {"reasoning": {"description": "step by step reasoning to derive the final answer", "title": "Reasoning", "type": "string"}, "answer": {"description": "answer should be one of `Not at all`, `Not generally`, `Neutral/Mixed`, `Generally yes`, `Yes`", "enum": ["Not at all", "Not generally", "Neutral/Mixed", "Generally yes", "Yes"], "title": "Answer", "type": "string"}}, "required": ["reasoning", "answer"]} ``` Do not return any preamble or explanations, return only a pure JSON string surrounded by triple backticks (```). ``` ### Mappatura dei punteggi + **Not at all**: `0.0` + **Not generally**: `1.0` + **Neutral/Mixed**: `2.0` + **Generally yes**: `3.0` + **Yes**: `4.0` ## Fedeltà *Fedeltà*: valuta se la risposta contiene informazioni non presenti nel prompt, che non possono essere dedotte facilmente dal prompt. Le risposte vengono valutate in base a una scala Likert a 5 punti e poi normalizzate nell’output e nella scheda del report del processo. `{{prompt}}` contiene il prompt inviato al generatore dal set di dati, mentre `{{prediction}}` rappresenta le risposte del modello di generatore. ``` You are given a task in some context (Input), and a candidate answer. Is the candidate answer faithful to the task description and context? If the model gives an evasive response without any information, the candidate answer is faithful by default. A response is unfaithful only when (1) it clearly contradicts the context, or (2) the task implies that the response must be based on the context, like in a summarization task. If the task does not ask to respond based on the context, the model is allowed to use its own knowledge to provide a response, even if its claims are not verifiable. Task: {{prompt}} Candidate Response: {{prediction}} Evaluate how much of the information in the answer is faithful to the available context. Label an evasive response as faithful. The output should be formatted as a XML file. 1. Output should conform to the tags below. 2. Remember to always open and close all the tags. 3. Do not invent new tags. As an example, for the tags ["foo", "bar", "baz"]: 1. String ""answerContent": {
"evaluationResults": {
"thumbsUpDown": [{
"metricName": "Relevance",
"modelResponseId": "0",
"result": false
}]
}
} | Un elenco di oggetti JSON che contengono le risposte dei worker in `answerContent`. |
| `humanLoopName` | Stringa | system-generated-hash | Una stringa esadecimale di 40 caratteri generata dal sistema. |
| inputRecord | Oggetto JSON | "inputRecord": {
"prompt": "What does vitamin C serum do for skin?",
"category": "Skincare",
"referenceResponse": "Vitamin C serum offers a range of benefits for the skin. Firstly, it acts....
} | Un oggetto JSON contenente un prompt di immissione dal set di dati di input. |
| modelResponses | Elenco degli oggetti JSON | "modelResponses": [{
"modelIdentifier": "arn:aws:bedrock:us-west-2::foundation-model/model-id",
"response": "the-models-response-to-the-prompt"
}] | Le risposte individuali dei modelli. |
| inputContent | Oggetto | {
"additionalDataS3Uri":"s3://user-specified-S3-URI-path/datasets/dataset-name/records/record-number/human-loop-additional-data.json",
"evaluationMetrics":[
{
"description":"testing",
"metricName":"IndividualLikertScale",
"ratingMethod":"IndividualLikertScale"
}
],
"instructions":"example instructions"
} | Il contenuto di input del ciclo umano necessario per avviare tale ciclo nel tuo bucket S3. |
| modelResponseIdMap | Oggetto | {
"0":"arn:aws:bedrock:us-west-2::foundation-model/model-id"
} | `humanAnswers.answerContent.evaluationResults` contiene `modelResponseId`. `modelResponseIdMap` collega `modelResponseId` al nome del modello. |
Di seguito è riportato un esempio di dati di output da un processo di valutazione del modello.
```
{
"humanEvaluationResult": [{
"flowDefinitionArn": "arn:aws:sagemaker:us-west-2:111122223333:flow-definition/flow-definition-name",
"humanAnswers": [{
"acceptanceTime": "2023-11-09T19:17:43.107Z",
"answerContent": {
"evaluationResults": {
"thumbsUpDown": [{
"metricName": "Coherence",
"modelResponseId": "0",
"result": false
}, {
"metricName": "Accuracy",
"modelResponseId": "0",
"result": true
}],
"individualLikertScale": [{
"metricName": "Toxicity",
"modelResponseId": "0",
"result": 1
}]
}
},
"submissionTime": "2023-11-09T19:17:52.101Z",
"timeSpentInSeconds": 8.994,
"workerId": "444455556666",
"workerMetadata": {
"identityData": {
"identityProviderType": "Cognito",
"issuer": "https://cognito-idp.Regione AWS.amazonaws.com/Regione AWS_111222",
"sub": "c6aa8eb7-9944-42e9-a6b9-"
}
}
}],
...Additional response have been truncated for clarity...
}],
"humanLoopName": "b3b1c64a2166e001e094123456789012",
"inputContent":{
"additionalDataS3Uri":"s3://user-specified-S3-output-path/datasets/dataset-name/records/record-number/human-loop-additional-data.json",
"evaluationMetrics":[
{
"description":"testing",
"metricName":"IndividualLikertScale",
"ratingMethod":"IndividualLikertScale"
}
],
"instructions":"some dummy instructions"
},
"modelResponseIdMap":{
"0":"arn:aws:bedrock:Regione AWS::foundation-model/model-id"
}
},
"inputRecord": {
"category": "Fitness",
"prompt": "Human: What is High-Intensity Interval Training ? \\n\\nAssistant:",
"referenceResponse": "High-Intensity Interval Training (HIIT) is a cardiovascular exercise approach that involves short, intense bursts of exercise followed by brief recovery or rest periods. In HIIT, you perform exercises at near-maximum effort during the high-intensity intervals, which can include activities like sprinting, cycling, jumping, or body weight exercises such as burpees or push-ups. These intense intervals are interspersed with short recovery periods to lower your heart rate before the next high-intensity bout. HIIT workouts usually consist of multiple cycles of these intervals, and the number of cycles and the length of intervals can vary. HIIT is known for its time efficiency, making it an excellent choice for those with busy schedules. It offers both aerobic and anaerobic benefits, improving cardiovascular fitness, burning calories, and promoting fat loss, all while boosting metabolism for continued calorie burning post-workout."
},
"modelResponses": [{
"modelIdentifier": "arn:aws:bedrock:Regione AWS::foundation-model/model-id",
"response": " High-intensity interval training (HIIT) is a form of exercise that involves short bursts of intense activity alternated with recovery periods. Here are some key features of HIIT:\n\n- Alternates short periods of intense anaerobic exercise with less intense recovery periods. The high-intensity periods are typically done at 80-95% of maximum heart rate.\n\n- The duration of the intense periods can range from 5 seconds to 8 minutes, but typically are in the range of 30 seconds to 4 minutes.\n\n- The total HIIT session typically lasts between 10-30 minutes, including warm-up, recovery periods, and cool down. \n\n- Uses exercises like sprints, cycling, rowing, jumping rope, stair climbing, swimming, etc. Movements that get your heart rate up quickly.\n\n- The short, intense intervals help improve cardiovascular fitness by increasing heart rate and oxygen consumption.\n\n- HIIT burns more calories and fat than steady-state cardio in a shorter time period. It also helps build muscle strength and endurance.\n\n- Considered an efficient and effective form of exercise for fat loss and improving aerobic power. But it requires motivation to push yourself during the intense intervals.\n\n- Not suitable for beginners due to the high-intensity. Start with steady-state cardio and build up endurance before trying HIIT.\n\nIn summary, HIIT intersperses intense bursts of"
}]
}
}
```
La tabella seguente spiega come il **metodo di valutazione** selezionato per ogni metrica nella console Amazon Bedrock viene restituito nel tuo bucket Amazon S3. La prima chiave secondaria sotto `evaluationResults` indica dove viene restituito il **metodo di valutazione**.
**In che modo i metodi di valutazione selezionati nella console Amazon Bedrock vengono salvati in Amazon S3**
| Metodo di valutazione selezionato | Salvato in Amazon S3 |
| --- | --- |
| Scala Likert: individuale | IndividualLikertScale |
| Scala Likert: confronto | ComparisonLikertScale |
| Tasti di scelta | ComparisonChoice |
| Classificazione ordinale | ComparisonRank |
| Pollice su/giù | ThumbsUpDown |
# Gestione e crittografia dei dati nel processo Amazon Bedrock Evaluations
Durante il processo di valutazione del modello, Amazon Bedrock crea una copia temporanea dei dati e la archivia in un bucket Amazon AWS S3 di proprietà. Amazon Bedrock elimina questi dati al termine del processo. Amazon Bedrock crittografa questi dati utilizzando una AWS KMS chiave. Puoi scegliere di specificare la tua AWS KMS chiave o di utilizzare una chiave di proprietà di Amazon Bedrock per crittografare i dati.
Quando crei un processo di valutazione del modello utilizzando l' AWS SDK o uno supportato Console di gestione AWS AWS CLI, puoi scegliere di utilizzare una chiave KMS di proprietà di Amazon Bedrock o la tua chiave gestita dal cliente. Se non viene specificata alcuna chiave gestita dal cliente, per impostazione predefinita viene utilizzata una chiave di proprietà di Amazon Bedrock.
Per utilizzare una chiave gestita dal cliente, devi aggiungere le azioni e le risorse IAM richieste alla policy del ruolo di servizio IAM. È inoltre necessario aggiungere gli AWS KMS elementi chiave della policy richiesti.
**Topics**
+ [
# Elementi politici chiave obbligatori per crittografare il processo di valutazione del modello utilizzando AWS KMS
](model-evaluation-security-kms.md)
+ [
# AWS Key Management Service supporto nei lavori di valutazione dei modelli
](model-evaluation-security-data.md)
+ [
# Crittografia dei dati per i processi di valutazione della knowledge base
](rag-evaluation-security-data.md)
# Elementi politici chiave obbligatori per crittografare il processo di valutazione del modello utilizzando AWS KMS
Ogni AWS KMS chiave deve avere esattamente una politica chiave. Le dichiarazioni contenute nella politica chiave determinano chi ha il permesso di usare la AWS KMS chiave e come può usarla. Puoi anche utilizzare le policy e le concessioni IAM per controllare l'accesso alla AWS KMS chiave, ma ogni AWS KMS chiave deve avere una policy chiave.
**Elementi AWS KMS chiave delle policy obbligatori in Amazon Bedrock**
+ `kms:Decrypt`: fornisce ad Amazon Bedrock le autorizzazioni per accedere ai file crittografati con la chiave AWS Key Management Service e decrittografarli.
+ `kms:GenerateDataKey`: controlla l’autorizzazione per utilizzare la chiave AWS Key Management Service per generare chiavi di dati. Amazon Bedrock utilizza `GenerateDataKey` per crittografare i dati temporanei archiviati per il processo di valutazione.
+ `kms:DescribeKey`: fornisce informazioni dettagliate su una chiave KMS.
È necessario aggiungere la seguente dichiarazione alla politica AWS KMS chiave esistente. L’istruzione fornisce ad Amazon Bedrock le autorizzazioni per archiviare temporaneamente i dati in un bucket del servizio Amazon Bedrock utilizzando la chiave AWS KMS specificata.
```
{
"Effect": "Allow",
"Principal": {
"Service": "bedrock.amazonaws.com"
},
"Action": [
"kms:GenerateDataKey",
"kms:Decrypt",
"kms:DescribeKey"
],
"Resource": "*",
"Condition": {
"StringLike": {
"kms:EncryptionContext:evaluationJobArn": "arn:aws:bedrock:{{region}}:{{accountId}}:evaluation-job/*",
"aws:SourceArn": "arn:aws:bedrock:{{region}}:{{accountId}}:evaluation-job/*"
}
}
}
```
Di seguito è riportato un esempio di AWS KMS politica completa.
------
#### [ JSON ]
****
```
{
"Version":"2012-10-17",
"Id": "key-consolepolicy-3",
"Statement": [
{
"Sid": "EnableIAMUserPermissions",
"Effect": "Allow",
"Principal": {
"AWS": "arn:aws:iam::111122223333:root"
},
"Action": "kms:*",
"Resource": "*"
},
{
"Sid": "BedrockDataKeyAndDecrypt",
"Effect": "Allow",
"Principal": {
"Service": "bedrock.amazonaws.com"
},
"Action": [
"kms:GenerateDataKey",
"kms:Decrypt"
],
"Resource": "*",
"Condition": {
"ArnLike": {
"kms:EncryptionContext:evaluationJobArn": "arn:aws:bedrock:us-east-1:123456789012:evaluation-job/*",
"aws:SourceArn": "arn:aws:bedrock:us-east-1:123456789012:evaluation-job/*"
}
}
},
{
"Sid": "BedrockDescribeKey",
"Effect": "Allow",
"Principal": {
"Service": "bedrock.amazonaws.com"
},
"Action": "kms:DescribeKey",
"Resource": "*",
"Condition": {
"ArnLike": {
"aws:SourceArn": "arn:aws:bedrock:us-east-1:123456789012:evaluation-job/*"
}
}
}
]
}
```
------
## Configurazione delle autorizzazioni KMS per i ruoli che chiamano l'API CreateEvaluationJob
Assicurati di avere DescribeKey e decriptare le autorizzazioni per il tuo ruolo utilizzate per creare il lavoro di valutazione sulla chiave KMS che usi nel tuo lavoro di valutazione. GenerateDataKey
Esempio di policy delle chiavi KMS
```
{
"Statement": [
{
"Effect": "Allow",
"Principal": {
"AWS": "arn:aws:iam::account-id:role/APICallingRole"
},
"Action": [
"kms:Decrypt",
"kms:GenerateDataKey",
"kmsDescribeKey"
],
"Resource": "*"
}
]
}
```
Esempio di API IAM Policy for Role Calling CreateEvaluationJob
------
#### [ JSON ]
****
```
{
"Version":"2012-10-17",
"Statement": [
{
"Sid": "CustomKMSKeyProvidedToBedrockEncryption",
"Effect": "Allow",
"Action": [
"kms:GenerateDataKey",
"kms:Decrypt",
"kms:DescribeKey"
],
"Resource": [
"arn:aws:kms:us-east-1:123456789012:key/keyYouUse"
]
}
]
}
```
------
# AWS Key Management Service supporto nei lavori di valutazione dei modelli
Amazon Bedrock utilizza il seguente IAM e le AWS KMS autorizzazioni per utilizzare la tua AWS KMS chiave per decrittografare i file e accedervi. Salva tali file in una posizione interna di Amazon S3 gestita da Amazon Bedrock e utilizza le seguenti autorizzazioni per crittografarli.
## Requisiti della policy IAM
La policy IAM associata al ruolo IAM utilizzata per effettuare richieste ad Amazon Bedrock deve avere i seguenti elementi. Per ulteriori informazioni sulla gestione delle chiavi AWS KMS , consultare [Utilizzo delle policy IAM con AWS Key Management Service](https://docs.aws.amazon.com/kms/latest/developerguide/iam-policies.html).
I processi di valutazione dei modelli in Amazon Bedrock utilizzano chiavi AWS proprietarie. Queste chiavi KMS sono di proprietà di Amazon Bedrock. Per ulteriori informazioni sulle chiavi AWS possedute, consulta le [chiavi AWS possedute](https://docs.aws.amazon.com/kms/latest/developerguide/concepts.html#aws-owned-cmk) nella *Guida per gli AWS Key Management Service sviluppatori*.
**Elementi delle policy IAM obbligatori**
+ `kms:Decrypt`— Per i file che hai crittografato con la tua AWS Key Management Service chiave, fornisce ad Amazon Bedrock le autorizzazioni per accedere e decrittografare tali file.
+ `kms:GenerateDataKey`: controlla l’autorizzazione per utilizzare la chiave AWS Key Management Service per generare chiavi di dati. Amazon Bedrock utilizza `GenerateDataKey` per crittografare i dati temporanei archiviati per il processo di valutazione.
+ `kms:DescribeKey`: fornisce informazioni dettagliate su una chiave KMS.
+ `kms:ViaService`— La chiave condizionale limita l'uso di una chiave KMS alle richieste provenienti da servizi specifici. AWS È necessario specificare Amazon S3 come servizio, perché Amazon Bedrock archivia una copia temporanea dei dati in una posizione Amazon S3 di sua proprietà.
Di seguito è riportato un esempio di policy IAM che contiene solo le azioni e le risorse AWS KMS IAM richieste:
------
#### [ JSON ]
****
```
{
"Version":"2012-10-17",
"Statement": [
{
"Sid": "CustomKMSKeyProvidedToBedrock",
"Effect": "Allow",
"Action": [
"kms:Decrypt",
"kms:GenerateDataKey"
],
"Resource": [
"arn:aws:kms:us-east-1:123456789012:key/[[keyId]]"
]
},
{
"Sid": "CustomKMSDescribeKeyProvidedToBedrock",
"Effect": "Allow",
"Action": [
"kms:DescribeKey"
],
"Resource": [
"arn:aws:kms:us-east-1:123456789012:key/[[keyId]]"
]
}
]
}
```
------
### Configurazione delle autorizzazioni KMS per i ruoli che chiamano l'API CreateEvaluationJob
Assicurati di avere DescribeKey e decriptare le autorizzazioni per il tuo ruolo utilizzate per creare il lavoro di valutazione sulla chiave KMS che usi nel tuo lavoro di valutazione. GenerateDataKey
Esempio di policy delle chiavi KMS
```
{
"Statement": [
{
"Effect": "Allow",
"Principal": {
"AWS": "arn:aws:iam::account-id:role/APICallingRole"
},
"Action": [
"kms:Decrypt",
"kms:GenerateDataKey",
"kmsDescribeKey"
],
"Resource": "*"
}
]
}
```
Esempio di API IAM Policy for Role Calling CreateEvaluationJob
------
#### [ JSON ]
****
```
{
"Version":"2012-10-17",
"Statement": [
{
"Sid": "CustomKMSKeyProvidedToBedrockEncryption",
"Effect": "Allow",
"Action": [
"kms:GenerateDataKey",
"kms:Decrypt",
"kms:DescribeKey"
],
"Resource": [
"arn:aws:kms:us-east-1:123456789012:key/keyYouUse"
]
}
]
}
```
------
# Crittografia dei dati per i processi di valutazione della knowledge base
Durante un processo di valutazione della knowledge base, Amazon Bedrock crea una copia temporanea dei tuoi dati e li elimina al termine del processo. Per crittografare i dati, Amazon Bedrock utilizza una chiave KMS. Può essere una chiave KMS specificata dall’utente o una chiave di proprietà di Amazon Bedrock.
Amazon Bedrock richiede l'IAM e AWS KMS le autorizzazioni nelle seguenti sezioni in modo da poter utilizzare la tua chiave KMS per effettuare le seguenti operazioni:
+ Decrittografare i tuoi dati.
+ Crittografare la copia temporanea creata da Amazon Bedrock.
Quando crei un processo di valutazione della knowledge base, puoi scegliere di utilizzare una chiave KMS di proprietà di Amazon Bedrock oppure una chiave gestita dal cliente. Se non specifichi una chiave gestita dal cliente, per impostazione predefinita Amazon Bedrock utilizza la propria chiave.
Per poter utilizzare una chiave gestita dal cliente, occorre completare le seguenti operazioni:
+ Aggiungere le azioni e le risorse IAM richieste alla policy del ruolo di servizio IAM.
+ Aggiungere gli elementi della policy della chiave KMS richiesti.
+ Creare una policy in grado di interagire con la tua chiave gestita dal cliente. Questo è specificato in una policy della chiave KMS separata.
## Elementi delle policy richiesti
Le policy delle chiavi KMS e IAM presenti nelle sezioni sotto indicate includono i seguenti elementi obbligatori:
+ `kms:Decrypt`: fornisce ad Amazon Bedrock le autorizzazioni per accedere e decrittografare i file che hai crittografato con la tua chiave KMS.
+ `kms:GenerateDataKey`: controlla l’autorizzazione per utilizzare la chiave KMS per generare chiavi di dati. Amazon Bedrock utilizza `GenerateDataKey` per crittografare i dati temporanei archiviati per il processo di valutazione.
+ `kms:DescribeKey`: fornisce informazioni dettagliate su una chiave KMS.
+ `kms:ViaService`— La chiave condition limita l'uso di una chiave KMS per richiedere servizi specifici. AWS È necessario specificare i seguenti servizi:
+ Amazon S3, perché Amazon Bedrock archivia una copia temporanea dei tuoi dati in una posizione Amazon S3 di proprietà di Amazon Bedrock.
+ Amazon Bedrock, perché il servizio di valutazione chiama l’API Knowledge Base per Amazon Bedrock per eseguire il flusso di lavoro della knowledge base.
+ `kms:EncryptionContext:context-key`— Questa chiave condizionale limita l'accesso alle AWS KMS operazioni in modo che siano specifiche solo per il [contesto di crittografia](https://docs.aws.amazon.com/kms/latest/developerguide/encrypt_context.html) fornito.
## Requisiti della policy IAM
Nel ruolo IAM che utilizzi con Amazon Bedrock, la policy IAM associata deve includere gli elementi sotto indicati. Per ulteriori informazioni sulla gestione delle AWS KMS chiavi, consulta [Using IAM policies with AWS KMS](https://docs.aws.amazon.com/kms/latest/developerguide/iam-policies.html).
I lavori di valutazione della Knowledge Base in Amazon Bedrock utilizzano chiavi AWS proprietarie. Per ulteriori informazioni sulle chiavi AWS possedute, consulta le [chiavi AWS possedute](https://docs.aws.amazon.com/kms/latest/developerguide/concepts.html#aws-owned-cmk) nella *Guida per gli AWS Key Management Service sviluppatori*.
Di seguito è riportato un esempio di policy IAM che contiene solo le azioni e le risorse AWS KMS richieste:
------
#### [ JSON ]
****
```
{
"Version":"2012-10-17",
"Statement": [
{
"Sid": "CustomKMSKeyProvidedToBedrockEncryption",
"Effect": "Allow",
"Action": [
"kms:GenerateDataKey",
"kms:Decrypt"
],
"Resource": [
"arn:aws:kms:us-east-1:123456789012:key/*"
],
"Condition": {
"StringEquals": {
"kms:ViaService": [
"s3.us-east-1.amazonaws.com"
]
}
}
},
{
"Sid": "CustomKMSKeyProvidedToBedrockEvalKMS",
"Effect": "Allow",
"Action": [
"kms:Decrypt",
"kms:GenerateDataKey"
],
"Resource": [
"arn:aws:kms:us-east-1:123456789012:key/*"
],
"Condition": {
"StringLike": {
"kms:EncryptionContext:evaluationJobArn": "arn:aws:bedrock:us-east-1:123456789012:evaluation-job/*"
}
}
},
{
"Sid": "CustomKMSKeyProvidedToBedrockKBDecryption",
"Effect": "Allow",
"Action": [
"kms:Decrypt"
],
"Resource": [
"arn:aws:kms:us-east-1:123456789012:key/*"
],
"Condition": {
"StringLike": {
"kms:EncryptionContext:knowledgeBaseArn": "arn:aws:bedrock:us-east-1:123456789012:knowledge-base/*"
}
}
},
{
"Sid": "CustomKMSKeyProvidedToBedrockKBEncryption",
"Effect": "Allow",
"Action": [
"kms:GenerateDataKey"
],
"Resource": [
"arn:aws:kms:us-east-1:123456789012:key/*"
],
"Condition": {
"StringLike": {
"kms:EncryptionContext:knowledgeBaseArn": "arn:aws:bedrock:us-east-1:123456789012:knowledge-base/*"
},
"StringEquals": {
"kms:ViaService": [
"bedrock.us-east-1.amazonaws.com"
]
}
}
},
{
"Sid": "CustomKMSKeyProvidedToBedrockKBGenerateDataKey",
"Effect": "Allow",
"Action": [
"kms:GenerateDataKey"
],
"Resource": [
"arn:aws:kms:us-east-1:123456789012:key/*"
],
"Condition": {
"StringLike": {
"kms:EncryptionContext:CustomerAwsAccountId": "123456789012",
"kms:EncryptionContext:SessionId": "*"
},
"StringEquals": {
"kms:ViaService": [
"bedrock.us-east-1.amazonaws.com"
]
}
}
},
{
"Sid": "CustomKMSDescribeKeyProvidedToBedrock",
"Effect": "Allow",
"Action": [
"kms:DescribeKey"
],
"Resource": [
"arn:aws:kms:us-east-1:123456789012:key/*"
]
}
]
}
```
------
## AWS KMS requisiti politici chiave
Ogni chiave KMS deve avere una policy della chiave. Le istruzioni nella policy delle chiavi determinano chi dispone dell'autorizzazione per utilizzare la chiave KMS e come questa può essere utilizzata. Puoi utilizzare le policy IAM e le concessioni anche per controllare l’accesso alla chiave KMS, ma ogni chiave KMS deve disporre di una policy della chiave.
Alla policy della chiave KMS esistente è necessario aggiungere la dichiarazione indicata di seguito, che fornisce ad Amazon Bedrock le autorizzazioni per archiviare temporaneamente i tuoi dati in un bucket S3 utilizzando la chiave KMS che hai specificato.
### Configurazione delle autorizzazioni KMS per i ruoli che chiamano l'API CreateEvaluationJob
Assicurati di avere DescribeKey e decriptare le autorizzazioni per il tuo ruolo utilizzate per creare il lavoro di valutazione sulla chiave KMS che usi nel tuo lavoro di valutazione. GenerateDataKey
Esempio di policy delle chiavi KMS
```
{
"Statement": [
{
"Effect": "Allow",
"Principal": {
"AWS": "arn:aws:iam::account-id:role/APICallingRole"
},
"Action": [
"kms:Decrypt",
"kms:GenerateDataKey",
"kmsDescribeKey"
],
"Resource": "*"
}
]
}
```
Esempio di API IAM Policy for Role Calling CreateEvaluationJob
------
#### [ JSON ]
****
```
{
"Version":"2012-10-17",
"Statement": [
{
"Sid": "CustomKMSKeyProvidedToBedrockEncryption",
"Effect": "Allow",
"Action": [
"kms:GenerateDataKey",
"kms:Decrypt",
"kms:DescribeKey"
],
"Resource": [
"arn:aws:kms:us-east-1:123456789012:key/keyYouUse"
]
}
]
}
```
------
# CloudTrail eventi di gestione nei lavori di valutazione dei modelli
Gli [eventi di gestione](https://docs.aws.amazon.com/awscloudtrail/latest/userguide/logging-management-events-with-cloudtrail.html#logging-management-events) forniscono informazioni sulle operazioni delle risorse eseguite su o in una risorsa (ad es. lettura o scrittura su un oggetto Amazon S3). Queste operazioni sono definite anche operazioni del piano dei dati. Gli eventi relativi ai dati sono spesso attività ad alto volume che CloudTrail non vengono registrate per impostazione predefinita.
I processi di valutazione dei modelli registrano gli eventi per più servizi AWS
**CloudTrail eventi di dati per AWS servizio nei lavori di valutazione dei modelli**
+ **Amazon Bedrock**: gli eventi relativi ai dati per l’inferenza di tutti i modelli vengono eseguiti durante il processo di valutazione del modello.
+ **Amazon SageMaker AI**: eventi relativi ai dati per tutti i lavori di valutazione di modelli basati sull'uomo.
+ **Amazon S3**: eventi di dati per la lettura e la scrittura di dati nel bucket Amazon S3 specificati al momento della creazione del processo di valutazione del modello.
+ **AWS Key Management Service**: Eventi relativi ai dati relativi all'utilizzo di AWS KMS chiavi gestite dal cliente.