Coherence: Measures the organization and structure of a generated text. - Thumbs up/down\nAccuracy: Indicates the accuracy of a generated text. - Choice buttons
\nThe evaluation creator should use this space to write detailed descriptions for every rating method so your evaluators know how to properly rate the responses with the buttons on their screen.
\nIf using Likert scale - individual, define the 1 and 5 of the 5 point Likert scale for each metric so your evaluators know if 1 or 5 means favorable/acceptable/preferable.\nIf using Likert scale - comparison, describe what the evaluator is looking for to determine their preference between two responses.\nIf using Choice buttons, describe what is preferred according to your metric and its description.\nIf using Ordinal ranking, define what should receive a #1 ranking according to your metric and its description.\nIf using Thumbs up/down, define what makes an acceptable response according to your metric and its description.
\nDescribe the purpose of your ground truth responses that will be shown on screen next to each model response. Note that the ground truth responses you provide are not rated/scored by the evaluators - they are meant to be a reference standard for comparison against the model responses.
" } } }, "inferenceConfig": { "models": [ { "precomputedInferenceSource": { "inferenceSourceIdentifier": "llama-3-1-80b" } }, { "precomputedInferenceSource": { "inferenceSourceIdentifier": "my_other_model" } } ] }, "outputDataConfig": { "s3Uri": "s3://amzn-s3-demo-bucket/output/" } } ``` ------ #### [ SDK for Python ] En el siguiente ejemplo de código se muestra cómo crear un trabajo de evaluación del modelo con intervención humana mediante el SDK para Python. ``` import boto3 client = boto3.client('bedrock') job_request = client.create_evaluation_job( jobName="111122223333-job-01", jobDescription="two different task types", roleArn="arn:aws:iam::111122223333:role/example-human-eval-api-role", inferenceConfig={ ## You must specify and array of models "models": [ { "bedrockModel": { "modelIdentifier":"arn:aws:bedrock:us-west-2::foundation-model/amazon.titan-text-lite-v1", "inferenceParams":"{\"inferenceConfig\":{\"maxTokens\": 512,\"temperature\":0.7,\"topP\":0.9}}" } }, { "bedrockModel": { "modelIdentifier": "anthropic.claude-v2", "inferenceParams": "{\"inferenceConfig\":{\"maxTokens\":512,\"temperature\":1,\"topP\":0.999,\"stopSequences\":[\"stop\"]},\"additionalModelRequestFields\":{\"top_k\": 128}}" } } ] }, outputDataConfig={ "s3Uri":"s3://job-bucket/outputs/" }, evaluationConfig={ "human": { "humanWorkflowConfig": { "flowDefinitionArn": "arn:aws:sagemaker:us-west-2:111122223333:flow-definition/example-workflow-arn", "instructions": "some human eval instruction" }, "customMetrics": [ { "name": "IndividualLikertScale", "description": "testing", "ratingMethod": "IndividualLikertScale" } ], "datasetMetricConfigs": [ { "taskType": "Summarization", "dataset": { "name": "Custom_Dataset1", "datasetLocation": { "s3Uri": "s3://job-bucket/custom-datasets/custom-trex.jsonl" } }, "metricNames": [ "IndividualLikertScale" ] } ] } } ) print(job_request) ``` ------ # Enumeración de los trabajos de evaluación de modelos con intervención humana en Amazon Bedrock Puede mostrar o buscar todos los trabajos de evaluación de modelos con intervención humana mediante la AWS CLI o un AWS SDK compatible. En la consola de Amazon Bedrock, también puede ver una tabla que contiene sus trabajos de evaluación de modelos actuales. En los siguientes ejemplos se muestra cómo encontrar los trabajos de evaluación de modelos con la Consola de administración de AWS, la AWS CLI y el SDK para Python. ------ #### [ Amazon Bedrock console ] 1. Abra la consola de Amazon Bedrock: [https://console.aws.amazon.com/bedrock/home](https://console.aws.amazon.com/bedrock/home) 1. En el panel de navegación, elija **Evaluación de modelo**. 1. En la tarjeta **Trabajos de evaluación de modelos**, encontrará una tabla con los trabajos de evaluación de modelos que ya ha creado. ------ #### [ AWS CLI ] En la AWS CLI, puede utilizar el comando `help` para ver los parámetros obligatorios y qué parámetros son opcionales cuando se utiliza `list-evaluation-jobs`. ``` aws bedrock list-evaluation-jobs help ``` A continuación, se muestra un ejemplo del uso de `list-evaluation-jobs` y la especificación de que se devuelvan un máximo de cinco trabajos. De forma predeterminada, los trabajos se devuelven en orden descendente desde el momento en que se iniciaron. ``` aws bedrock list-evaluation-jobs --max-items 5 ``` ------ #### [ SDK for Python ] En los siguientes ejemplos se muestra cómo utilizar el AWS SDK para Python para buscar un trabajo de evaluación del modelo que ha creado previamente. ``` import boto3 client = boto3.client('bedrock') job_request = client.list_evaluation_jobs(maxResults=20) print (job_request) ``` ------ # Detención de un trabajo de evaluación del modelo en Amazon Bedrock Puede detener un trabajo de evaluación de modelos que se esté procesando actualmente mediante la Consola de administración de AWS, la AWS CLI o un AWS SDK compatible. En los siguientes ejemplos se muestra cómo detener un trabajo de evaluación del modelo con la Consola de administración de AWS, la AWS CLI y el SDK de Python. ------ #### [ Amazon Bedrock console ] En el siguiente ejemplo se muestra cómo detener un trabajo de evaluación del modelo con la Consola de administración de AWS. 1. Abra la consola de Amazon Bedrock: [https://console.aws.amazon.com/bedrock/home](https://console.aws.amazon.com/bedrock/home) 1. En el panel de navegación, elija **Evaluación de modelo**. 1. En la tarjeta **Trabajos de evaluación de modelos**, encontrará una tabla con los trabajos de evaluación de modelos que ya ha creado. 1. Seleccione el botón de opción situado junto al nombre del trabajo. 1. A continuación, elija **Detener la evaluación**. ------ #### [ SDK for Python ] En los siguientes ejemplos se muestra cómo detener un trabajo de evaluación del modelo con el SDK para Python. ``` import boto3 client = boto3.client('bedrock') response = client.stop_evaluation_job( ## The ARN of the model evaluation job you want to stop. jobIdentifier='arn:aws:bedrock:us-west-2:444455556666:evaluation-job/fxaqujhttcza' ) print(response) ``` ------ #### [ AWS CLI ] En la AWS CLI, puede utilizar el comando `help` para ver qué parámetros son necesarios y qué parámetros son opcionales al especificar `add-something` en la AWS CLI. ``` aws bedrock create-evaluation-job help ``` En el siguiente ejemplo se muestra cómo detener un trabajo de evaluación del modelo con la AWS CLI. ``` aws bedrock stop-evaluation-job --job-identifier arn:aws:bedrock:us-west-2:444455556666:evaluation-job/fxaqujhttcza ``` ------ # Eliminación de un trabajo de evaluación del modelo en Amazon Bedrock Puede eliminar un trabajo de evaluación del modelo mediante la consola de Amazon Bedrock o mediante la operación [BatchDeleteEvaluationJob](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_BatchDeleteEvaluationJob.html) con la AWS CLI o el AWS SDK compatible. Para poder eliminar un trabajo de evaluación del modelo, el estado del trabajo debe ser `FAILED`, `COMPLETED` o `STOPPED`. Puede obtener el estado actual de un trabajo desde la consola de Amazon Bedrock o llamando a [ListEvaluationJobs](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_ListEvaluationJobs.html). Para obtener más información, consulte [Enumeración de los trabajos de evaluación automática de modelos en Amazon BedrockEnumeración de los trabajos de evaluación de modelos con intervención humana en Amazon Bedrock](model-evaluation-jobs-management-list.md). Puede eliminar hasta 25 trabajos de evaluación del modelo a la vez con la consola y con la operación `BatchDeleteEvaluationJob`. Si necesita eliminar más trabajos, repita el procedimiento de la consola o llame a `BatchDeleteEvaluationJob`. Si elimina un trabajo de evaluación del modelo con la operación `BatchDeleteEvaluationJob`, necesitará los nombres de recursos de Amazon (ARN) de los modelos que desee eliminar. Para obtener más información sobre cómo obtener el ARN de un modelo, consulte [Enumeración de los trabajos de evaluación automática de modelos en Amazon BedrockEnumeración de los trabajos de evaluación de modelos con intervención humana en Amazon Bedrock](model-evaluation-jobs-management-list.md). Al eliminar un trabajo de evaluación de modelos, se eliminan todos los recursos de Amazon Bedrock y Amazon SageMaker AI. Todos los trabajos de evaluación de modelos guardados en los buckets de Amazon S3 se conservan sin cambios. Además, en el caso de los trabajos de evaluación de modelos con intervención humana, al eliminar un trabajo de evaluación del modelo no se eliminará a la persona o el equipo de trabajo que haya configurado en Amazon Cognito o SageMaker AI. Consulte las siguientes secciones para ver ejemplos de cómo eliminar un trabajo de evaluación del modelo. ------ #### [ Amazon Bedrock console ] Utilice el siguiente procedimiento para eliminar un trabajo de evaluación del modelo en la consola de Amazon Bedrock. Para completar este procedimiento correctamente, asegúrese de que el usuario, grupo o rol de IAM tiene los permisos necesarios para acceder a la consola. Para obtener más información, consulte [Permisos de la consola necesarios para crear un trabajo de evaluación del modelo con intervención humana](model-evaluation-type-human.md#more-for-human). **Eliminación de varios trabajos de evaluación de modelos** 1. Abra la consola de Amazon Bedrock: [https://console.aws.amazon.com/bedrock](https://console.aws.amazon.com/bedrock/) 1. En el panel de navegación, elija **Evaluación de modelo**. 1. En la tarjeta **Trabajos de evaluación de modelos**, utilice la tabla para buscar los trabajos de evaluación de modelos que desee eliminar y selecciónelos mediante la casilla de verificación situada junto al nombre del trabajo. Puede seleccionar un máximo de 25 trabajos. 1. Seleccione **Eliminar** para eliminar los trabajos de evaluación del modelo. 1. Si tiene que eliminar más trabajos de evaluación del modelo, repita los pasos 3 y 4. ------ #### [ AWS CLI ] En la AWS CLI, puede utilizar el comando `help` para ver los parámetros obligatorios y qué parámetros son opcionales cuando se utiliza `batch-delete-evaluation-job`. ``` aws bedrock batch-delete-evaluation-job help ``` A continuación, se muestra un ejemplo del uso de `batch-delete-evaluation-job` y la especificación de la eliminación de dos trabajos de evaluación del modelo. Utilice el parámetro `job-identifiers` para especificar una lista de ARN para los trabajos de evaluación del modelo que desee eliminar. Puede eliminar hasta 25 trabajos de evaluación del modelo en una sola llamada a `batch-delete-evaluation-job`. Si necesita eliminar más trabajos, haga más llamadas a `batch-delete-evaluation-job`. ``` aws bedrock batch-delete-evaluation-job \ --job-identifiers arn:aws:bedrock:us-east-1:111122223333:evaluation-job/rmqp8zg80rvg arn:aws:bedrock:us-east-1:111122223333:evaluation-job/xmfp9zg204fdk ``` Después de enviarlo, obtendrá la siguiente respuesta. ``` { "evaluationJobs": [ { "jobIdentifier": "rmqp8zg80rvg", "jobStatus": "Deleting" }, { "jobIdentifier": "xmfp9zg204fdk", "jobStatus": "Deleting" } ], "errors": [] } ``` ------ #### [ SDK for Python ] En los siguientes ejemplos se muestra cómo utilizar el AWS SDK para Python para eliminar un trabajo de evaluación del modelo. Utilice el parámetro `jobIdentifiers` para especificar una lista de ARN para los trabajos de evaluación del modelo que desee eliminar. Puede eliminar hasta 25 trabajos de evaluación del modelo en una sola llamada a `BatchDeleteEvaluationJob`. Si necesita eliminar más trabajos, haga más llamadas a `BatchDeleteEvaluationJob`. ``` import boto3 client = boto3.client('bedrock') job_request = client.batch_delete_model_evaluation_job(jobIdentifiers=["arn:aws:bedrock:us-east-1:111122223333:evaluation-job/rmqp8zg80rvg", "arn:aws:bedrock:us-east-1:111122223333:evaluation-job/xmfp9zg204fdk"]) print (job_request) ``` ------ # Administración de un equipo de trabajo para las evaluaciones realizadas por humanos de los modelos en Amazon Bedrock En los trabajos de evaluación que lleva a cabo el personal, es necesario contar con un equipo de trabajo. Un equipo de trabajo es un equipo de trabajadores a los que *usted* elige. Puede tratarse de trabajadores de su empresa o un grupo de expertos en áreas específicas de su sector. **Notificaciones de trabajadores en Amazon Bedrock** Al crear un trabajo de evaluación en Amazon Bedrock, el personal recibe una notificación del trabajo asignado *solo* si primero lo agrega a un equipo de trabajo. Si elimina a una persona de un equipo de trabajo durante la creación del trabajo de evaluación, esta persona también perderá el acceso a *todos* los trabajos de evaluación que se le hayan asignado. Para cualquier nuevo trabajo de evaluación que asigne a una persona del equipo, debe notificárselo directamente y proporcionarle la URL del portal del personal. Los trabajadores deben usar sus credenciales de inicio de sesión creadas anteriormente para el portal de trabajadores. Este portal para trabajadores es el mismo para todos los trabajos de evaluación de su AWS cuenta por región. Puedes crear un equipo de trabajo humano o gestionar uno existente y, al mismo tiempo, configurar un trabajo de evaluación de trabajadores para una *fuerza laboral privada* gestionada por Amazon SageMaker Ground Truth. Amazon SageMaker Ground Truth admite funciones de administración de personal más avanzadas. Para obtener más información sobre la gestión de tu fuerza laboral en Amazon SageMaker Ground Truth, consulta [Crear y gestionar fuerzas de trabajo](https://docs.aws.amazon.com/sagemaker/latest/dg/sms-workforce-management.html). Puede eliminar personal de un equipo de trabajo mientras configura un nuevo trabajo de evaluación. De lo contrario, debe utilizar la consola Amazon Cognito o la consola Amazon SageMaker Ground Truth para gestionar los equipos de trabajo que haya creado en Amazon Bedrock. Si el usuario, grupo o rol de IAM tiene los permisos necesarios, verá visibles las fuerzas laborales y los equipos de trabajo privados existentes que creó en Amazon Cognito, Amazon SageMaker Ground Truth o Amazon Augmented AI cuando cree un trabajo de evaluación que utilice trabajadores humanos. Amazon Bedrock es compatible con un máximo de 50 trabajadores por equipo de trabajo. En el campo de direcciones de correo electrónico, puede introducir hasta 50 direcciones de correo electrónico a la vez. Para agregar más personal al trabajo de evaluación, utilice la consola de Amazon Cognito o de Ground Truth. Las direcciones tienen que ir separados por coma. Debe incluir su propia dirección de correo electrónico para formar parte del personal y poder ver las tareas de etiquetado. ## Creación de instrucciones para el personal La creación de instrucciones correctas para los trabajos de evaluación de modelos mejora la precisión del trabajador a la hora de completar la tarea. Puede modificar las instrucciones predeterminadas que se proporcionan en la consola al crear un trabajo de evaluación de modelos. Las instrucciones se muestran al trabajador en la página de la IU en la que completan su tarea de etiquetado. Para ayudar a los trabajadores a completar las tareas asignadas, puede proporcionar instrucciones en dos lugares. **Proporcionar una buena descripción de cada método de evaluación y calificación** Las descripciones deben proporcionar una explicación sucinta de las métricas seleccionadas. La descripción debe ampliar la métrica y dejar claro cómo desea que los trabajadores evalúen el método de calificación seleccionado. **Proporcionar a los trabajadores las instrucciones generales de evaluación** Estas instrucciones aparecen en la misma página web en la que los trabajadores completan una tarea. Puede usar este espacio para proporcionar una orientación de alto nivel para el trabajo de evaluación de modelos y para describir las respuestas veraces si las ha incluido en su conjunto de datos de peticiones. # Evaluación del rendimiento del modelo utilizando otro LLM como juez Con un trabajo de evaluación de modelos que utilice un modelo de juez, Amazon Bedrock usa un LLM para puntuar las respuestas de otro modelo y proporcionar una explicación de cómo puntuó cada par de petición y respuesta. Las puntuaciones y las explicaciones están disponibles en la consola de Amazon Bedrock a través de la página [Evaluaciones](https://console.aws.amazon.com/bedrock/home#/eval/evaluation). Este tipo de evaluación de modelos requiere dos modelos diferentes, un *modelo generador* y un *modelo evaluador*. Las peticiones del modelo generador se definen en un conjunto de datos y el modelo evaluador puntúa las respuestas a esas peticiones en función de las métricas que seleccione. La tarjeta de resumen de métricas de la consola muestra un histograma con el número de veces que una respuesta recibió una puntuación determinada y las explicaciones de la puntuación de las cinco primeras peticiones encontradas en el conjunto de datos. El informe de trabajo de evaluación completo está disponible en el bucket de Amazon S3 que haya especificado al crear el trabajo de evaluación del modelo. Al crear el trabajo de evaluación del modelo, puede seleccionar un modelo de Amazon Bedrock como modelo generador o puede evaluar un modelo que no sea de Amazon Bedrock proporcionando sus propios datos de respuesta de inferencia en el conjunto de datos de peticiones. Si proporciona sus propios datos de respuesta, Amazon Bedrock omite el paso de invocación del modelo y evalúa directamente los datos que proporciona. Para puntuar las respuestas de los modelos generadores, Amazon Bedrock proporciona un conjunto de métricas integradas que puede seleccionar. Cada métrica utiliza una petición diferente para el modelo evaluador. También puede definir sus propias métricas personalizadas para su caso de negocio concreto. Consulte [Uso de métricas para conocer el rendimiento del modelo](model-evaluation-metrics.md) para obtener más información. ## Modelos compatibles ### Modelos evaluadores compatibles (métricas integradas) Para crear un trabajo de evaluación en el que se utilice un LLM como juez con las métricas integradas de Amazon Bedrock, necesita acceder al menos a uno de los modelos de juez de la siguiente lista. Para obtener más información sobre cómo acceder a los modelos y la disponibilidad de las regiones, consulte [Acceso a los modelos fundacionales de Amazon Bedrock](model-access.md). + Amazon Nova Pro – `amazon.nova-pro-v1:0` + Anthropic Claude 3.5 Sonnet v1 – `anthropic.claude-3-5-sonnet-20240620-v1:0` + Anthropic Claude 3.5 Sonnet v2 – `anthropic.claude-3-5-sonnet-20241022-v2:0` + Anthropic Claude 3.7 Sonnet – `anthropic.claude-3-7-sonnet-20250219-v1:0` + Anthropic Claude 3 Haiku – `anthropic.claude-3-haiku-20240307-v1:0` + Anthropic Claude 3.5 Haiku – `anthropic.claude-3-5-haiku-20241022-v1:0` + Meta Llama 3.1 70B Instruct – `meta.llama3-1-70b-instruct-v1:0` + Mistral Large – `mistral.mistral-large-2402-v1:0` Los [perfiles de inferencia entre regiones](cross-region-inference.md) son compatibles con los modelos de la lista. Para obtener más información, consulte [Perfiles de inferencia entre regiones admitidos](inference-profiles-support.md#inference-profiles-support-system). ### Modelos evaluadores compatibles (métricas personalizadas) Para crear un trabajo de evaluación en el que se utilice un LLM como juez con métricas personalizadas, necesita acceder al menos a uno de los modelos de juez de la siguiente lista. + Mistral Large 24.02 – `mistral.mistral-large-2402-v1:0` + Mistral Large 24.07 – `mistral.mistral-large-2407-v1:0` + Anthropic Claude 3.5 Sonnet v1 – `anthropic.claude-3-5-sonnet-20240620-v1:0` + Anthropic Claude 3.5 Sonnet v2 – `anthropic.claude-3-5-sonnet-20241022-v2:0` + Anthropic Claude 3.7 Sonnet – `anthropic.claude-3-7-sonnet-20250219-v1:0` + Anthropic Claude 3 Haiku 3 – `anthropic.claude-3-haiku-20240307-v1:0` + Anthropic Claude 3 Haiku 3.5 – `anthropic.claude-3-5-haiku-20241022-v1:0` + Meta Llama 3.1 70B Instruct – `meta.llama3-1-70b-instruct-v1:0` + Meta Llama 3.3 70B Instruct – `meta.llama3-3-70b-instruct-v1:0` + Amazon Nova Pro – `amazon.nova-pro-v1:0` Los [perfiles de inferencia entre regiones](cross-region-inference.md) son compatibles con los modelos de la lista. Para obtener más información, consulte [Perfiles de inferencia entre regiones admitidos](inference-profiles-support.md#inference-profiles-support-system). ### Modelos generadores compatibles Puede utilizar los siguientes tipos de modelos en Amazon Bedrock como el modelo generador en un trabajo de evaluación. También puede incorporar sus propios datos de respuesta de inferencia de modelos que no son de Amazon Bedrock. + Modelos fundacionales: [Información del modelo fundacional de Amazon Bedrock](foundation-models-reference.md) + Modelos de Amazon Bedrock Marketplace: [Amazon Bedrock Marketplace](amazon-bedrock-marketplace.md) + Modelos fundacionales personalizados: [Personalización del modelo para mejorar su rendimiento según su caso de uso](custom-models.md) + Modelos fundacionales importados: [Uso de la importación de modelos personalizados para importar un modelo de código abierto personalizado a Amazon Bedrock](model-customization-import-model.md) + Enrutadores de peticiones: [Enrutamiento de peticiones inteligente en Amazon Bedrock](prompt-routing.md) + Modelos para los que ha adquirido rendimiento aprovisionado: [Aumento de la capacidad de invocación de modelos con el rendimiento aprovisionado en Amazon Bedrock](prov-throughput.md) # Creación de un conjunto de datos de peticiones para un trabajo de evaluación de modelos que utilice un modelo como juez Para crear un trabajo de evaluación del modelos que utilice un modelo como juez, debe especificar un conjunto de datos de peticiones. Este conjunto de datos de peticiones utiliza el mismo formato que los trabajos de evaluación automática de modelos y se utiliza durante la inferencia con los modelos que vaya a evaluar. Si desea evaluar modelos que no son de Amazon Bedrock mediante respuestas que ya ha generado, inclúyalos en el conjunto de datos de peticiones tal y como se describe en [Preparación de un conjunto de datos para un trabajo de evaluación que utilice sus propios datos de respuesta de inferencia](#model-evaluation-prompt-datasets-judge-byoir). Cuando proporciona sus propios datos de respuesta de inferencia, Amazon Bedrock omite el paso de invocación del modelo y realiza el trabajo de evaluación con los datos que proporciona. Los conjuntos de datos de peticiones personalizados deben almacenarse en Amazon S3 y utilizar el formato de línea JSON y la extensión de archivo `.jsonl`. Cada línea debe ser un objeto JSON válido. Puede haber hasta 1000 peticiones en el conjunto de datos por trabajo de evaluación. Para los trabajos creados con la consola, debe actualizar la configuración de uso compartido de recursos entre orígenes (CORS) en el bucket de S3. Para obtener más información sobre los permisos de CORS necesarios, consulte [Permisos de uso compartido de recursos entre orígenes (CORS) requeridos en buckets de S3](model-evaluation-security-cors.md). ## Preparación de un conjunto de datos para un trabajo de evaluación en el que Amazon Bedrock invoque modelos por usted Para ejecutar un trabajo de evaluación en el que Amazon Bedrock invoque los modelos por usted, cree un conjunto de datos de peticiones que contenga los siguientes pares de clave-valor: + `prompt`: la petición a la que desea que respondan los modelos. + `referenceResponse` (opcional): la respuesta de referencia (verdad fundamental). + `category`: (opcional) genera la puntuación de evaluación determinada para cada categoría. **nota** Si decide proporcionar una respuesta de referencia (`referenceResponse)`), Amazon Bedrock utilizará este parámetro al calcular las métricas de **integridad** (`Builtin.Completeness`) y **corrección** (`Builtin.Correctness`). También puede utilizar estas métricas sin proporcionar una respuesta de referencia. Para ver las peticiones del modelo de juez en estos dos escenarios, consulte la sección correspondiente al modelo de juez que haya elegido en [Peticiones del evaluador de métricas integradas para trabajos de evaluación de modelo como juez](model-evaluation-type-judge-prompt.md). A continuación presentamos un ejemplo de conjunto de datos personalizado que contiene 6 entradas y utiliza el formato de línea JSON. ``` {"prompt":"Provide the prompt you want the model to use during inference","category":"(Optional) Specify an optional category","referenceResponse":"(Optional) Specify a ground truth response."} {"prompt":"Provide the prompt you want the model to use during inference","category":"(Optional) Specify an optional category","referenceResponse":"(Optional) Specify a ground truth response."} {"prompt":"Provide the prompt you want the model to use during inference","category":"(Optional) Specify an optional category","referenceResponse":"(Optional) Specify a ground truth response."} {"prompt":"Provide the prompt you want the model to use during inference","category":"(Optional) Specify an optional category","referenceResponse":"(Optional) Specify a ground truth response."} {"prompt":"Provide the prompt you want the model to use during inference","category":"(Optional) Specify an optional category","referenceResponse":"(Optional) Specify a ground truth response."} {"prompt":"Provide the prompt you want the model to use during inference","category":"(Optional) Specify an optional category","referenceResponse":"(Optional) Specify a ground truth response."} ``` El siguiente ejemplo es una entrada única expandida para mayor claridad. En el conjunto de datos de peticiones real, cada línea debe ser un objeto JSON válido. ``` { "prompt": "What is high intensity interval training?", "category": "Fitness", "referenceResponse": "High-Intensity Interval Training (HIIT) is a cardiovascular exercise approach that involves short, intense bursts of exercise followed by brief recovery or rest periods." } ``` ## Preparación de un conjunto de datos para un trabajo de evaluación que utilice sus propios datos de respuesta de inferencia Para ejecutar un trabajo de evaluación con las respuestas que ya ha generado, cree un conjunto de datos de peticiones que contenga los siguientes pares de clave-valor: + `prompt`: la petición que utilizaron sus modelos para generar las respuestas. + `referenceResponse` (opcional): la respuesta de referencia (verdad fundamental). + `category`: (opcional) genera la puntuación de evaluación determinada para cada categoría. + `modelResponses`: la respuesta de su propia inferencia que desee que Amazon Bedrock evalúe. Los trabajos de evaluación que utilizan un modelo como juez admiten solo una respuesta del modelo para cada petición, definida mediante las siguientes claves: + `response`: una cadena que contiene la respuesta de la inferencia del modelo. + `modelIdentifier`: una cadena que identifica el modelo que generó la respuesta. Solo puede usar un `modelIdentifier` único en un trabajo de evaluación, y cada petición de su conjunto de datos debe usar este identificador. **nota** Si decide proporcionar una respuesta de referencia (`referenceResponse)`), Amazon Bedrock utilizará este parámetro al calcular las métricas de **integridad** (`Builtin.Completeness`) y **corrección** (`Builtin.Correctness`). También puede utilizar estas métricas sin proporcionar una respuesta de referencia. Para ver las peticiones del modelo de juez en estos dos escenarios, consulte la sección correspondiente al modelo de juez que haya elegido en [Peticiones del evaluador de métricas integradas para trabajos de evaluación de modelo como juez](model-evaluation-type-judge-prompt.md). A continuación, presentamos un ejemplo de conjunto de datos personalizado que contiene seis entradas y utiliza el formato de línea JSON. ``` {"prompt":"The prompt you used to generate the model response","referenceResponse":"(Optional) a ground truth response","category":"(Optional) a category for the prompt","modelResponses":[{"response":"The response your model generated","modelIdentifier":"A string identifying your model"}]} {"prompt":"The prompt you used to generate the model response","referenceResponse":"(Optional) a ground truth response","category":"(Optional) a category for the prompt","modelResponses":[{"response":"The response your model generated","modelIdentifier":"A string identifying your model"}]} {"prompt":"The prompt you used to generate the model response","referenceResponse":"(Optional) a ground truth response","category":"(Optional) a category for the prompt","modelResponses":[{"response":"The response your model generated","modelIdentifier":"A string identifying your model"}]} {"prompt":"The prompt you used to generate the model response","referenceResponse":"(Optional) a ground truth response","category":"(Optional) a category for the prompt","modelResponses":[{"response":"The response your model generated","modelIdentifier":"A string identifying your model"}]} {"prompt":"The prompt you used to generate the model response","referenceResponse":"(Optional) a ground truth response","category":"(Optional) a category for the prompt","modelResponses":[{"response":"The response your model generated","modelIdentifier":"A string identifying your model"}]} {"prompt":"The prompt you used to generate the model response","referenceResponse":"(Optional) a ground truth response","category":"(Optional) a category for the prompt","modelResponses":[{"response":"The response your model generated","modelIdentifier":"A string identifying your model"}]} ``` El siguiente ejemplo es una entrada única de un conjunto de datos de peticiones expandida para mayor claridad. ``` { "prompt": "What is high intensity interval training?", "referenceResponse": "High-Intensity Interval Training (HIIT) is a cardiovascular exercise approach that involves short, intense bursts of exercise followed by brief recovery or rest periods.", "category": "Fitness", "modelResponses": [ { "response": "High intensity interval training (HIIT) is a workout strategy that alternates between short bursts of intense, maximum-effort exercise and brief recovery periods, designed to maximize calorie burn and improve cardiovascular fitness.", "modelIdentifier": "my_model" } ] } ``` # Uso de métricas para conocer el rendimiento del modelo Cuando ejecuta un trabajo de evaluación de modelos con un juez, el modelo evaluador que seleccione utiliza un conjunto de métricas para caracterizar el rendimiento de los sistemas de los modelos que se están evaluando. Amazon Bedrock ofrece una serie de métricas integradas entre las que puede elegir o puede definir las suyas propias. En la siguiente tabla se muestran las métricas integradas disponibles en Amazon Bedrock para los trabajos de evaluación que utilizan un LLM como juez. Para obtener más información sobre el uso de métricas personalizadas, consulte [Creación de una petición para una métrica personalizada](model-evaluation-custom-metrics-prompt-formats.md) y [Creación de un trabajo de evaluación del modelo mediante métricas personalizadas](model-evaluation-custom-metrics-create-job.md). | Métrica | Descripción | | --- | --- | | Corrección (Builtin.Correctness) | Mide si la respuesta del modelo a la petición es correcta. Tenga en cuenta que si proporciona una respuesta de referencia (verdad fundamental) como parte de su [conjunto de datos de peticiones](model-evaluation-prompt-datasets-judge.md), el modelo evaluador la tendrá en cuenta al puntuar la respuesta. | | Integridad (Builtin.Completeness) | Mide hasta qué punto la respuesta del modelo responde a todas las preguntas de la petición. Tenga en cuenta que si proporciona una respuesta de referencia (verdad fundamental) como parte de su [conjunto de datos de peticiones](model-evaluation-prompt-datasets-judge.md), el modelo evaluador la tendrá en cuenta al puntuar la respuesta. | | Fidelidad (Builtin.Faithfulness) | Identifica si la respuesta contiene información que no se encuentra en la petición para medir hasta qué punto se ajusta al contexto disponible. | | Utilidad (Builtin.Helpfulness) | Mide cómo de útil es la respuesta del modelo. La evaluación utiliza factores como si la respuesta sigue las instrucciones proporcionadas, si la respuesta es coherente y tiene sentido, y si la respuesta prevé las necesidades y expectativas implícitas. | | Coherencia lógica (Builtin.Coherence) | Mide la coherencia de la respuesta al identificar las lagunas, incoherencias y contradicciones lógicas en la respuesta de un modelo a una petición. | | Relevancia (Builtin.Relevance) | Mide la relevancia de la respuesta con respecto a la petición. | | Seguimiento de instrucciones (Builtin.FollowingInstructions) | Mide hasta qué punto la respuesta del modelo respeta las instrucciones exactas que se indican en la petición. | | Estilo y tono profesionales (Builtin.ProfessionalStyleAndTone) | Mide cómo de apropiados son el estilo, el formato y el tono de la respuesta para un entorno profesional. | | Nocividad (Builtin.Harmfulness) | Evalúa si la respuesta incluye contenido nocivo. | | Estereotipos (Builtin.Stereotyping) | Evalúa si el contenido de la respuesta contiene estereotipos de algún tipo (positivos o negativos). | | Rechazo (Builtin.Refusal) | Determina si la respuesta se niega directamente a responder a la petición o rechaza la solicitud proporcionando los motivos. | # Peticiones del evaluador de métricas integradas para trabajos de evaluación de modelo como juez Cuando se ejecuta un trabajo de evaluación del modelo basado en un juez, el *modelo evaluador* puntúa las respuestas del *modelo generador* de acuerdo con un conjunto de métricas que usted defina. Amazon Bedrock ofrece una serie de métricas integradas o puede definir sus propias [métricas personalizadas](model-evaluation-custom-metrics-prompt-formats.md). Consulte las siguientes secciones para ver las peticiones que utilizan los modelos evaluadores disponibles para las métricas integradas de Amazon Bedrock. **Topics** + [Amazon Nova Pro](model-evaluation-type-judge-prompt-nova.md) + [Anthropic Claude 3.5 Sonnet](model-evaluation-type-judge-prompt-claude-sonnet.md) + [Anthropic Claude 3.5 Sonnet v2](model-evaluation-type-judge-prompt-claude-sonnet35v2.md) + [Anthropic Claude 3.7 Sonnet](model-evaluation-type-judge-prompt-claude-sonnet37.md) + [Anthropic Claude 3 Haiku](model-evaluation-type-judge-prompt-haiku.md) + [Anthropic Claude 3.5 Haiku](model-evaluation-type-judge-prompt-haiku35.md) + [Meta Llama 3.1 70B Instruct](model-evaluation-type-judge-prompt-llama.md) + [Mistral Large](model-evaluation-type-judge-prompt-mistral.md) # Amazon Nova Pro Peticiones utilizadas con Amazon Nova Pro. ## Coherencia lógica *Coherencia lógica*: analiza lagunas, incoherencias y contradicciones lógicas en las respuestas de un modelo a una petición. Las respuestas se califican con una escala Likert de cinco puntos y, a continuación, se normalizan en la salida y en la tarjeta de informe del trabajo. `{{prompt}}` contendrá la petición enviada al generador desde su conjunto de datos y `{{prediction}}` son las respuestas del modelo generador. ``` You are a helpful agent that can assess LLM response according to the given rubrics. You are given a question and a response from LLM. Your task is to check if the arguments presented in the response follow logically from one another. When evaluating the logical cohesion of the response, consider the following rubrics: 1. Check for self-contradictions: - Does the response contradict its own previous statements? - If chat history is provided, does the response contradict statements from previous turns without explicitly correcting itself? 2. Identify any logic gaps or errors in reasoning: - Does the response draw false conclusions from the available information? - Does it make "logical leaps" by skipping steps in an argument? - Are there instances where you think, "this does not follow from that" or "these two things cannot be true at the same time"? 3. Evaluate the soundness of the reasoning, not the soundness of the claims: - If the question asks that a question be answered based on a particular set of assumptions, take those assumptions as the basis for argument, even if they are not true. - Evaluate the logical cohesion of the response as if the premises were true. 4. Distinguish between logical cohesion and correctness: - Logical cohesion focuses on how the response arrives at the answer, not whether the answer itself is correct. - A correct answer reached through flawed reasoning should still be penalized for logical cohesion. 5. Relevance of Logical Reasoning: - If the response doesn't require argumentation or inference-making, and simply presents facts without attempting to draw conclusions, it can be considered logically cohesive by default. - In such cases, automatically rate the logical cohesion as 'Yes', as there's no logic gaps. Please rate the logical cohesion of the response based on the following scale: - Not at all: The response contains too many errors of reasoning to be usable, such as contradicting itself, major gaps in reasoning, or failing to present any reasoning where it is required. - Not generally: The response contains a few instances of coherent reasoning, but errors reduce the quality and usability. - Neutral/Mixed: It's unclear whether the reasoning is correct or not, as different users may disagree. The output is neither particularly good nor particularly bad in terms of logical cohesion. - Generally yes: The response contains small issues with reasoning, but the main point is supported and reasonably well-argued. - Yes: There are no issues with logical cohesion at all. The output does not contradict itself, and all reasoning is sound. Here is the actual task: Question: {{prompt}} Response: {{prediction}} The output should be a well-formatted JSON instance that conforms to the JSON schema below. As an example, for the schema {"properties": {"foo": {"title": "Foo", "description": "a list of strings", "type": "array", "items": {"type": "string"}}}, "required": ["foo"]} the object {"foo": ["bar", "baz"]} is a well-formatted instance of the schema. The object {"properties": {"foo": ["bar", "baz"]}} is not well-formatted. Here is the output JSON schema: ``` {"properties": {"reasoning": {"description": "step by step reasoning to derive the final answer", "title": "Reasoning", "type": "string"}, "answer": {"description": "answer should be one of `Not at all`, `Not generally`, `Neutral/Mixed`, `Generally yes`, `Yes`", "enum": ["Not at all", "Not generally", "Neutral/Mixed", "Generally yes", "Yes"], "title": "Answer", "type": "string"}}, "required": ["reasoning", "answer"]} ``` Do not return any preamble or explanations, return only a pure JSON string surrounded by triple backticks (```). ``` ### Asignación de puntuaciones + **En absoluto**: `0.0` + **No, en general**: `1.0` + **Neutral/mixto**: `2.0` + **Sí, en general**: `3.0` + **Sí**: `4.0` ## Fidelidad *Fidelidad*: analiza si la respuesta contiene información que no se encuentra en la petición y que no se puede deducir fácilmente de la petición. Las respuestas se califican con una escala Likert de cinco puntos y, a continuación, se normalizan en la salida y en la tarjeta de informe del trabajo. `{{prompt}}` contendrá la petición enviada al generador desde su conjunto de datos y `{{prediction}}` son las respuestas del modelo generador. ``` You are given a task in some context (Input), and a candidate answer. Is the candidate answer faithful to the task description and context? If the model gives an evasive response without any information, the candidate answer is faithful by default. A response is unfaithful only when (1) it clearly contradicts the context, or (2) the task implies that the response must be based on the context, like in a summarization task. If the task does not ask to respond based on the context, the model is allowed to use its own knowledge to provide a response, even if its claims are not verifiable. Task: {{prompt}} Candidate Response: {{prediction}} Evaluate how much of the information in the answer is faithful to the available context. Label an evasive response as faithful. The output should be formatted as a XML file. 1. Output should conform to the tags below. 2. Remember to always open and close all the tags. 3. Do not invent new tags. As an example, for the tags ["foo", "bar", "baz"]: 1. String ""answerContent": {
"evaluationResults": {
"thumbsUpDown": [{
"metricName": "Relevance",
"modelResponseId": "0",
"result": false
}]
}
} | Una lista de objetos JSON que contienen las respuestas de los trabajadores en `answerContent`. |
| `humanLoopName` | Cadena | system-generated-hash | Un sistema generó una cadena hexadecimal de 40 caracteres. |
| inputRecord | Objeto JSON | "inputRecord": {
"prompt": "What does vitamin C serum do for skin?",
"category": "Skincare",
"referenceResponse": "Vitamin C serum offers a range of benefits for the skin. Firstly, it acts....
} | Un objeto JSON que contiene una petición de entrada del conjunto de datos de entrada. |
| modelResponses | Lista de objetos JSON | "modelResponses": [{
"modelIdentifier": "arn:aws:bedrock:us-west-2::foundation-model/model-id",
"response": "the-models-response-to-the-prompt"
}] | Las respuestas individuales de los modelos. |
| inputContent | Objeto | {
"additionalDataS3Uri":"s3://user-specified-S3-URI-path/datasets/dataset-name/records/record-number/human-loop-additional-data.json",
"evaluationMetrics":[
{
"description":"testing",
"metricName":"IndividualLikertScale",
"ratingMethod":"IndividualLikertScale"
}
],
"instructions":"example instructions"
} | Es el contenido de entrada de bucle humano necesario para iniciar un bucle humano en el bucket de S3. |
| modelResponseIdMap | Objeto | {
"0":"arn:aws:bedrock:us-west-2::foundation-model/model-id"
} | `humanAnswers.answerContent.evaluationResults` contiene `modelResponseId`. `modelResponseIdMap` conecta `modelResponseId` con el nombre del modelo. |
A continuación se muestra un ejemplo de datos de salida de un trabajo de evaluación de modelos.
```
{
"humanEvaluationResult": [{
"flowDefinitionArn": "arn:aws:sagemaker:us-west-2:111122223333:flow-definition/flow-definition-name",
"humanAnswers": [{
"acceptanceTime": "2023-11-09T19:17:43.107Z",
"answerContent": {
"evaluationResults": {
"thumbsUpDown": [{
"metricName": "Coherence",
"modelResponseId": "0",
"result": false
}, {
"metricName": "Accuracy",
"modelResponseId": "0",
"result": true
}],
"individualLikertScale": [{
"metricName": "Toxicity",
"modelResponseId": "0",
"result": 1
}]
}
},
"submissionTime": "2023-11-09T19:17:52.101Z",
"timeSpentInSeconds": 8.994,
"workerId": "444455556666",
"workerMetadata": {
"identityData": {
"identityProviderType": "Cognito",
"issuer": "https://cognito-idp.Región de AWS.amazonaws.com/Región de AWS_111222",
"sub": "c6aa8eb7-9944-42e9-a6b9-"
}
}
}],
...Additional response have been truncated for clarity...
}],
"humanLoopName": "b3b1c64a2166e001e094123456789012",
"inputContent":{
"additionalDataS3Uri":"s3://user-specified-S3-output-path/datasets/dataset-name/records/record-number/human-loop-additional-data.json",
"evaluationMetrics":[
{
"description":"testing",
"metricName":"IndividualLikertScale",
"ratingMethod":"IndividualLikertScale"
}
],
"instructions":"some dummy instructions"
},
"modelResponseIdMap":{
"0":"arn:aws:bedrock:Región de AWS::foundation-model/model-id"
}
},
"inputRecord": {
"category": "Fitness",
"prompt": "Human: What is High-Intensity Interval Training ? \\n\\nAssistant:",
"referenceResponse": "High-Intensity Interval Training (HIIT) is a cardiovascular exercise approach that involves short, intense bursts of exercise followed by brief recovery or rest periods. In HIIT, you perform exercises at near-maximum effort during the high-intensity intervals, which can include activities like sprinting, cycling, jumping, or body weight exercises such as burpees or push-ups. These intense intervals are interspersed with short recovery periods to lower your heart rate before the next high-intensity bout. HIIT workouts usually consist of multiple cycles of these intervals, and the number of cycles and the length of intervals can vary. HIIT is known for its time efficiency, making it an excellent choice for those with busy schedules. It offers both aerobic and anaerobic benefits, improving cardiovascular fitness, burning calories, and promoting fat loss, all while boosting metabolism for continued calorie burning post-workout."
},
"modelResponses": [{
"modelIdentifier": "arn:aws:bedrock:Región de AWS::foundation-model/model-id",
"response": " High-intensity interval training (HIIT) is a form of exercise that involves short bursts of intense activity alternated with recovery periods. Here are some key features of HIIT:\n\n- Alternates short periods of intense anaerobic exercise with less intense recovery periods. The high-intensity periods are typically done at 80-95% of maximum heart rate.\n\n- The duration of the intense periods can range from 5 seconds to 8 minutes, but typically are in the range of 30 seconds to 4 minutes.\n\n- The total HIIT session typically lasts between 10-30 minutes, including warm-up, recovery periods, and cool down. \n\n- Uses exercises like sprints, cycling, rowing, jumping rope, stair climbing, swimming, etc. Movements that get your heart rate up quickly.\n\n- The short, intense intervals help improve cardiovascular fitness by increasing heart rate and oxygen consumption.\n\n- HIIT burns more calories and fat than steady-state cardio in a shorter time period. It also helps build muscle strength and endurance.\n\n- Considered an efficient and effective form of exercise for fat loss and improving aerobic power. But it requires motivation to push yourself during the intense intervals.\n\n- Not suitable for beginners due to the high-intensity. Start with steady-state cardio and build up endurance before trying HIIT.\n\nIn summary, HIIT intersperses intense bursts of"
}]
}
}
```
En la siguiente tabla se explica cómo el **Método de clasificación** que haya seleccionado para cada métrica de la consola de Amazon Bedrock se devuelve a su bucket de Amazon S3. La primera clave secundaria que aparece debajo de `evaluationResults` es cómo se devuelve el **Método de clasificación**.
**Cómo se guardan en Amazon S3 los métodos de clasificación seleccionados en la consola de Amazon Bedrock**
| Método de clasificación seleccionado | Guardado en Amazon S3 |
| --- | --- |
| Escala Likert: individual | IndividualLikertScale |
| Escala Likert: comparación | ComparisonLikertScale |
| Botones de selección | ComparisonChoice |
| Rango ordinal | ComparisonRank |
| Pulgares arriba/abajo | ThumbsUpDown |
# Administración y cifrado de datos en un trabajo de evaluación de Amazon Bedrock
Durante el trabajo de evaluación del modelo, Amazon Bedrock hace una copia temporal de sus datos y la almacena en un bucket de Amazon S3 AWS de su propiedad. Amazon Bedrock elimina los datos una vez finalizado el trabajo. Amazon Bedrock cifra estos datos mediante una AWS KMS clave. Puedes elegir especificar tu propia AWS KMS clave o usar una clave propiedad de Amazon Bedrock para cifrar los datos.
Al crear un trabajo de evaluación de modelos mediante el AWS SDK o uno compatible Consola de administración de AWS AWS CLI, puede optar por utilizar una clave de KMS propiedad de Amazon Bedrock o su propia clave gestionada por el cliente. Si no se especifica ninguna clave administrada por el cliente, se utiliza una clave propiedad de Amazon Bedrock de forma predeterminada.
Para utilizar una clave administrada por el cliente, debe añadir las acciones y los recursos de IAM necesarios a la política de roles de servicio de IAM. También debe añadir los elementos AWS KMS clave de la política necesarios.
**Topics**
+ [Elementos de política clave necesarios para cifrar su trabajo de evaluación de modelos mediante AWS KMS](model-evaluation-security-kms.md)
+ [AWS Key Management Service apoyo en trabajos de evaluación de modelos](model-evaluation-security-data.md)
+ [Cifrado de datos para trabajos de evaluación de bases de conocimiento](rag-evaluation-security-data.md)
# Elementos de política clave necesarios para cifrar su trabajo de evaluación de modelos mediante AWS KMS
Cada AWS KMS clave debe tener exactamente una política de claves. Las declaraciones de la política clave determinan quién tiene permiso para usar la AWS KMS clave y cómo puede usarla. También puede utilizar las políticas y las concesiones de IAM para controlar el acceso a la AWS KMS clave, pero cada AWS KMS clave debe tener una política clave.
**Elementos de política AWS KMS clave necesarios en Amazon Bedrock**
+ `kms:Decrypt`: para los archivos que haya cifrado con su clave de AWS Key Management Service , proporciona a Amazon Bedrock permisos para acceder a dichos archivos y descifrarlos.
+ `kms:GenerateDataKey`: controla el permiso para usar la clave de AWS Key Management Service para generar claves de datos. Amazon Bedrock utiliza `GenerateDataKey` para cifrar los datos temporales que almacena para el trabajo de evaluación.
+ `kms:DescribeKey`: ofrece información detallada sobre una clave de KMS
Debe añadir la siguiente declaración a su política AWS KMS clave actual. Proporciona a Amazon Bedrock permisos para almacenar temporalmente sus datos en un bucket de servicio de Amazon Bedrock utilizando la AWS KMS que haya especificado.
```
{
"Effect": "Allow",
"Principal": {
"Service": "bedrock.amazonaws.com"
},
"Action": [
"kms:GenerateDataKey",
"kms:Decrypt",
"kms:DescribeKey"
],
"Resource": "*",
"Condition": {
"StringLike": {
"kms:EncryptionContext:evaluationJobArn": "arn:aws:bedrock:{{region}}:{{accountId}}:evaluation-job/*",
"aws:SourceArn": "arn:aws:bedrock:{{region}}:{{accountId}}:evaluation-job/*"
}
}
}
```
El siguiente es un ejemplo de una AWS KMS política completa.
------
#### [ JSON ]
****
```
{
"Version":"2012-10-17",
"Id": "key-consolepolicy-3",
"Statement": [
{
"Sid": "EnableIAMUserPermissions",
"Effect": "Allow",
"Principal": {
"AWS": "arn:aws:iam::111122223333:root"
},
"Action": "kms:*",
"Resource": "*"
},
{
"Sid": "BedrockDataKeyAndDecrypt",
"Effect": "Allow",
"Principal": {
"Service": "bedrock.amazonaws.com"
},
"Action": [
"kms:GenerateDataKey",
"kms:Decrypt"
],
"Resource": "*",
"Condition": {
"ArnLike": {
"kms:EncryptionContext:evaluationJobArn": "arn:aws:bedrock:us-east-1:123456789012:evaluation-job/*",
"aws:SourceArn": "arn:aws:bedrock:us-east-1:123456789012:evaluation-job/*"
}
}
},
{
"Sid": "BedrockDescribeKey",
"Effect": "Allow",
"Principal": {
"Service": "bedrock.amazonaws.com"
},
"Action": "kms:DescribeKey",
"Resource": "*",
"Condition": {
"ArnLike": {
"aws:SourceArn": "arn:aws:bedrock:us-east-1:123456789012:evaluation-job/*"
}
}
}
]
}
```
------
## Configurar los permisos de KMS para los roles que llaman a la CreateEvaluationJob API
Asegúrese de tener DescribeKey y descifrar los permisos para el rol utilizado para crear el trabajo de evaluación en la clave de KMS que utiliza en el trabajo de evaluación. GenerateDataKey
Ejemplo de política de claves de KMS
```
{
"Statement": [
{
"Effect": "Allow",
"Principal": {
"AWS": "arn:aws:iam::account-id:role/APICallingRole"
},
"Action": [
"kms:Decrypt",
"kms:GenerateDataKey",
"kmsDescribeKey"
],
"Resource": "*"
}
]
}
```
Ejemplo de política de IAM para la API de llamadas de roles CreateEvaluationJob
------
#### [ JSON ]
****
```
{
"Version":"2012-10-17",
"Statement": [
{
"Sid": "CustomKMSKeyProvidedToBedrockEncryption",
"Effect": "Allow",
"Action": [
"kms:GenerateDataKey",
"kms:Decrypt",
"kms:DescribeKey"
],
"Resource": [
"arn:aws:kms:us-east-1:123456789012:key/keyYouUse"
]
}
]
}
```
------
# AWS Key Management Service apoyo en trabajos de evaluación de modelos
Amazon Bedrock utiliza el siguiente IAM y AWS KMS los siguientes permisos para usar su AWS KMS clave para descifrar los archivos y acceder a ellos. Guarda esos archivos en una ubicación interna de Amazon S3 administrada por Amazon Bedrock y utiliza los siguientes permisos para cifrarlos.
## Requisitos de las políticas de IAM
La política de IAM asociada al rol de IAM que utilice para realizar solicitudes a Amazon Bedrock debe incluir los siguientes elementos. Para obtener más información sobre la administración de las claves de AWS KMS , consulte [Using IAM policies with AWS Key Management Service](https://docs.aws.amazon.com/kms/latest/developerguide/iam-policies.html).
Los trabajos de evaluación de modelos en Amazon Bedrock utilizan claves AWS propias. Estas claves de KMS son propiedad de Amazon Bedrock. Para obtener más información sobre las claves AWS propias, consulte [las claves AWS propias](https://docs.aws.amazon.com/kms/latest/developerguide/concepts.html#aws-owned-cmk) en la *Guía para AWS Key Management Service desarrolladores*.
**Elementos obligatorios de la política de IAM**
+ `kms:Decrypt`— En el caso de los archivos que haya cifrado con su AWS Key Management Service clave, proporciona a Amazon Bedrock permisos para acceder a esos archivos y descifrarlos.
+ `kms:GenerateDataKey`: controla el permiso para usar la clave de AWS Key Management Service para generar claves de datos. Amazon Bedrock utiliza `GenerateDataKey` para cifrar los datos temporales que almacena para el trabajo de evaluación.
+ `kms:DescribeKey`: ofrece información detallada sobre una clave de KMS
+ `kms:ViaService`— La clave condicional limita el uso de una clave KMS a las solicitudes de servicios específicos AWS . Debe especificar Amazon S3 como servicio porque Amazon Bedrock almacena una copia temporal de sus datos en una ubicación de Amazon S3 de la que es propietario.
El siguiente es un ejemplo de política de IAM que solo contiene las acciones y recursos de AWS KMS IAM obligatorios.
------
#### [ JSON ]
****
```
{
"Version":"2012-10-17",
"Statement": [
{
"Sid": "CustomKMSKeyProvidedToBedrock",
"Effect": "Allow",
"Action": [
"kms:Decrypt",
"kms:GenerateDataKey"
],
"Resource": [
"arn:aws:kms:us-east-1:123456789012:key/[[keyId]]"
]
},
{
"Sid": "CustomKMSDescribeKeyProvidedToBedrock",
"Effect": "Allow",
"Action": [
"kms:DescribeKey"
],
"Resource": [
"arn:aws:kms:us-east-1:123456789012:key/[[keyId]]"
]
}
]
}
```
------
### Configurar los permisos de KMS para los roles que llaman a la CreateEvaluationJob API
Asegúrese de tener DescribeKey y descifrar los permisos para el rol utilizado para crear el trabajo de evaluación en la clave de KMS que utiliza en el trabajo de evaluación. GenerateDataKey
Ejemplo de política de claves de KMS
```
{
"Statement": [
{
"Effect": "Allow",
"Principal": {
"AWS": "arn:aws:iam::account-id:role/APICallingRole"
},
"Action": [
"kms:Decrypt",
"kms:GenerateDataKey",
"kmsDescribeKey"
],
"Resource": "*"
}
]
}
```
Ejemplo de política de IAM para la API de llamadas de roles CreateEvaluationJob
------
#### [ JSON ]
****
```
{
"Version":"2012-10-17",
"Statement": [
{
"Sid": "CustomKMSKeyProvidedToBedrockEncryption",
"Effect": "Allow",
"Action": [
"kms:GenerateDataKey",
"kms:Decrypt",
"kms:DescribeKey"
],
"Resource": [
"arn:aws:kms:us-east-1:123456789012:key/keyYouUse"
]
}
]
}
```
------
# Cifrado de datos para trabajos de evaluación de bases de conocimiento
Durante un trabajo de evaluación de la base de conocimiento, Amazon Bedrock hace una copia temporal de los datos. Amazon Bedrock elimina los datos una vez finalizado el trabajo. Para cifrar los datos, Amazon Bedrock utiliza una clave de KMS. Utiliza una clave de KMS que usted especifique o una clave que sea propiedad de Amazon Bedrock.
Amazon Bedrock requiere el IAM y AWS KMS los permisos en las siguientes secciones para poder usar su clave de KMS para hacer lo siguiente:
+ Descifrar sus datos
+ Cifrar la copia temporal que hace Amazon Bedrock
Al crear un trabajo de evaluación de la base de conocimiento, puede optar por utilizar una clave de KMS propiedad de Amazon Bedrock o puede elegir su propia clave administrada por el cliente. Si no especifica una clave administrada por el cliente, Amazon Bedrock utiliza su clave de forma predeterminada.
Para poder utilizar una clave administrada por el cliente, debe hacer lo siguiente:
+ Añada las acciones y los recursos de IAM necesarios a la política de roles de servicio de IAM.
+ Añada los elementos de la política de claves de KMS que sean necesarios.
+ Cree una política que pueda interactuar con la clave administrada por el cliente. Esto se especifica en una política de claves de KMS independiente.
## Elementos obligatorios de la política
Las políticas de claves de IAM y KMS de las siguientes secciones incluyen los siguientes elementos obligatorios:
+ `kms:Decrypt`: para los archivos que haya cifrado con su clave de KMS, proporciona a Amazon Bedrock permisos para acceder a dichos archivos y descifrarlos.
+ `kms:GenerateDataKey`: controla el permiso para usar la clave de KMS para generar claves de datos. Amazon Bedrock utiliza `GenerateDataKey` para cifrar los datos temporales que almacena para el trabajo de evaluación.
+ `kms:DescribeKey`: ofrece información detallada sobre una clave de KMS.
+ `kms:ViaService`— La clave de condición limita el uso de una clave de KMS para realizar solicitudes a servicios específicos AWS . Debe especificar los siguientes servicios:
+ Amazon S3, porque Amazon Bedrock almacena una copia temporal de sus datos en una ubicación de Amazon S3 de la que es propietario.
+ Amazon Bedrock, porque el servicio de evaluación llama a la API de Bases de conocimiento de Amazon Bedrock para ejecutar el flujo de trabajo de la base de conocimiento.
+ `kms:EncryptionContext:context-key`— Esta clave de condición limita el acceso a AWS KMS las operaciones para que sean específicas únicamente del [contexto de cifrado](https://docs.aws.amazon.com/kms/latest/developerguide/encrypt_context.html) proporcionado.
## Requisitos de la política de IAM
En el rol de IAM que utilice con Amazon Bedrock, la política de IAM asociada debe incluir los siguientes elementos. Para obtener más información sobre la administración de AWS KMS las claves, consulte [Uso de las políticas de IAM con AWS KMS](https://docs.aws.amazon.com/kms/latest/developerguide/iam-policies.html).
Los trabajos de evaluación de la base de conocimientos en Amazon Bedrock utilizan claves AWS propias. Para obtener más información sobre las claves AWS propias, consulte [las claves AWS propias](https://docs.aws.amazon.com/kms/latest/developerguide/concepts.html#aws-owned-cmk) en la *Guía para AWS Key Management Service desarrolladores*.
El siguiente es un ejemplo de política de IAM que solo contiene las acciones y recursos de AWS KMS obligatorios:
------
#### [ JSON ]
****
```
{
"Version":"2012-10-17",
"Statement": [
{
"Sid": "CustomKMSKeyProvidedToBedrockEncryption",
"Effect": "Allow",
"Action": [
"kms:GenerateDataKey",
"kms:Decrypt"
],
"Resource": [
"arn:aws:kms:us-east-1:123456789012:key/*"
],
"Condition": {
"StringEquals": {
"kms:ViaService": [
"s3.us-east-1.amazonaws.com"
]
}
}
},
{
"Sid": "CustomKMSKeyProvidedToBedrockEvalKMS",
"Effect": "Allow",
"Action": [
"kms:Decrypt",
"kms:GenerateDataKey"
],
"Resource": [
"arn:aws:kms:us-east-1:123456789012:key/*"
],
"Condition": {
"StringLike": {
"kms:EncryptionContext:evaluationJobArn": "arn:aws:bedrock:us-east-1:123456789012:evaluation-job/*"
}
}
},
{
"Sid": "CustomKMSKeyProvidedToBedrockKBDecryption",
"Effect": "Allow",
"Action": [
"kms:Decrypt"
],
"Resource": [
"arn:aws:kms:us-east-1:123456789012:key/*"
],
"Condition": {
"StringLike": {
"kms:EncryptionContext:knowledgeBaseArn": "arn:aws:bedrock:us-east-1:123456789012:knowledge-base/*"
}
}
},
{
"Sid": "CustomKMSKeyProvidedToBedrockKBEncryption",
"Effect": "Allow",
"Action": [
"kms:GenerateDataKey"
],
"Resource": [
"arn:aws:kms:us-east-1:123456789012:key/*"
],
"Condition": {
"StringLike": {
"kms:EncryptionContext:knowledgeBaseArn": "arn:aws:bedrock:us-east-1:123456789012:knowledge-base/*"
},
"StringEquals": {
"kms:ViaService": [
"bedrock.us-east-1.amazonaws.com"
]
}
}
},
{
"Sid": "CustomKMSKeyProvidedToBedrockKBGenerateDataKey",
"Effect": "Allow",
"Action": [
"kms:GenerateDataKey"
],
"Resource": [
"arn:aws:kms:us-east-1:123456789012:key/*"
],
"Condition": {
"StringLike": {
"kms:EncryptionContext:CustomerAwsAccountId": "123456789012",
"kms:EncryptionContext:SessionId": "*"
},
"StringEquals": {
"kms:ViaService": [
"bedrock.us-east-1.amazonaws.com"
]
}
}
},
{
"Sid": "CustomKMSDescribeKeyProvidedToBedrock",
"Effect": "Allow",
"Action": [
"kms:DescribeKey"
],
"Resource": [
"arn:aws:kms:us-east-1:123456789012:key/*"
]
}
]
}
```
------
## AWS KMS requisitos clave de la política
Cada clave de KMS debe tener una sola política de claves. Las instrucciones de políticas de claves determinan quién tiene permiso para usar la clave KMS y cómo debe usar dicho permiso. También puede utilizar políticas de IAM y concesiones para controlar el acceso a las claves de KMS, pero cada clave de KMS debe tener una política de claves.
Debe añadir la siguiente instrucción a la política de claves de KMS existente. Proporciona a Amazon Bedrock permisos para almacenar temporalmente sus datos en un bucket de S3 utilizando la clave de KMS que haya especificado.
### Configurar los permisos de KMS para los roles que llaman a la CreateEvaluationJob API
Asegúrese de tener DescribeKey y descifrar los permisos para el rol utilizado para crear el trabajo de evaluación en la clave de KMS que utiliza en el trabajo de evaluación. GenerateDataKey
Ejemplo de política de claves de KMS
```
{
"Statement": [
{
"Effect": "Allow",
"Principal": {
"AWS": "arn:aws:iam::account-id:role/APICallingRole"
},
"Action": [
"kms:Decrypt",
"kms:GenerateDataKey",
"kmsDescribeKey"
],
"Resource": "*"
}
]
}
```
Ejemplo de política de IAM para la API de llamadas de roles CreateEvaluationJob
------
#### [ JSON ]
****
```
{
"Version":"2012-10-17",
"Statement": [
{
"Sid": "CustomKMSKeyProvidedToBedrockEncryption",
"Effect": "Allow",
"Action": [
"kms:GenerateDataKey",
"kms:Decrypt",
"kms:DescribeKey"
],
"Resource": [
"arn:aws:kms:us-east-1:123456789012:key/keyYouUse"
]
}
]
}
```
------
# CloudTrail eventos de gestión en trabajos de evaluación de modelos
Los [eventos de administración](https://docs.aws.amazon.com/awscloudtrail/latest/userguide/logging-management-events-with-cloudtrail.html#logging-management-events) proporcionan información sobre las operaciones de recursos realizadas en o dentro de un recurso (por ejemplo, leer o escribir en un objeto de Amazon S3). Se denominan también operaciones del plano de datos. Los eventos de datos suelen ser actividades de gran volumen que CloudTrail no se registran de forma predeterminada.
Los trabajos de evaluación de modelos registran eventos para varios servicios AWS
**CloudTrail eventos de datos por AWS servicio en trabajos de evaluación de modelos**
+ **Amazon Bedrock**: eventos de datos para todas las inferencias de modelos que se ejecutan durante el trabajo de evaluación del modelo.
+ **Amazon SageMaker AI**: eventos de datos para todos los trabajos de evaluación de modelos basados en humanos.
+ **Amazon S3**: eventos de datos para leer y escribir datos en el bucket de Amazon S3 especificado cuando se creó el trabajo de evaluación del modelo.
+ **AWS Key Management Service**: Eventos de datos relacionados con el uso de AWS KMS claves gestionadas por el cliente.