Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

# Resolver errores al crear un trabajo de evaluación de modelos en Amazon SageMaker AI
Resolución de problemas

**importante**  
Para poder utilizar SageMaker Clarify Foundation Model Evaluations (FMEval), debes actualizarte a la nueva experiencia de Studio.   
A partir del 30 de noviembre de 2023, la experiencia anterior de Amazon SageMaker Studio pasa a denominarse Amazon SageMaker Studio Classic. FMEval no está disponible en Amazon SageMaker Studio Classic.   
Para obtener más información sobre cómo actualizarse a la nueva experiencia de Studio, consulte [Migración desde Amazon SageMaker Studio Classic](studio-updated-migrate.md). Para obtener más información sobre el uso de la aplicación de Studio Classic, consulte [Amazon SageMaker Studio Clásico](studio.md).

Si se produce un error al crear un trabajo de evaluación del modelo, utilice la siguiente lista para solucionar los problemas de la evaluación. Si necesitas más ayuda, ponte en contacto con [Soporte](https://console.aws.amazon.com/support/)nuestros [foros de AWS desarrolladores de Amazon SageMaker AI](https://forums.aws.amazon.com/forum.jspa?forumID=285).

**Temas**
+ [Error al cargar los datos desde un bucket de Amazon S3](#clarify-foundation-model-evaluate-troubleshooting-cors)
+ [No se ha podido completar el trabajo de procesamiento](#clarify-foundation-model-evaluate-troubleshooting-failure)
+ [No puedes encontrar las evaluaciones de los modelos básicos en la consola de SageMaker IA](#clarify-foundation-model-evaluate-troubleshooting-upgrade)
+ [Su modelo no admite el estereotipado de peticiones](#clarify-foundation-model-evaluate-troubleshooting-ps)
+ [Errores de validación del conjunto de datos (humanos)](#clarify-foundation-model-evaluate-troubleshooting-valid)

## Error al cargar los datos desde un bucket de Amazon S3


Al crear una evaluación del modelo fundacional, debe establecer los permisos correctos para el bucket de S3 en el que desea almacenar la entrada y la salida del modelo. Si los permisos para compartir recursos entre orígenes (CORS) no están configurados correctamente, SageMaker AI genera el siguiente error:

Error: no se pudo colocar el objeto en s3: se produjo un error al cargar el objeto en S3 Error: no se pudo colocar el objeto en S3: NetworkError al intentar recuperar un recurso.

Para configurar los permisos de bucket correctos, siga las instrucciones de **Configure su entorno** en [Creación de un trabajo de evaluación del modelo automática en Studio](clarify-foundation-model-evaluate-auto-ui.md).

## No se ha podido completar el trabajo de procesamiento


Los motivos más comunes por los que el trabajo de procesamiento no se pudo completar son los siguientes:
+ [Cuota insuficiente](#clarify-foundation-model-evaluate-troubleshooting-failure-quota)
+ [Memoria insuficiente](#clarify-foundation-model-evaluate-troubleshooting-failure-memory)
+ [No ha pasado la comprobación de ping](#clarify-foundation-model-evaluate-troubleshooting-failure-ping)

Consulte las siguientes secciones para ayudarle a mitigar cada problema.

### Cuota insuficiente


Cuando realizas una evaluación de un modelo básico para un modelo no implementado, SageMaker Clarify implementa tu JumpStart modelo de lenguaje de gran tamaño (LLM) en un punto final de IA de tu cuenta. SageMaker Si su cuenta no tiene una cuota suficiente para ejecutar el JumpStart modelo seleccionado, el trabajo fallará con un. `ClientError` Para aumentar su cuota, siga estos pasos:

**Solicita un aumento AWS de Service Quotas**

1. Recupere el nombre de la instancia, la cuota actual y la cuota necesaria del mensaje de error que aparece en pantalla. Por ejemplo, en el siguiente error:
   + El nombre de instancia es `ml.g5.12xlarge`.
   + La cuota actual del número que sigue a `current utilization` es `0 instances`
   + La cuota adicional requerida del número que sigue a `request delta` es `1 instances`.

   Este es el ejemplo de error:

    `ClientError: An error occurred (ResourceLimitExceeded) when calling the CreateEndpoint operation: The account-level service limit 'ml.g5.12xlarge for endpoint usage' is 0 Instances, with current utilization of 0 Instances and a request delta of 1 Instances. Please use AWS Service Quotas to request an increase for this quota. If AWS Service Quotas is not available, contact AWS support to request an increase for this quota`

1. Inicie sesión en la [consola Service Quotas Consola de administración de AWS y ábrala](https://console.aws.amazon.com/servicequotas/home).

1. En el panel de navegación, en **Administrar las cuotas**, introduzca **Amazon SageMaker AI**.

1. Elija **Visualización de las cuotas**.

1. En la barra de búsqueda, debajo de **Cuotas de servicio**, introduzca el nombre de la instancia del paso 1. Por ejemplo, si utilizamos la información incluida en el mensaje de error del paso 1, introduzca **ml.g5.12xlarge**.

1. Elija el **Nombre de la cuota** que aparece junto al nombre de la instancia y termina con **para el uso de puntos de conexión**. Por ejemplo, con la información incluida en el mensaje de error del paso 1, elija **ml.g5.12xlarge para el uso de puntos de conexión**.

1. Elija **Solicitud de aumento a nivel de cuenta**.

1. En **Aumentar el valor de cuota**, introduzca la cuota requerida necesaria a partir de la información que aparece en el mensaje de error del paso 1. Introduzca el **total** de `current utilization` y `request delta`. En el ejemplo de error anterior, la `current utilization` es `0 Instances` y `request delta` es `1 Instances`. En este ejemplo, solicite una cuota de `1` para suministrar la cuota requerida.

1. Seleccione **Solicitar**.

1. Seleccione **Historial de solicitudes de cuotas** en el panel de navegación.

1. Cuando **Estado** cambie de **Pendiente** a **Aprobado**, vuelva a ejecutar el trabajo. Puede que necesite actualizar el navegador para ver el cambio.

Para obtener más información sobre cómo solicitar un aumento de la cuota, consulte [Solicitud de aumento de cuota](https://docs.aws.amazon.com/servicequotas/latest/userguide/request-quota-increase.html).

### Memoria insuficiente


Si inicia una evaluación del modelo fundacional en una instancia de Amazon EC2 que no tiene memoria suficiente para ejecutar un algoritmo de evaluación, el trabajo falla y muestra el siguiente error:

 `The actor is dead because its worker process has died. Worker exit type: SYSTEM_ERROR Worker exit detail: Worker unexpectedly exits with a connection error code 2. End of file. There are some potential root causes. (1) The process is killed by SIGKILL by OOM killer due to high memory usage. (2) ray stop --force is called. (3) The worker is crashed unexpectedly due to SIGSEGV or other unexpected errors. The actor never ran - it was cancelled before it started running.`

Para aumentar la memoria disponible para el trabajo de evaluación, cambie la instancia por una que tenga más memoria. Si utiliza la interfaz de usuario, puede elegir un tipo de instancia en **Configuración del procesador** en el **paso 2**. Si ejecutas tu trabajo desde la consola de SageMaker IA, abre un nuevo espacio con una instancia con mayor capacidad de memoria.

Para obtener una lista de instancias de Amazon EC2, consulte [Tipos de instancias](https://docs.aws.amazon.com/AWSEC2/latest/UserGuide/instance-types.html#AvailableInstanceTypes).

Para obtener más información sobre las instancias con mayor capacidad de memoria, consulte [Instancias optimizadas para memoria](https://docs.aws.amazon.com/AWSEC2/latest/UserGuide/memory-optimized-instances.html).

### No ha pasado la comprobación de ping


En algunos casos, tu trabajo de evaluación del modelo básico fallará porque no pasó una comprobación de ping cuando la SageMaker IA estaba desplegando tu terminal. Si no pasa la prueba de ping, aparece el siguiente error:

`ClientError: Error hosting endpoint your_endpoint_name: Failed. Reason: The primary container for production variant AllTraffic did not pass the ping health check. Please check CloudWatch logs for this endpoint..., Job exited for model: your_model_name of model_type: your_model_type `

Si su trabajo genera este error, espere unos minutos y vuelva a ejecutar el trabajo. Si el error persiste, ponte en contacto con [AWS Support](https://console.aws.amazon.com/support/) o con [los foros de AWS desarrolladores de Amazon SageMaker AI](https://forums.aws.amazon.com/forum.jspa?forumID=285).

## No puedes encontrar las evaluaciones de los modelos básicos en la consola de SageMaker IA


Para poder utilizar SageMaker Clarify Foundation Model Evaluations, debes actualizarte a la nueva experiencia de Studio. A partir del 30 de noviembre de 2023, la experiencia anterior de Amazon SageMaker Studio pasa a denominarse Amazon SageMaker Studio Classic. La característica de evaluación fundacional solo se puede utilizar en la experiencia actualizada. Para obtener más información sobre cómo actualizar Studio, consulte [Migración desde Amazon SageMaker Studio Classic](studio-updated-migrate.md).

## Su modelo no admite el estereotipado de peticiones


Solo algunos JumpStart modelos admiten la creación rápida de estereotipos. Si selecciona un JumpStart modelo que no es compatible, aparece el siguiente error:

`{"evaluationMetrics":"This model does not support Prompt stereotyping evaluation. Please remove that evaluation metric or select another model that supports it."}`

Si recibe este error, no podrá utilizar el modelo seleccionado en una evaluación básica. SageMaker Clarify está trabajando actualmente en la actualización de todos los JumpStart modelos para facilitar las tareas de creación de estereotipos, de modo que puedan utilizarse en la evaluación de un modelo básico.

## Errores de validación del conjunto de datos (humanos)


El conjunto de datos de peticiones personalizadas de un trabajo de evaluación del modelo en el que participen trabajadores humanos debe formatearse con el formato JSON Lines mediante la extensión `.jsonl`.

Al iniciar un trabajo, cada objeto JSON del conjunto de datos de peticiones se valida de forma interdependiente. Si uno de los objetos JSON no es válido, aparece el siguiente error.

```
Customer Error: Your input dataset could not be validated. Your dataset can have up to 1000 prompts. The dataset must be a valid jsonl file, and each prompt valid json object.To learn more about troubleshooting dataset validations errors, see Troubleshooting guide. Job executed for models: meta-textgeneration-llama-2-7b-f, pytorch-textgeneration1-alexa20b.
```

 Para que un conjunto de datos de peticiones personalizado supere todas las validaciones, debe *cumplirse* lo siguiente para todos los objetos JSON del archivo JSON Lines.
+ Cada línea del archivo del conjunto de datos de peticiones debe ser un objeto JSON válido.
+ Los caracteres especiales, como las comillas (`"`), deben escaparse correctamente. Por ejemplo, si la petición fuera `"Claire said to the crowd, "Bananas are the best!""`, las comillas deberían escaparse con `\`, `"Claire said to the crowd, \"Bananas are the best!\""`.
+ Un objeto JSON válido debe contener al menos el par clave-valor `prompt`. 
+ Un archivo de conjunto de datos de peticiones no puede contener más de 1000 objetos JSON en un único archivo.
+ Si especifica la clave `responses` en *cualquier* objeto JSON, esta debe estar presente en *todos* los objetos JSON.
+ El número máximo de objetos de la clave `responses` es 1. Si desea comparar las respuestas de varios modelos, cada uno de ellos requiere un conjunto de datos BYOI independiente.
+ Si especifica la clave `responses` en *cualquier* objeto JSON, también debe contener las claves `modelIdentifier` y `text` de *todos* los objetos `responses`.