Requisitos previos para la destilación modelo - Amazon Bedrock

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Requisitos previos para la destilación modelo

Antes de comenzar, asegúrese de que entiende cómo funcionan los controles de acceso y seguridad de Destilación de modelos. También debe elegir un modelo de profesor y alumno para su trabajo de destilación.

Permisos

Antes de comenzar, asegúrese de que entiende cómo funcionan los controles de acceso y seguridad de Destilación de modelos. Debe tener un rol de servicio de IAM que pueda acceder al bucket de Amazon S3 donde desea almacenar sus datos de entrenamiento y validación de Destilación de modelos. Amazon Bedrock también tiene opciones para cifrar y proteger aún más sus trabajos y artefactos de destilación. Para obtener más información, consulte Personalización, acceso y seguridad de los modelos.

Para utilizar un perfil de inferencia interregional para un modelo de profesor en un trabajo de destilación, su rol de servicio debe tener permisos para invocar el perfil de inferencia en un perfil de inferencia Región de AWS, además del modelo de cada región del perfil de inferencia. Para ver una política de ejemplo, consulte (Opcional) Permisos para crear un trabajo de destilación con un perfil de inferencia entre regiones. Para obtener más información sobre la inferencia entre regiones, consulte Aumento del rendimiento con la inferencia entre regiones.

Selección de los modelos instructor y aprendiz para la destilación

Tipo de modelo Criterios de selección Consideraciones clave Requisitos
Modelo docente Elija un modelo instructor que sea mucho más grande e inteligente que el modelo aprendiz y con la precisión que desee lograr para su caso de uso. Para que la destilación sea más eficaz, elija un modelo que ya esté entrenado en tareas similares a las de su caso de uso. Para algunos modelos de profesores, puede elegir un perfil de inferencia entre regiones. Debe tener permisos para invocar perfiles y modelos de inferencia en cada región. Consulte la documentación sobre inferencias entre regiones para ver ejemplos de políticas.
Modelo estudiantil Elija un modelo aprendiz que sea mucho más pequeño que el modelo instructor. El modelo de estudiante debe ser uno de los modelos de estudiantes emparejados con el modelo de profesor en la tabla de modelos compatibles. Debe ser compatible con el modelo de profesor seleccionado, como se muestra en la siguiente tabla.

En la siguiente sección se muestran los modelos y regiones compatibles con Destilación de modelos de Amazon Bedrock. Tras elegir los modelos instructor y aprendiz, debe preparar y optimizar los conjuntos de datos de entrenamiento para la destilación. Para obtener más información, consulte Preparación de los conjuntos de datos de entrenamiento para destilación.

Modelos y regiones compatibles con Destilación de modelos de Amazon Bedrock.

En la siguiente tabla se muestran los modelos y modelos de Regiones de AWS Amazon Bedrock Model Distillation compatibles con los modelos de profesores y alumnos. Si utiliza un perfil de inferencia entre regiones, solo se admiten los perfiles de inferencia del sistema para la destilación de modelos. Para obtener más información, consulte Aumento del rendimiento con la inferencia entre regiones.

Proveedor Instructor ID del instructor Compatibilidad con perfiles de inferencia Aprendiz ID del aprendiz Region
Amazon Nova Pro amazona. nova-pro-v1:0 Ambos

Nova Lite

Nova Micro

amazon. nova-lite-v1:30:300 km

amazona. nova-micro-v1:20:128 k

Este de EE. UU. (Norte de Virginia)
Nova Premier amazona. nova-premier-v1:0 Solo perfil de inferencia

Nova Lite

Nova Micro

Nova Pro

amazon. nova-lite-v1:30:300 km

amazona. nova-micro-v1:20:128 k

amazona. nova-pro-v1:30:300 km

Este de EE. UU. (Norte de Virginia)
Anthropic Claude 3.5 v1 anthropic.claude-3-5-sonnet-20240620-v1:0 Ambos

Claude 3 Haiku

anthropic.claude-3-haiku-20240307-v1:0:200k

Oeste de EE. UU. (Oregón)
Claude 3.5 v2 anthropic.claude-3-5-sonnet-20241022-v2:0 Ambos

Claude 3 Haiku

anthropic.claude-3-haiku-20240307-v1:0:200k

Oeste de EE. UU. (Oregón)
Meta Llama 3.1 405B meta.llama3-1-405 1:0 b-instruct-v Bajo demanda

Llama 3.1 8B

Llama 3.1 70B

Llama 3.2 1B

Llama 3.3 70B

meta.llama3-1-8 1:10:128 k b-instruct-v

meta.llama3-1-70 1:10:128 k b-instruct-v

meta.llama3-2-1 1:10:128 k b-instruct-v

meta.llama3-3-70 b-instruct-v 1:10:128 k

Oeste de EE. UU. (Oregón)
Llama 3.1 70B meta.llama3-1-70 1:0 b-instruct-v Ambos

Llama 3.1 8B

Llama 3.2 1B

Llama 3.2 3B

b-instruct-vmeta.llama3-1-8 1:10:128 k

meta.llama3-2-1 1:10:128 k b-instruct-v

meta.llama3-2-3 b-instruct-v 1:10:128 k

Oeste de EE. UU. (Oregón)
Llama 3.3 70B meta.llama3-3-70 1:0 b-instruct-v Solo perfil de inferencia

Llama 3.1 8B

Llama 3.2 1B

Llama 3.2 3B

b-instruct-vmeta.llama3-1-8 1:10:128 k

meta.llama3-2-1 1:10:128 k b-instruct-v

meta.llama3-2-3 b-instruct-v 1:10:128 k

Oeste de EE. UU. (Oregón)
nota
  • Para los modelos Claude y Llama, el trabajo de destilación se ejecuta en la región Oeste de EE. UU. (Oregón). Puede comprar rendimiento aprovisionado en la región Oeste de EE. UU. (Oregón) o copiar el modelo destilado en otra región y, a continuación, comprar rendimiento aprovisionado.

  • Para los modelos Nova. el trabajo de destilación se ejecuta en la región Este de EE. UU. (Norte de Virginia). Para la inferencia, es necesario comprar rendimiento aprovisionado en la región Este de EE. UU. (Norte de Virginia). No puede copiar modelos Nova en otras regiones.