Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.
Requisitos previos para la destilación modelo
Antes de comenzar, asegúrese de que entiende cómo funcionan los controles de acceso y seguridad de Destilación de modelos. También debe elegir un modelo de profesor y alumno para su trabajo de destilación.
Permisos
Antes de comenzar, asegúrese de que entiende cómo funcionan los controles de acceso y seguridad de Destilación de modelos. Debe tener un rol de servicio de IAM que pueda acceder al bucket de Amazon S3 donde desea almacenar sus datos de entrenamiento y validación de Destilación de modelos. Amazon Bedrock también tiene opciones para cifrar y proteger aún más sus trabajos y artefactos de destilación. Para obtener más información, consulte Personalización, acceso y seguridad de los modelos.
Para utilizar un perfil de inferencia interregional para un modelo de profesor en un trabajo de destilación, su rol de servicio debe tener permisos para invocar el perfil de inferencia en un perfil de inferencia Región de AWS, además del modelo de cada región del perfil de inferencia. Para ver una política de ejemplo, consulte (Opcional) Permisos para crear un trabajo de destilación con un perfil de inferencia entre regiones. Para obtener más información sobre la inferencia entre regiones, consulte Aumento del rendimiento con la inferencia entre regiones.
Selección de los modelos instructor y aprendiz para la destilación
| Tipo de modelo | Criterios de selección | Consideraciones clave | Requisitos |
|---|---|---|---|
| Modelo docente | Elija un modelo instructor que sea mucho más grande e inteligente que el modelo aprendiz y con la precisión que desee lograr para su caso de uso. | Para que la destilación sea más eficaz, elija un modelo que ya esté entrenado en tareas similares a las de su caso de uso. Para algunos modelos de profesores, puede elegir un perfil de inferencia entre regiones. | Debe tener permisos para invocar perfiles y modelos de inferencia en cada región. Consulte la documentación sobre inferencias entre regiones para ver ejemplos de políticas. |
| Modelo estudiantil | Elija un modelo aprendiz que sea mucho más pequeño que el modelo instructor. | El modelo de estudiante debe ser uno de los modelos de estudiantes emparejados con el modelo de profesor en la tabla de modelos compatibles. | Debe ser compatible con el modelo de profesor seleccionado, como se muestra en la siguiente tabla. |
En la siguiente sección se muestran los modelos y regiones compatibles con Destilación de modelos de Amazon Bedrock. Tras elegir los modelos instructor y aprendiz, debe preparar y optimizar los conjuntos de datos de entrenamiento para la destilación. Para obtener más información, consulte Preparación de los conjuntos de datos de entrenamiento para destilación.
Modelos y regiones compatibles con Destilación de modelos de Amazon Bedrock.
En la siguiente tabla se muestran los modelos y modelos de Regiones de AWS Amazon Bedrock Model Distillation compatibles con los modelos de profesores y alumnos. Si utiliza un perfil de inferencia entre regiones, solo se admiten los perfiles de inferencia del sistema para la destilación de modelos. Para obtener más información, consulte Aumento del rendimiento con la inferencia entre regiones.
| Proveedor | Instructor | ID del instructor | Compatibilidad con perfiles de inferencia | Aprendiz | ID del aprendiz | Region |
|---|---|---|---|---|---|---|
| Amazon | Nova Pro | amazona. nova-pro-v1:0 | Ambos | Nova Lite Nova Micro |
amazon. nova-lite-v1:30:300 km amazona. nova-micro-v1:20:128 k |
Este de EE. UU. (Norte de Virginia) |
| Nova Premier | amazona. nova-premier-v1:0 | Solo perfil de inferencia | Nova Lite Nova Micro Nova Pro |
amazon. nova-lite-v1:30:300 km amazona. nova-micro-v1:20:128 k amazona. nova-pro-v1:30:300 km |
Este de EE. UU. (Norte de Virginia) | |
| Anthropic | Claude 3.5 v1 | anthropic.claude-3-5-sonnet-20240620-v1:0 | Ambos | Claude 3 Haiku |
anthropic.claude-3-haiku-20240307-v1:0:200k |
Oeste de EE. UU. (Oregón) |
| Claude 3.5 v2 | anthropic.claude-3-5-sonnet-20241022-v2:0 | Ambos | Claude 3 Haiku |
anthropic.claude-3-haiku-20240307-v1:0:200k |
Oeste de EE. UU. (Oregón) | |
| Meta | Llama 3.1 405B | meta.llama3-1-405 1:0 b-instruct-v | Bajo demanda | Llama 3.1 8B Llama 3.1 70B Llama 3.2 1B Llama 3.3 70B |
meta.llama3-1-8 1:10:128 k b-instruct-v meta.llama3-1-70 1:10:128 k b-instruct-v meta.llama3-2-1 1:10:128 k b-instruct-v meta.llama3-3-70 b-instruct-v 1:10:128 k |
Oeste de EE. UU. (Oregón) |
| Llama 3.1 70B | meta.llama3-1-70 1:0 b-instruct-v | Ambos | Llama 3.1 8B Llama 3.2 1B Llama 3.2 3B |
b-instruct-vmeta.llama3-1-8 1:10:128 k meta.llama3-2-1 1:10:128 k b-instruct-v meta.llama3-2-3 b-instruct-v 1:10:128 k |
Oeste de EE. UU. (Oregón) | |
| Llama 3.3 70B | meta.llama3-3-70 1:0 b-instruct-v | Solo perfil de inferencia | Llama 3.1 8B Llama 3.2 1B Llama 3.2 3B |
b-instruct-vmeta.llama3-1-8 1:10:128 k meta.llama3-2-1 1:10:128 k b-instruct-v meta.llama3-2-3 b-instruct-v 1:10:128 k |
Oeste de EE. UU. (Oregón) |
nota
-
Para los modelos Claude y Llama, el trabajo de destilación se ejecuta en la región Oeste de EE. UU. (Oregón). Puede comprar rendimiento aprovisionado en la región Oeste de EE. UU. (Oregón) o copiar el modelo destilado en otra región y, a continuación, comprar rendimiento aprovisionado.
-
Para los modelos Nova. el trabajo de destilación se ejecuta en la región Este de EE. UU. (Norte de Virginia). Para la inferencia, es necesario comprar rendimiento aprovisionado en la región Este de EE. UU. (Norte de Virginia). No puede copiar modelos Nova en otras regiones.