Personalización de Amazon Nova en SageMaker HyperPod
Puede personalizar los modelos de Amazon Nova, incluidos los modelos de Nova 2.0 mejorados, con las fórmulas de Amazon Nova y entrenarlos en HyperPod. Una fórmula es un archivo de configuración YAML que proporciona detalles a SageMaker AI sobre cómo ejecutar el trabajo de personalización de modelos. SageMaker HyperPod admite dos tipos de servicios: Forge y no Forge.
HyperPod ofrece computación de alto rendimiento con instancias de GPU optimizadas y almacenamiento en Amazon FSx para Lustre, supervisión sólida mediante integración con herramientas como TensorBoard, administración flexible de puntos de control para mejorar las iteraciones, implementación fluida en Amazon Bedrock para tareas de inferencia y entrenamiento distribuido eficiente y escalable de varios nodos. Todo esto funciona de manera conjunta para brindar a las organizaciones un entorno seguro, eficaz y flexible en el que puedan adaptar los modelos de Nova a sus requisitos empresariales específicos.
La personalización de Amazon Nova en SageMaker HyperPod almacena los artefactos del modelo, como los puntos de control del modelo, en un bucket de Amazon S3 administrado por el servicio. Los artefactos del bucket administrado por el servicio se cifran con claves de AWS KMS administradas por SageMaker AI. Los buckets de Amazon S3 administrados por servicios no son compatibles actualmente con el cifrado de datos utilizando claves administradas por el cliente. Puede usar esta ubicación de punto de control para trabajos de evaluación o inferencias de Amazon Bedrock.
Se pueden aplicar precios estándar a instancias de cómputo, almacenamiento de Amazon S3 y FSx para Lustre. Para obtener información detallada sobre los precios, consulte HyperPod pricing
Requisitos de computación de los modelos de Amazon Nova 1
En las siguientes tablas se resumen los requisitos de computación de los trabajos de entrenamiento de SageMaker AI para los modelos de Nova 1.0.
Modelo |
Longitud de secuencia |
Nodos |
Instancia |
Acelerador |
|---|---|---|---|---|
Amazon Nova Micro |
8 192 |
8 |
ml.p5.48xlarge |
GPU H100 |
Amazon Nova Lite |
8 192 |
16 |
ml.p5.48xlarge |
GPU H100 |
Amazon Nova Pro |
8 192 |
12 |
ml.p5.48xlarge |
GPU H100 |
Modelo |
Longitud de secuencia |
Número de nodos |
Instancia |
Acelerador |
|---|---|---|---|---|
Optimización de preferencias directas (completa) |
32 768 |
2, 4 o 6 |
ml.p5.48xlarge |
GPU H100 |
Optimización de preferencias directas (LoRA) |
32 768 |
2, 4 o 6 |
ml.p5.48xlarge |
GPU H100 |
Modelo |
Técnica |
Longitud de secuencia |
Número de nodos |
Instancia |
Acelerador |
|---|---|---|---|---|---|
| Amazon Nova 1 Micro |
Refinamiento supervisado (LoRA) |
65 536 |
2 |
ml.p5.48xlarge |
GPU H100 |
| Amazon Nova 1 Micro |
Refinamiento supervisado (completo) |
65 536 |
2 |
ml.p5.48xlarge |
GPU H100 |
| Amazon Nova 1 Lite |
Refinamiento supervisado (LoRA) |
32 768 |
4 |
ml.p5.48xlarge |
GPU H100 |
| Amazon Nova 1 Lite |
Refinamiento supervisado (completo) |
65 536 |
4 |
ml.p5.48xlarge |
GPU H100 |
| Amazon Nova 1 Pro |
Refinamiento supervisado (LoRA) |
65 536 |
6 |
ml.p5.48xlarge |
GPU H100 |
| Amazon Nova 1 Pro |
Refinamiento supervisado (completo) |
65 536 |
6 |
ml.p5.48xlarge |
GPU H100 |
Modelo |
Nodos |
Instancia |
|---|---|---|
Destilación de modelos para entrenamiento posterior |
1 |
ml.r5.24xlarge |
Modelo |
Longitud de secuencia |
Nodos |
Instancia |
Acelerador |
|---|---|---|---|---|
Fórmula de referencia de texto general |
8 192 |
1 |
ml.p5.48xlarge |
GPU H100 |
Fórmula de referencia de uso de conjunto de datos propio (gen_qa) |
8 192 |
1 |
ml.p5.48xlarge |
GPU H100 |
Fórmula de LLM como juez de Amazon Nova |
8 192 |
1 |
ml.p5.48xlarge |
GPU H100 |
Referencias de texto estándar |
8 192 |
1 |
ml.p5.48xlarge |
GPU H100 |
Evaluación de conjuntos de datos personalizados |
8 192 |
1 |
ml.p5.48xlarge |
GPU H100 |
Referencias multimodales |
8 192 |
1 |
ml.p5.48xlarge |
GPU H100 |
Modelo |
Número de instancias de modelos críticos |
Número de instancias de modelos de recompensa |
Número de instancias de modelos de posicionador |
Entrenamiento de actores |
Generación de actores |
Número de instancias |
Total de horas por ejecución |
Horas P5 |
Tipo de instancia |
|---|---|---|---|---|---|---|---|---|---|
Amazon Nova Micro |
1 |
1 |
1 |
2 |
2. |
7 |
8 |
56 |
ml.p5.48xlarge |
Amazon Nova Lite |
1 |
1 |
1 |
2 |
2. |
7 |
16 |
112 |
ml.p5.48xlarge |
Amazon Nova Pro |
1 |
1 |
1 |
6 |
2 |
11 |
26 |
260 |
ml.p5.48xlarge |