Personalización de Amazon Nova en SageMaker HyperPod - Amazon Nova

Personalización de Amazon Nova en SageMaker HyperPod

Puede personalizar los modelos de Amazon Nova, incluidos los modelos de Nova 2.0 mejorados, con las fórmulas de Amazon Nova y entrenarlos en HyperPod. Una fórmula es un archivo de configuración YAML que proporciona detalles a SageMaker AI sobre cómo ejecutar el trabajo de personalización de modelos. SageMaker HyperPod admite dos tipos de servicios: Forge y no Forge.

HyperPod ofrece computación de alto rendimiento con instancias de GPU optimizadas y almacenamiento en Amazon FSx para Lustre, supervisión sólida mediante integración con herramientas como TensorBoard, administración flexible de puntos de control para mejorar las iteraciones, implementación fluida en Amazon Bedrock para tareas de inferencia y entrenamiento distribuido eficiente y escalable de varios nodos. Todo esto funciona de manera conjunta para brindar a las organizaciones un entorno seguro, eficaz y flexible en el que puedan adaptar los modelos de Nova a sus requisitos empresariales específicos.

La personalización de Amazon Nova en SageMaker HyperPod almacena los artefactos del modelo, como los puntos de control del modelo, en un bucket de Amazon S3 administrado por el servicio. Los artefactos del bucket administrado por el servicio se cifran con claves de AWS KMS administradas por SageMaker AI. Los buckets de Amazon S3 administrados por servicios no son compatibles actualmente con el cifrado de datos utilizando claves administradas por el cliente. Puede usar esta ubicación de punto de control para trabajos de evaluación o inferencias de Amazon Bedrock.

Se pueden aplicar precios estándar a instancias de cómputo, almacenamiento de Amazon S3 y FSx para Lustre. Para obtener información detallada sobre los precios, consulte HyperPod pricing, Precios de Amazon S3 y Precios de Amazon FSx para Lustre.

Requisitos de computación de los modelos de Amazon Nova 1

En las siguientes tablas se resumen los requisitos de computación de los trabajos de entrenamiento de SageMaker AI para los modelos de Nova 1.0.

Entrenamiento previo

Modelo

Longitud de secuencia

Nodos

Instancia

Acelerador

Amazon Nova Micro

8 192

8

ml.p5.48xlarge

GPU H100

Amazon Nova Lite

8 192

16

ml.p5.48xlarge

GPU H100

Amazon Nova Pro

8 192

12

ml.p5.48xlarge

GPU H100

Optimización de preferencias directas (DPO)

Modelo

Longitud de secuencia

Número de nodos

Instancia

Acelerador

Optimización de preferencias directas (completa)

32 768

2, 4 o 6

ml.p5.48xlarge

GPU H100

Optimización de preferencias directas (LoRA)

32 768

2, 4 o 6

ml.p5.48xlarge

GPU H100

Microajuste

Modelo

Técnica

Longitud de secuencia

Número de nodos

Instancia

Acelerador

Amazon Nova 1 Micro

Refinamiento supervisado (LoRA)

65 536

2

ml.p5.48xlarge

GPU H100

Amazon Nova 1 Micro

Refinamiento supervisado (completo)

65 536

2

ml.p5.48xlarge

GPU H100

Amazon Nova 1 Lite

Refinamiento supervisado (LoRA)

32 768

4

ml.p5.48xlarge

GPU H100

Amazon Nova 1 Lite

Refinamiento supervisado (completo)

65 536

4

ml.p5.48xlarge

GPU H100

Amazon Nova 1 Pro

Refinamiento supervisado (LoRA)

65 536

6

ml.p5.48xlarge

GPU H100

Amazon Nova 1 Pro

Refinamiento supervisado (completo)

65 536

6

ml.p5.48xlarge

GPU H100

Destilación

Modelo

Nodos

Instancia

Destilación de modelos para entrenamiento posterior

1

ml.r5.24xlarge

Evaluación

Modelo

Longitud de secuencia

Nodos

Instancia

Acelerador

Fórmula de referencia de texto general

8 192

1

ml.p5.48xlarge

GPU H100

Fórmula de referencia de uso de conjunto de datos propio (gen_qa)

8 192

1

ml.p5.48xlarge

GPU H100

Fórmula de LLM como juez de Amazon Nova

8 192

1

ml.p5.48xlarge

GPU H100

Referencias de texto estándar

8 192

1

ml.p5.48xlarge

GPU H100

Evaluación de conjuntos de datos personalizados

8 192

1

ml.p5.48xlarge

GPU H100

Referencias multimodales

8 192

1

ml.p5.48xlarge

GPU H100

Optimización de políticas proximales

Modelo

Número de instancias de modelos críticos

Número de instancias de modelos de recompensa

Número de instancias de modelos de posicionador

Entrenamiento de actores

Generación de actores

Número de instancias

Total de horas por ejecución

Horas P5

Tipo de instancia

Amazon Nova Micro

1

1

1

2

2.

7

8

56

ml.p5.48xlarge

Amazon Nova Lite

1

1

1

2

2.

7

16

112

ml.p5.48xlarge

Amazon Nova Pro

1

1

1

6

2

11

26

260

ml.p5.48xlarge