Personalización de Amazon Nova en Amazon SageMaker HyperPod - Amazon SageMaker AI

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Personalización de Amazon Nova en Amazon SageMaker HyperPod

Puedes personalizar los modelos de Amazon Nova con las recetas de Amazon Nova y entrenarlos en Amazon SageMaker HyperPod. Una receta es un archivo de configuración YAML que proporciona detalles a SageMaker AI sobre cómo ejecutar su trabajo de personalización de modelos.

Amazon SageMaker HyperPod ofrece informática de alto rendimiento con instancias de GPU optimizadas y almacenamiento Amazon FSx for Lustre, una supervisión sólida mediante la integración con herramientas como TensorBoard la gestión flexible de puntos de control para una mejora iterativa, una implementación perfecta en Amazon Bedrock para realizar inferencias y una formación distribuida eficiente y escalable de varios nodos, todo ello en conjunto para proporcionar a las organizaciones un entorno seguro, de alto rendimiento y flexible para adaptar los modelos Nova a sus requisitos empresariales específicos.

La personalización de Amazon Nova en Amazon SageMaker HyperPod almacena los artefactos del modelo, incluidos los puntos de control del modelo, en un bucket de Amazon S3 administrado por el servicio. Los artefactos del depósito administrado por el servicio se cifran con claves administradas. SageMaker AWS KMS Los buckets de Amazon S3 administrados por el servicio actualmente no admiten el cifrado de datos mediante claves de KMS administradas por el cliente. Puede usar esta ubicación de punto de control para trabajos de evaluación o inferencias de Amazon Bedrock.

Se pueden aplicar precios estándar a las instancias de cómputo, al almacenamiento de Amazon S3 y FSx a Lustre. Para obtener más información sobre los SageMaker HyperPod precios, consulte los precios, los precios de Amazon S3 y FSx los precios de Lustre.

Requisitos de cómputo

En las siguientes tablas se resumen los requisitos computacionales para la SageMaker HyperPod formación.

Capacitación previa

Modelo

Longitud de secuencia

Nodos

instancia

Acelerador

Amazon Nova Micro

8 192

8

ml.p5.48xlarge

GPU H100

Amazon Nova Lite

8 192

16

ml.p5.48xlarge

GPU H100

Amazon Nova Pro

8 192

24

ml.p5.48xlarge

GPU H100

Optimización de preferencias directas (DPO)

Modelo

Longitud de secuencia

Número de nodos

instancia

Acelerador

Optimización de preferencias directas (completa)

32 768

2, 4 o 6

ml.p5.48xlarge

GPU H100

Optimización de preferencias directas (LoRa)

32 768

2, 4 o 6

ml.p5.48xlarge

GPU H100

Ajuste

Modelo

Longitud de secuencia

Número de nodos

instancia

Acelerador

Ajuste preciso supervisado (LoRa)

65.536

2

ml.p5.48xlarge

GPU H100

Ajuste preciso supervisado (completo)

65.536

2

ml.p5.48xlarge

GPU H100

Ajuste preciso supervisado (LoRa)

32 768

4

ml.p5.48xlarge

GPU H100

Ajuste preciso supervisado (completo)

65.536

4

ml.p5.48xlarge

GPU H100

Ajuste preciso supervisado (LoRa)

65.536

6

ml.p5.48xlarge

GPU H100

Ajuste preciso supervisado (completo)

65.536

6

ml.p5.48xlarge

GPU H100

Destilación

Modelo

Nodos

instancia

Destilación de modelos para después del entrenamiento

1

ml.r5.24xlarge

Evaluación

Modelo

Longitud de secuencia

Nodos

instancia

Acelerador

Receta general de referencia textual

8 192

1

ml.p5.48xlarge

GPU H100

Traiga su propia receta de referencia para el conjunto de datos (gen_qa)

8 192

1

ml.p5.48xlarge

GPU H100

Amazon Nova LLM como receta de juez

8 192

1

ml.p5.48xlarge

GPU H100

Parámetros de referencia de texto estándar

8 192

1

ml.p5.48xlarge

GPU H100

Evaluación de conjuntos de datos personalizados

8 192

1

ml.p5.48xlarge

GPU H100

Puntos de referencia multimodales

8 192

1

ml.p5.48xlarge

GPU H100

Optimización de políticas proximales

Modelo

Recuento de instancias críticas del modelo

Recuento de instancias del modelo de recompensa

Recuento de instancias del modelo Anchor

Tren de actores

Generación de actores

Número de instancias

Total de horas por ejecución

Horas P5

Tipo de instancia

Amazon Nova Micro

1

1

1

2

2.

7

8

56

ml.p5.48xlarge

Amazon Nova Lite

1

1

1

2

2.

7

16

112

ml.p5.48xlarge

Amazon Nova Pro

1

1

1

6

2

11

26

260

ml.p5.48xlarge