Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.
Personalización de Amazon Nova en Amazon SageMaker HyperPod
Puedes personalizar los modelos de Amazon Nova con las recetas de Amazon Nova y entrenarlos en Amazon SageMaker HyperPod. Una receta es un archivo de configuración YAML que proporciona detalles a SageMaker AI sobre cómo ejecutar su trabajo de personalización de modelos.
Amazon SageMaker HyperPod ofrece informática de alto rendimiento con instancias de GPU optimizadas y almacenamiento Amazon FSx for Lustre, una supervisión sólida mediante la integración con herramientas como TensorBoard la gestión flexible de puntos de control para una mejora iterativa, una implementación perfecta en Amazon Bedrock para realizar inferencias y una formación distribuida eficiente y escalable de varios nodos, todo ello en conjunto para proporcionar a las organizaciones un entorno seguro, de alto rendimiento y flexible para adaptar los modelos Nova a sus requisitos empresariales específicos.
La personalización de Amazon Nova en Amazon SageMaker HyperPod almacena los artefactos del modelo, incluidos los puntos de control del modelo, en un bucket de Amazon S3 administrado por el servicio. Los artefactos del depósito administrado por el servicio se cifran con claves administradas. SageMaker AWS KMS Los buckets de Amazon S3 administrados por el servicio actualmente no admiten el cifrado de datos mediante claves de KMS administradas por el cliente. Puede usar esta ubicación de punto de control para trabajos de evaluación o inferencias de Amazon Bedrock.
Se pueden aplicar precios estándar a las instancias de cómputo, al almacenamiento de Amazon S3 y FSx a Lustre. Para obtener más información sobre los SageMaker HyperPod precios, consulte los precios
Requisitos de cómputo
En las siguientes tablas se resumen los requisitos computacionales para la SageMaker HyperPod formación.
Modelo |
Longitud de secuencia |
Nodos |
instancia |
Acelerador |
---|---|---|---|---|
Amazon Nova Micro |
8 192 |
8 |
ml.p5.48xlarge |
GPU H100 |
Amazon Nova Lite |
8 192 |
16 |
ml.p5.48xlarge |
GPU H100 |
Amazon Nova Pro |
8 192 |
24 |
ml.p5.48xlarge |
GPU H100 |
Modelo |
Longitud de secuencia |
Número de nodos |
instancia |
Acelerador |
---|---|---|---|---|
Optimización de preferencias directas (completa) |
32 768 |
2, 4 o 6 |
ml.p5.48xlarge |
GPU H100 |
Optimización de preferencias directas (LoRa) |
32 768 |
2, 4 o 6 |
ml.p5.48xlarge |
GPU H100 |
Modelo |
Longitud de secuencia |
Número de nodos |
instancia |
Acelerador |
---|---|---|---|---|
Ajuste preciso supervisado (LoRa) |
65.536 |
2 |
ml.p5.48xlarge |
GPU H100 |
Ajuste preciso supervisado (completo) |
65.536 |
2 |
ml.p5.48xlarge |
GPU H100 |
Ajuste preciso supervisado (LoRa) |
32 768 |
4 |
ml.p5.48xlarge |
GPU H100 |
Ajuste preciso supervisado (completo) |
65.536 |
4 |
ml.p5.48xlarge |
GPU H100 |
Ajuste preciso supervisado (LoRa) |
65.536 |
6 |
ml.p5.48xlarge |
GPU H100 |
Ajuste preciso supervisado (completo) |
65.536 |
6 |
ml.p5.48xlarge |
GPU H100 |
Modelo |
Nodos |
instancia |
---|---|---|
Destilación de modelos para después del entrenamiento |
1 |
ml.r5.24xlarge |
Modelo |
Longitud de secuencia |
Nodos |
instancia |
Acelerador |
---|---|---|---|---|
Receta general de referencia textual |
8 192 |
1 |
ml.p5.48xlarge |
GPU H100 |
Traiga su propia receta de referencia para el conjunto de datos (gen_qa) |
8 192 |
1 |
ml.p5.48xlarge |
GPU H100 |
Amazon Nova LLM como receta de juez |
8 192 |
1 |
ml.p5.48xlarge |
GPU H100 |
Parámetros de referencia de texto estándar |
8 192 |
1 |
ml.p5.48xlarge |
GPU H100 |
Evaluación de conjuntos de datos personalizados |
8 192 |
1 |
ml.p5.48xlarge |
GPU H100 |
Puntos de referencia multimodales |
8 192 |
1 |
ml.p5.48xlarge |
GPU H100 |
Modelo |
Recuento de instancias críticas del modelo |
Recuento de instancias del modelo de recompensa |
Recuento de instancias del modelo Anchor |
Tren de actores |
Generación de actores |
Número de instancias |
Total de horas por ejecución |
Horas P5 |
Tipo de instancia |
---|---|---|---|---|---|---|---|---|---|
Amazon Nova Micro |
1 |
1 |
1 |
2 |
2. |
7 |
8 |
56 |
ml.p5.48xlarge |
Amazon Nova Lite |
1 |
1 |
1 |
2 |
2. |
7 |
16 |
112 |
ml.p5.48xlarge |
Amazon Nova Pro |
1 |
1 |
1 |
6 |
2 |
11 |
26 |
260 |
ml.p5.48xlarge |