Personalização do Amazon Nova no SageMaker HyperPod
Você pode personalizar os modelos do Amazon Nova, incluindo os modelos Nova 2.0 aprimorados, usando as fórmulas do Amazon Nova e treinando-os no Hyperpod. Uma receita é um arquivo de configuração YAML que fornece ao SageMaker AI detalhes sobre como executar a tarefa de personalização de modelo. O SageMaker HyperPod é compatível com dois tipos de serviços: Forge e Não Forge.
O HyperPod oferece computação de alta performance com instâncias de GPU otimizadas e armazenamento do Amazon FSx para Lustre, monitoramento avançado por meio da integração com ferramentas como o TensorBoard, gerenciamento flexível de pontos de verificação para aprimoramento iterativo, implantação sem falhas no Amazon Bedrock para inferência e treinamento distribuído de vários nós eficiente e escalável, tudo trabalhando em conjunto para fornecer às organizações um ambiente de alta performance seguro e flexível para personalizar os modelos Nova de acordo com os requisitos de cada uma.
A personalização do Amazon Nova no SageMaker HyperPod armazena artefatos de modelo, incluindo pontos de verificação de modelos, em um bucket do Amazon S3 gerenciado pelo serviço. Os artefatos no bucket gerenciado pelo serviço são criptografados com chaves do AWS KMS gerenciadas pelo SageMaker AI. No momento, os buckets do Amazon S3 gerenciados pelo serviço não são compatíveis com criptografia de dados usando chaves do KMS gerenciadas pelo cliente. Você pode usar esse ponto de verificação para tarefas de avaliação ou para inferência do Amazon Bedrock.
O preço padrão pode ser aplicado a instâncias de computação, ao armazenamento do Amazon S3 e ao FSx para Lustre. Para obter detalhes de preços, consulte Preços do HyperPod
Requisitos de computação para os modelos do Amazon Nova 1
As tabelas a seguir resumem os requisitos de computação e o treinamento de tarefas de treinamento do SageMaker AI para modelos Nova 1.0.
Modelo |
Comprimento da sequência |
Nós |
Instância |
Acelerador |
|---|---|---|---|---|
Amazon Nova Micro |
8,192 |
8 |
ml.p5.48xlarge |
GPU H100 |
Amazon Nova Lite |
8,192 |
16 |
ml.p5.48xlarge |
GPU H100 |
Amazon Nova Pro |
8,192 |
12 |
ml.p5.48xlarge |
GPU H100 |
Modelo |
Comprimento da sequência |
Número de nós |
Instância |
Acelerador |
|---|---|---|---|---|
Otimização direta de preferências (completa) |
32.768 |
2, 4 ou 6 |
ml.p5.48xlarge |
GPU H100 |
Otimização direta de preferências (LoRa) |
32.768 |
2, 4 ou 6 |
ml.p5.48xlarge |
GPU H100 |
Modelo |
Técnica |
Comprimento da sequência |
Número de nós |
Instância |
Acelerador |
|---|---|---|---|---|---|
| Amazon Nova 1 Micro |
Ajuste fino supervisionado (LoRA) |
65.536 |
2 |
ml.p5.48xlarge |
GPU H100 |
| Amazon Nova 1 Micro |
Ajuste fino supervisionado (completo) |
65.536 |
2 |
ml.p5.48xlarge |
GPU H100 |
| Amazon Nova 1 Lite |
Ajuste fino supervisionado (LoRA) |
32.768 |
4 |
ml.p5.48xlarge |
GPU H100 |
| Amazon Nova 1 Lite |
Ajuste fino supervisionado (completo) |
65.536 |
4 |
ml.p5.48xlarge |
GPU H100 |
| Amazon Nova 1 Pro |
Ajuste fino supervisionado (LoRA) |
65.536 |
6 |
ml.p5.48xlarge |
GPU H100 |
| Amazon Nova 1 Pro |
Ajuste fino supervisionado (completo) |
65.536 |
6 |
ml.p5.48xlarge |
GPU H100 |
Modelo |
Nós |
Instância |
|---|---|---|
Destilação de modelos para pós-treinamento |
1 |
ml.r5.24xlarge |
Modelo |
Comprimento da sequência |
Nós |
Instância |
Acelerador |
|---|---|---|---|---|
Fórmula geral de referência de texto |
8,192 |
1 |
ml.p5.48xlarge |
GPU H100 |
Fórmula de referência de traga seu próprio conjunto de dados (gen_qa) |
8,192 |
1 |
ml.p5.48xlarge |
GPU H100 |
Fórmula de LLM como avaliador do Amazon Nova |
8,192 |
1 |
ml.p5.48xlarge |
GPU H100 |
Referências de texto padrão |
8,192 |
1 |
ml.p5.48xlarge |
GPU H100 |
Avaliação de conjuntos de dados personalizados |
8,192 |
1 |
ml.p5.48xlarge |
GPU H100 |
Referências multimodais |
8,192 |
1 |
ml.p5.48xlarge |
GPU H100 |
Modelo |
Contagem de instâncias do modelo crítico |
Contagem de instâncias do modelo de recompensa |
Contagem de instâncias do modelo âncora |
Treinamento de ator |
Geração de ator |
Número de instâncias |
Total de horas por execução |
Horas de P5 |
Tipo de instância |
|---|---|---|---|---|---|---|---|---|---|
Amazon Nova Micro |
1 |
1 |
1 |
2 |
2 |
7 |
8 |
56 |
ml.p5.48xlarge |
Amazon Nova Lite |
1 |
1 |
1 |
2 |
2 |
7 |
16 |
112 |
ml.p5.48xlarge |
Amazon Nova Pro |
1 |
1 |
1 |
6 |
2 |
11 |
26 |
260 |
ml.p5.48xlarge |