Personalização do Amazon Nova no Amazon SageMaker HyperPod
Você pode personalizar os modelos do Amazon Nova usando as fórmulas do Amazon Nova e treiná-los no Amazon SageMaker HyperPod. Uma receita é um arquivo de configuração YAML que fornece ao SageMaker AI detalhes sobre como executar a tarefa de personalização de modelo.
O Amazon SageMaker HyperPod oferece computação de alta performance com instâncias de GPU otimizadas e armazenamento do Amazon FSx para Lustre, monitoramento avançado por meio da integração com ferramentas como o TensorBoard, gerenciamento flexível de pontos de verificação para aprimoramento iterativo, implantação sem falhas no Amazon Bedrock para inferência e treinamento distribuído de vários nós eficiente e escalável, tudo trabalhando em conjunto para fornecer às organizações um ambiente de alta performance seguro e flexível para personalizar os modelos do Amazon Nova de acordo com os requisitos de cada uma.
A personalização do Amazon Nova no Amazon SageMaker HyperPod armazena artefatos de modelo, inclusive pontos de verificação de modelos, em um bucket do Amazon S3 gerenciado pelo serviço. Os artefatos do bucket gerenciado pelo serviço são criptografados com chaves do AWS KMS gerenciadas pelo SageMaker AI. No momento, os buckets do Amazon S3 gerenciados pelo serviço não são compatíveis com criptografia de dados usando chaves do KMS gerenciadas pelo cliente. Você pode usar esse ponto de verificação para tarefas de avaliação ou para inferência do Amazon Bedrock.
O preço padrão pode ser aplicado a instâncias de computação, ao armazenamento do Amazon S3 e ao FSx para Lustre. Para obter detalhes de preço, consulte Preços do SageMaker HyperPod
Requisitos de computação
As tabelas a seguir resumem os requisitos de computação para treinamento do SageMaker HyperPod.
Modelo |
Comprimento da sequência |
Nós |
Instância |
Acelerador |
|---|---|---|---|---|
Amazon Nova Micro |
8,192 |
8 |
ml.p5.48xlarge |
GPU H100 |
Amazon Nova Lite |
8,192 |
16 |
ml.p5.48xlarge |
GPU H100 |
Amazon Nova Pro |
8,192 |
24 |
ml.p5.48xlarge |
GPU H100 |
Modelo |
Comprimento da sequência |
Número de nós |
Instância |
Acelerador |
|---|---|---|---|---|
Otimização direta de preferências (completa) |
32.768 |
2, 4 ou 6 |
ml.p5.48xlarge |
GPU H100 |
Otimização direta de preferências (LoRa) |
32.768 |
2, 4 ou 6 |
ml.p5.48xlarge |
GPU H100 |
Modelo |
Comprimento da sequência |
Número de nós |
Instância |
Acelerador |
|---|---|---|---|---|
Ajuste fino supervisionado (LoRA) |
65.536 |
2 |
ml.p5.48xlarge |
GPU H100 |
Ajuste fino supervisionado (completo) |
65.536 |
2 |
ml.p5.48xlarge |
GPU H100 |
Ajuste fino supervisionado (LoRA) |
32.768 |
4 |
ml.p5.48xlarge |
GPU H100 |
Ajuste fino supervisionado (completo) |
65.536 |
4 |
ml.p5.48xlarge |
GPU H100 |
Ajuste fino supervisionado (LoRA) |
65.536 |
6 |
ml.p5.48xlarge |
GPU H100 |
Ajuste fino supervisionado (completo) |
65.536 |
6 |
ml.p5.48xlarge |
GPU H100 |
Modelo |
Nós |
Instância |
|---|---|---|
Destilação de modelos para pós-treinamento |
1 |
ml.r5.24xlarge |
Modelo |
Comprimento da sequência |
Nós |
Instância |
Acelerador |
|---|---|---|---|---|
Fórmula geral de referência de texto |
8,192 |
1 |
ml.p5.48xlarge |
GPU H100 |
Fórmula de referência de traga seu próprio conjunto de dados (gen_qa) |
8,192 |
1 |
ml.p5.48xlarge |
GPU H100 |
Fórmula de LLM como avaliador do Amazon Nova |
8,192 |
1 |
ml.p5.48xlarge |
GPU H100 |
Referências de texto padrão |
8,192 |
1 |
ml.p5.48xlarge |
GPU H100 |
Avaliação de conjuntos de dados personalizados |
8,192 |
1 |
ml.p5.48xlarge |
GPU H100 |
Referências multimodais |
8,192 |
1 |
ml.p5.48xlarge |
GPU H100 |
Modelo |
Contagem de instâncias do modelo crítico |
Contagem de instâncias do modelo de recompensa |
Contagem de instâncias do modelo âncora |
Treinamento de ator |
Geração de ator |
Número de instâncias |
Total de horas por execução |
Horas de P5 |
Tipo de instância |
|---|---|---|---|---|---|---|---|---|---|
Amazon Nova Micro |
1 |
1 |
1 |
2 |
2 |
7 |
8 |
56 |
ml.p5.48xlarge |
Amazon Nova Lite |
1 |
1 |
1 |
2 |
2 |
7 |
16 |
112 |
ml.p5.48xlarge |
Amazon Nova Pro |
1 |
1 |
1 |
6 |
2 |
11 |
26 |
260 |
ml.p5.48xlarge |
