As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
Personalização do Amazon Nova na Amazon SageMaker HyperPod
Você pode personalizar os modelos do Amazon Nova, incluindo os modelos Nova 2.0 aprimorados, usando receitas do Amazon Nova e treiná-los na Amazon SageMaker HyperPod. Uma receita é um arquivo de configuração YAML que fornece detalhes para a SageMaker IA sobre como executar seu trabalho de personalização de modelo. A Amazon SageMaker HyperPod oferece suporte a dois tipos de serviços: forjados e não forjados.
A Amazon SageMaker HyperPod oferece computação de alto desempenho com instâncias de GPU otimizadas e armazenamento Amazon FSx for Lustre, monitoramento robusto por meio da integração com ferramentas como gerenciamento flexível de pontos de verificação para melhoria iterativa TensorBoard, implantação perfeita no Amazon Bedrock para inferência e treinamento distribuído eficiente e escalável em vários nós, tudo trabalhando em conjunto para fornecer às organizações um ambiente seguro, eficiente e flexível para adaptar os modelos Nova às suas necessidades comerciais específicas.
A personalização do Amazon Nova na Amazon SageMaker HyperPod armazena artefatos de modelo, incluindo pontos de verificação de modelos, em um bucket Amazon S3 gerenciado por serviços. Os artefatos no bucket gerenciado pelo serviço são criptografados com SageMaker chaves gerenciadas. AWS KMS No momento, os buckets do Amazon S3 gerenciados pelo serviço não são compatíveis com criptografia de dados usando chaves do KMS gerenciadas pelo cliente. Você pode usar esse ponto de verificação para tarefas de avaliação ou para inferência do Amazon Bedrock.
O preço padrão pode ser aplicado às instâncias de computação, ao armazenamento do Amazon S3 e ao FSx Lustre. Para obter detalhes sobre preços, consulte SageMaker HyperPodpreços, preços
Requisitos de computação para os modelos Amazon Nova 1
As tabelas a seguir resumem os requisitos computacionais SageMaker HyperPod e o treinamento de empregos de treinamento em SageMaker IA para modelos Nova 1.0.
Modelo |
Comprimento da sequência |
Nodes |
Instância |
Acelerador |
|---|---|---|---|---|
Amazon Nova Micro |
8,192 |
8 |
ml.p5.48xlarge |
GPU H100 |
Amazon Nova Lite |
8,192 |
16 |
ml.p5.48xlarge |
GPU H100 |
Amazon Nova Pro |
8,192 |
12 |
ml.p5.48xlarge |
GPU H100 |
Modelo |
Comprimento da sequência |
Número de nós |
Instância |
Acelerador |
|---|---|---|---|---|
Otimização direta de preferências (completa) |
32.768 |
2, 4 ou 6 |
ml.p5.48xlarge |
GPU H100 |
Otimização direta de preferências (LoRa) |
32.768 |
2, 4 ou 6 |
ml.p5.48xlarge |
GPU H100 |
Modelo |
Técnica |
Comprimento da sequência |
Número de nós |
Instância |
Acelerador |
|---|---|---|---|---|---|
| Amazon Nova 1 Micro |
Ajuste fino supervisionado (LoRA) |
65.536 |
2 |
ml.p5.48xlarge |
GPU H100 |
| Amazon Nova 1 Micro |
Ajuste fino supervisionado (completo) |
65.536 |
2 |
ml.p5.48xlarge |
GPU H100 |
| Amazon Nova 1 Lite |
Ajuste fino supervisionado (LoRA) |
32.768 |
4 |
ml.p5.48xlarge |
GPU H100 |
| Amazon Nova 1 Lite |
Ajuste fino supervisionado (completo) |
65.536 |
4 |
ml.p5.48xlarge |
GPU H100 |
| Amazon Nova 1 Pro |
Ajuste fino supervisionado (LoRA) |
65.536 |
6 |
ml.p5.48xlarge |
GPU H100 |
| Amazon Nova 1 Pro |
Ajuste fino supervisionado (completo) |
65.536 |
6 |
ml.p5.48xlarge |
GPU H100 |
Modelo |
Nodes |
Instância |
|---|---|---|
Destilação de modelos para pós-treinamento |
1 |
ml.r5.24xlarge |
Modelo |
Comprimento da sequência |
Nodes |
Instância |
Acelerador |
|---|---|---|---|---|
Fórmula geral de referência de texto |
8,192 |
1 |
ml.p5.48xlarge |
GPU H100 |
Fórmula de referência de traga seu próprio conjunto de dados (gen_qa) |
8,192 |
1 |
ml.p5.48xlarge |
GPU H100 |
Fórmula de LLM como avaliador do Amazon Nova |
8,192 |
1 |
ml.p5.48xlarge |
GPU H100 |
Referências de texto padrão |
8,192 |
1 |
ml.p5.48xlarge |
GPU H100 |
Avaliação de conjuntos de dados personalizados |
8,192 |
1 |
ml.p5.48xlarge |
GPU H100 |
Referências multimodais |
8,192 |
1 |
ml.p5.48xlarge |
GPU H100 |
Modelo |
Contagem de instâncias do modelo crítico |
Contagem de instâncias do modelo de recompensa |
Contagem de instâncias do modelo âncora |
Treinamento de ator |
Geração de ator |
Número de instâncias |
Total de horas por execução |
Horas de P5 |
Tipo de instância |
|---|---|---|---|---|---|---|---|---|---|
Amazon Nova Micro |
1 |
1 |
1 |
2 |
2 |
7 |
8 |
56 |
ml.p5.48xlarge |
Amazon Nova Lite |
1 |
1 |
1 |
2 |
2 |
7 |
16 |
112 |
ml.p5.48xlarge |
Amazon Nova Pro |
1 |
1 |
1 |
6 |
2 |
11 |
26 |
260 |
ml.p5.48xlarge |
Requisitos de computação para os modelos Amazon Nova 2
As tabelas a seguir resumem os requisitos computacionais SageMaker HyperPod e o treinamento de empregos de treinamento em SageMaker IA para modelos Nova 2.
Técnica de treinamento |
Instâncias mínimas |
Tipo de instância |
Contagem de GPU |
Observações |
|---|---|---|---|---|
SFT (LoRa) |
4 |
P5.48 x grande |
16 |
Ajuste fino com eficiência de parâmetros |
SFT (classificação completa) |
4 |
P5.48 x grande |
32 |
Ajuste fino completo do modelo |
RFT sobre empregos de treinamento em SageMaker IA (LoRa) |
2 |
P5.48 x grande |
16 |
Funções de recompensa personalizadas em seu AWS ambiente |
RFT sobre empregos de treinamento em SageMaker IA (classificação completa) |
4 |
P5.48 x grande |
32 |
Comprimento do contexto de 32K |
RFT ativado SageMaker HyperPod |
8 |
P5.48 x grande |
64 |
Tamanho padrão do contexto 8192 |
CPT |
2 |
P5.48 x grande |
16 |
Processa aproximadamente 1,25 bilhão de tokens por dia |