Personalização do Amazon Nova na Amazon SageMaker HyperPod - SageMaker IA da Amazon

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Personalização do Amazon Nova na Amazon SageMaker HyperPod

Você pode personalizar os modelos do Amazon Nova, incluindo os modelos Nova 2.0 aprimorados, usando receitas do Amazon Nova e treiná-los na Amazon SageMaker HyperPod. Uma receita é um arquivo de configuração YAML que fornece detalhes para a SageMaker IA sobre como executar seu trabalho de personalização de modelo. A Amazon SageMaker HyperPod oferece suporte a dois tipos de serviços: forjados e não forjados.

A Amazon SageMaker HyperPod oferece computação de alto desempenho com instâncias de GPU otimizadas e armazenamento Amazon FSx for Lustre, monitoramento robusto por meio da integração com ferramentas como gerenciamento flexível de pontos de verificação para melhoria iterativa TensorBoard, implantação perfeita no Amazon Bedrock para inferência e treinamento distribuído eficiente e escalável em vários nós, tudo trabalhando em conjunto para fornecer às organizações um ambiente seguro, eficiente e flexível para adaptar os modelos Nova às suas necessidades comerciais específicas.

A personalização do Amazon Nova na Amazon SageMaker HyperPod armazena artefatos de modelo, incluindo pontos de verificação de modelos, em um bucket Amazon S3 gerenciado por serviços. Os artefatos no bucket gerenciado pelo serviço são criptografados com SageMaker chaves gerenciadas. AWS KMS No momento, os buckets do Amazon S3 gerenciados pelo serviço não são compatíveis com criptografia de dados usando chaves do KMS gerenciadas pelo cliente. Você pode usar esse ponto de verificação para tarefas de avaliação ou para inferência do Amazon Bedrock.

O preço padrão pode ser aplicado às instâncias de computação, ao armazenamento do Amazon S3 e ao FSx Lustre. Para obter detalhes sobre preços, consulte SageMaker HyperPodpreços, preços do Amazon S3 e preços do Lustre FSx .

Requisitos de computação para os modelos Amazon Nova 1

As tabelas a seguir resumem os requisitos computacionais SageMaker HyperPod e o treinamento de empregos de treinamento em SageMaker IA para modelos Nova 1.0.

Pré-treinamento

Modelo

Comprimento da sequência

Nodes

Instância

Acelerador

Amazon Nova Micro

8,192

8

ml.p5.48xlarge

GPU H100

Amazon Nova Lite

8,192

16

ml.p5.48xlarge

GPU H100

Amazon Nova Pro

8,192

12

ml.p5.48xlarge

GPU H100

Otimização direta de preferências (DPO)

Modelo

Comprimento da sequência

Número de nós

Instância

Acelerador

Otimização direta de preferências (completa)

32.768

2, 4 ou 6

ml.p5.48xlarge

GPU H100

Otimização direta de preferências (LoRa)

32.768

2, 4 ou 6

ml.p5.48xlarge

GPU H100

Ajuste fino

Modelo

Técnica

Comprimento da sequência

Número de nós

Instância

Acelerador

Amazon Nova 1 Micro

Ajuste fino supervisionado (LoRA)

65.536

2

ml.p5.48xlarge

GPU H100

Amazon Nova 1 Micro

Ajuste fino supervisionado (completo)

65.536

2

ml.p5.48xlarge

GPU H100

Amazon Nova 1 Lite

Ajuste fino supervisionado (LoRA)

32.768

4

ml.p5.48xlarge

GPU H100

Amazon Nova 1 Lite

Ajuste fino supervisionado (completo)

65.536

4

ml.p5.48xlarge

GPU H100

Amazon Nova 1 Pro

Ajuste fino supervisionado (LoRA)

65.536

6

ml.p5.48xlarge

GPU H100

Amazon Nova 1 Pro

Ajuste fino supervisionado (completo)

65.536

6

ml.p5.48xlarge

GPU H100

Destilação

Modelo

Nodes

Instância

Destilação de modelos para pós-treinamento

1

ml.r5.24xlarge

Avaliação

Modelo

Comprimento da sequência

Nodes

Instância

Acelerador

Fórmula geral de referência de texto

8,192

1

ml.p5.48xlarge

GPU H100

Fórmula de referência de traga seu próprio conjunto de dados (gen_qa)

8,192

1

ml.p5.48xlarge

GPU H100

Fórmula de LLM como avaliador do Amazon Nova

8,192

1

ml.p5.48xlarge

GPU H100

Referências de texto padrão

8,192

1

ml.p5.48xlarge

GPU H100

Avaliação de conjuntos de dados personalizados

8,192

1

ml.p5.48xlarge

GPU H100

Referências multimodais

8,192

1

ml.p5.48xlarge

GPU H100

Otimização de política proximal

Modelo

Contagem de instâncias do modelo crítico

Contagem de instâncias do modelo de recompensa

Contagem de instâncias do modelo âncora

Treinamento de ator

Geração de ator

Número de instâncias

Total de horas por execução

Horas de P5

Tipo de instância

Amazon Nova Micro

1

1

1

2

2

7

8

56

ml.p5.48xlarge

Amazon Nova Lite

1

1

1

2

2

7

16

112

ml.p5.48xlarge

Amazon Nova Pro

1

1

1

6

2

11

26

260

ml.p5.48xlarge

Requisitos de computação para os modelos Amazon Nova 2

As tabelas a seguir resumem os requisitos computacionais SageMaker HyperPod e o treinamento de empregos de treinamento em SageMaker IA para modelos Nova 2.

Requisitos de treinamento do Nova 2

Técnica de treinamento

Instâncias mínimas

Tipo de instância

Contagem de GPU

Observações

SFT (LoRa)

4

P5.48 x grande

16

Ajuste fino com eficiência de parâmetros

SFT (classificação completa)

4

P5.48 x grande

32

Ajuste fino completo do modelo

RFT sobre empregos de treinamento em SageMaker IA (LoRa)

2

P5.48 x grande

16

Funções de recompensa personalizadas em seu AWS ambiente

RFT sobre empregos de treinamento em SageMaker IA (classificação completa)

4

P5.48 x grande

32

Comprimento do contexto de 32K

RFT ativado SageMaker HyperPod

8

P5.48 x grande

64

Tamanho padrão do contexto 8192

CPT

2

P5.48 x grande

16

Processa aproximadamente 1,25 bilhão de tokens por dia