Fórmulas do Amazon Nova
Você pode obter uma fórmula do Amazon Nova no repositório de fórmulas do SageMaker HyperPod
Você também pode acessar as fórmulas do Nova por meio do Amazon SageMaker Studio e do Estúdio Unificado Amazon SageMaker acessando o hub de modelos do JumpStart, selecionando AWS e navegando pelos modelos do Amazon Nova para encontrar suas fórmulas correspondentes. Tanto o Amazon SageMaker Studio quanto o Estúdio Unificado Amazon SageMaker oferecem exemplos de caderno para cada fórmula, que incluem todas as etapas necessárias para modificar as fórmulas e executar trabalhos de personalização usando tarefas de treinamento do SageMaker AI ou ambientes do Amazon SageMaker HyperPod.
Para acessar as páginas de fórmulas do Amazon SageMaker Studio, o perfil de execução deve ter as permissões a seguir.
{ "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Action": [ "s3:GetObject" ], "Resource": [ "arn:aws:s3:::*model-customization-recipes*" ] } ] }
Para executar os cadernos de exemplo nas tarefas de treinamento do SageMaker e no SageMaker HyperPod, use uma das seguintes versões de imagem da Distribuição do SageMaker: 2.7.1+, 2.8.0+, 3.2.1+ e 3.3.0+. Isso se aplica ao Amazon SageMaker Studio e ao Estúdio Unificado Amazon SageMaker.
Tópicos
Obter fórmulas do Amazon Nova
Para ter uma fórmula básica do Amazon Nova, clone o repositório de fórmulas do SageMaker HyperPod
git clone https://github.com/aws/sagemaker-hyperpod-recipes.git
As receitas básicas estão disponíveis em recipes_collection/recipes/
cd recipes_collection/recipes/
As fórmulas de personalização do Amazon Nova estão nas pastas a seguir.
| Tipo de fórmula | Pasta |
|---|---|
| SFT (de classificação completa e PEFT), PPO, DPO (de classificação completa e PEFT) | fine-tuning/nova |
| Avaliação | evaluation/nova |
| CPT | training/nova |
Modelos e algoritmos disponíveis
A tabela a seguir resume a disponibilidade de personalização para modelos do Amazon Nova e algoritmos compatíveis por meio do SageMaker AI.
Nome do modelo |
ID do modelo |
Ajustar |
Observações |
|---|---|---|---|
Amazon Nova Micro |
amazon.nova-micro-v1:0:128k |
Sim |
For both SFT and DPO, this model accepts text as input and produces text as output only. |
Amazon Nova Lite |
amazon.nova-lite-v1:0:300k |
Sim |
|
Amazon Nova Pro |
amazon.nova-pro-v1:0:300k |
Sim |
|
Referência de fórmulas do Amazon Nova
A tabela abaixo lista informações detalhadas da referência de fórmulas do Amazon Nova.
| Modelo | Categoria/subcategoria | Técnica | Nome da fórmula | URI da imagem (tarefas de treinamento do SageMaker) | URI da imagem (SageMaker HyperPod) | Instância de computação |
|---|---|---|---|---|---|---|
| Nova Lite | Treinamento/ajuste fino |
Ajuste fino supervisionado (LoRA) |
nova_lite_p5_gpu_lora_sft.yaml |
708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-TJ-SFT-latest |
708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-HP-SFT-latest
|
ml.p5.48xlarge
|
| Nova Lite | Treinamento/ajuste fino |
Ajuste fino supervisionado (completo) |
nova_lite_p5_gpu_sft.yaml
|
708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-TJ-SFT-latest |
708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-HP-SFT-latest
|
ml.p5.48xlarge
|
| Nova Lite | Treinamento/ajuste fino |
Otimização direta de preferências (completa) |
nova_lite_p5_gpu_dpo.yaml
|
708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-TJ-DPO-latest
|
708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-HP-DPO-latest
|
ml.p5.48xlarge
|
| Nova Lite | Treinamento/ajuste fino |
Otimização direta de preferências (LoRa) |
nova_lite_p5_gpu_lora_dpo.yaml
|
708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-TJ-DPO-latest |
708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-HP-DPO-latest
|
ml.p5.48xlarge
|
| Nova Lite | Treinamento/aprendizado por reforço |
Aprendizado por reforço baseado em recompensas (PPO) |
nova_lite_p5_gpu_ppo.yaml
|
n/a |
708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SMHP-PPO-TRAIN-latest
|
ml.p5.48xlarge
|
| Nova Lite | Treinamento/pré-treinamento contínuo | Pré-treinamento contínuo (modelo de base) |
nova_lite_gpu_p5x16_pretrain.yaml
|
n/a | 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:HP-CPT-latest
|
ml.p5.48xlarge
|
| Nova Lite | Avaliação/Avaliar | Referências de texto padrão |
nova_lite_p5_48xl_general_text_benchmark_eval.yaml |
708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-TJ-Eval-latest
|
708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-HP-Eval-latest
|
ml.p5.48xlarge
|
| Nova Lite | Avaliação/Avaliar |
Avaliação de conjuntos de dados personalizados |
nova_lite_p5_48xl_bring_your_own_dataset_eval.yaml
|
708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-TJ-Eval-latest
|
708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-HP-Eval-latest
|
ml.p5.48xlarge
|
| Nova Lite | Avaliação/Avaliar |
Referências multimodais |
nova_lite_p5_48_general_multi_modal_benchmark_eval.yaml
|
708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-TJ-Eval-latest
|
708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-HP-Eval-latest
|
ml.p5.48xlarge
|
| Nova Lite | Avaliação/Avaliar |
LLM como avaliador |
nova_lite_p5_48xl_llm_judge_eval.yaml
|
708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-TJ-Eval-latest
|
708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-HP-Eval-latest
|
ml.p5.48xlarge
|
| Nova Micro | Treinamento/ajuste fino |
Ajuste fino supervisionado (LoRA) |
nova_micro_g5_gpu_lora_sft.yaml |
708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-TJ-SFT-latest |
n/a | ml.g5.12xlarge |
| Nova Micro | Treinamento/ajuste fino |
Ajuste fino supervisionado (LoRA) |
nova_micro_p5_gpu_lora_sft.yaml
|
708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-TJ-SFT-latest
|
708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-HP-SFT-latest
|
ml.p5.48xlarge
|
| Nova Micro | Treinamento/ajuste fino |
Ajuste fino supervisionado (completo) |
nova_micro_p5_gpu_sft.yaml
|
708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-TJ-SFT-latest
|
708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-HP-SFT-latest
|
ml.p5.48xlarge
|
| Nova Micro | Treinamento/ajuste fino |
Otimização direta de preferências (completa) |
nova_micro_p5_gpu_dpo.yaml
|
708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-TJ-DPO-latest
|
708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-HP-DPO-latest
|
ml.p5.48xlarge
|
| Nova Micro | Treinamento/ajuste fino |
Otimização direta de preferências (LoRa) |
nova_micro_p5_gpu_lora_dpo.yaml
|
708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-TJ-DPO-latest
|
708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-HP-DPO-latest
|
ml.p5.48xlarge
|
| Nova Micro | Treinamento/aprendizado por reforço |
Aprendizado por reforço baseado em recompensas (PPO) |
nova_micro_p5_gpu_ppo.yaml
|
n/a | 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SMHP-PPO-TRAIN-latest
|
ml.p5.48xlarge |
| Nova Micro | Treinamento/pré-treinamento contínuo | Pré-treinamento contínuo (modelo de base) |
nova_micro_gpu_p5x8_pretrain.yaml
|
n/a | 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:HP-CPT-latest
|
ml.p5.48xlarge |
| Nova Micro | Avaliação/Avaliar | Referências gerais de texto |
nova_micro_p5_48xl_general_text_benchmark_eval.yaml
|
708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-TJ-Eval-latest
|
708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-HP-Eval-latest
|
ml.p5.48xlarge |
| Nova Micro | Avaliação/Avaliar |
Referência de traga seu próprio conjunto de dados (gen_qa) |
nova_micro_p5_48xl_bring_your_own_dataset_eval.yaml
|
708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-TJ-Eval-latest
|
708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-HP-Eval-latest
|
ml.p5.48xlarge |
| Nova Micro | Avaliação/Avaliar |
LLM como avaliador |
nova_micro_p5_48xl_llm_judge_eval.yaml
|
708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-TJ-Eval-latest
|
708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-HP-Eval-latest
|
ml.p5.48xlarge |
| Nova Pro | Treinamento/ajuste fino |
Ajuste fino supervisionado (LoRA) |
nova_pro_p5_gpu_lora_sft.yaml
|
708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-TJ-SFT-latest
|
708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-HP-SFT-latest |
ml.p5.48xlarge
|
| Nova Pro | Treinamento/ajuste fino |
Ajuste fino supervisionado (completo) |
nova_pro_p5_gpu_sft.yaml
|
708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-TJ-SFT-latest |
708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-HP-SFT-latest |
ml.p5.48xlarge |
| Nova Pro | Treinamento/ajuste fino |
Otimização direta de preferências (completa) |
nova_pro_p5_gpu_dpo.yaml
|
708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-TJ-DPO-latest
|
708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-HP-DPO-latest
|
ml.p5.48xlarge |
| Nova Pro | Treinamento/ajuste fino |
Otimização direta de preferências (LoRa) |
nova_pro_p5_gpu_lora_dpo.yaml
|
708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-TJ-DPO-latest
|
708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-HP-DPO-latest
|
ml.p5.48xlarge |
| Nova Pro | Treinamento/aprendizado por reforço |
Aprendizado por reforço baseado em recompensas (PPO) |
nova_pro_p5_gpu_ppo.yaml
|
n/a | 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SMHP-PPO-TRAIN-latest
|
ml.p5.48xlarge |
| Nova Pro | Treinamento/pré-treinamento contínuo | Pré-treinamento contínuo (modelo de base) |
nova_pro_gpu_p5x24_pretrain.yaml
|
n/a | 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:HP-CPT-latest
|
ml.p5.48xlarge |
| Nova Pro | Treinamento/aumento de dados | Destilação de modelos para pós-treinamento |
nova_pro_r5_cpu_distill.yaml
|
n/a | 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-distillation-repo:SM-TJ-DISTILL-LATEST
|
ml.r5.24xlarge
|
| Nova Pro | Avaliação/Avaliar | Referências de texto padrão |
nova_pro_p5_48xl_general_text_benchmark_eval.yaml
|
708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-TJ-Eval-latest
|
708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-HP-Eval-latest
|
ml.p5.48xlarge |
| Nova Pro | Avaliação/Avaliar | Avaliação de conjuntos de dados personalizados |
nova_pro_p5_48xl_bring_your_own_dataset_eval.yaml
|
708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-TJ-Eval-latest
|
708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-HP-Eval-latest
|
ml.p5.48xlarge |
| Nova Pro | Avaliação/Avaliar | Referências multimodais |
nova_pro_p5_48xl_general_multi_modal_benchmark_eval.yaml
|
708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-TJ-Eval-latest
|
708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-HP-Eval-latest
|
ml.p5.48xlarge |
| Nova Pro | Avaliação/Avaliar | LLM como avaliador |
nova_pro_p5_48xl_llm_judge_eval.yaml |
708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-TJ-Eval-latest
|
708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-HP-Eval-latest
|
ml.p5.48xlarge |
| Nova Premier | Treinamento | Destilação de modelos para pós-treinamento |
|
|
n/a |
|