Fórmulas do Amazon Nova - Amazon SageMaker AI

Fórmulas do Amazon Nova

Você pode obter uma fórmula do Amazon Nova no repositório de fórmulas do SageMaker HyperPod. Uma fórmula do Nova é um arquivo de configuração YAML que fornece ao SageMaker AI detalhes sobre como executar a tarefa de personalização de modelo. Ela fornece o nome do modelo de base, define os hiperparâmetros de treinamento, configura as definições de otimização e inclui todas as opções adicionais necessárias para ajustar ou treinar o modelo com sucesso.

Você também pode acessar as fórmulas do Nova por meio do Amazon SageMaker Studio e do Estúdio Unificado Amazon SageMaker acessando o hub de modelos do JumpStart, selecionando AWS e navegando pelos modelos do Amazon Nova para encontrar suas fórmulas correspondentes. Tanto o Amazon SageMaker Studio quanto o Estúdio Unificado Amazon SageMaker oferecem exemplos de caderno para cada fórmula, que incluem todas as etapas necessárias para modificar as fórmulas e executar trabalhos de personalização usando tarefas de treinamento do SageMaker AI ou ambientes do Amazon SageMaker HyperPod.

Para acessar as páginas de fórmulas do Amazon SageMaker Studio, o perfil de execução deve ter as permissões a seguir.

{ "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Action": [ "s3:GetObject" ], "Resource": [ "arn:aws:s3:::*model-customization-recipes*" ] } ] }

Para executar os cadernos de exemplo nas tarefas de treinamento do SageMaker e no SageMaker HyperPod, use uma das seguintes versões de imagem da Distribuição do SageMaker: 2.7.1+, 2.8.0+, 3.2.1+ e 3.3.0+. Isso se aplica ao Amazon SageMaker Studio e ao Estúdio Unificado Amazon SageMaker.

Obter fórmulas do Amazon Nova

Para ter uma fórmula básica do Amazon Nova, clone o repositório de fórmulas do SageMaker HyperPod executando o comando a seguir.

git clone https://github.com/aws/sagemaker-hyperpod-recipes.git

As receitas básicas estão disponíveis em recipes_collection/recipes/.

cd recipes_collection/recipes/

As fórmulas de personalização do Amazon Nova estão nas pastas a seguir.

Tipo de fórmula Pasta
SFT (de classificação completa e PEFT), PPO, DPO (de classificação completa e PEFT) fine-tuning/nova
Avaliação evaluation/nova
CPT training/nova

Modelos e algoritmos disponíveis

A tabela a seguir resume a disponibilidade de personalização para modelos do Amazon Nova e algoritmos compatíveis por meio do SageMaker AI.

Nome do modelo

ID do modelo

Ajustar

Observações

Amazon Nova Micro

amazon.nova-micro-v1:0:128k

Sim

For both SFT and DPO, this model accepts text as input and produces text as output only.

Amazon Nova Lite

amazon.nova-lite-v1:0:300k

Sim

  • SFT: aceita texto e/ou imagem ou texto e/ou vídeo como entrada e produz texto como saída. Uma única tarefa não pode combinar texto, imagem e vídeo na mesma execução.

  • DPO: aceita texto e imagem como entrada e produz texto como saída.

Amazon Nova Pro

amazon.nova-pro-v1:0:300k

Sim

  • SFT: aceita texto e/ou imagem ou texto e/ou vídeo como entrada e produz texto como saída. Uma única tarefa não pode combinar texto, imagem e vídeo na mesma execução.

  • DPO: aceita texto e imagem como entrada e produz texto como saída.

Referência de fórmulas do Amazon Nova

A tabela abaixo lista informações detalhadas da referência de fórmulas do Amazon Nova.

Modelo Categoria/subcategoria Técnica Nome da fórmula URI da imagem (tarefas de treinamento do SageMaker) URI da imagem (SageMaker HyperPod) Instância de computação
Nova Lite Treinamento/ajuste fino

Ajuste fino supervisionado (LoRA)

nova_lite_p5_gpu_lora_sft.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-TJ-SFT-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-HP-SFT-latest ml.p5.48xlarge
Nova Lite Treinamento/ajuste fino

Ajuste fino supervisionado (completo)

nova_lite_p5_gpu_sft.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-TJ-SFT-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-HP-SFT-latest ml.p5.48xlarge
Nova Lite Treinamento/ajuste fino

Otimização direta de preferências (completa)

nova_lite_p5_gpu_dpo.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-TJ-DPO-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-HP-DPO-latest ml.p5.48xlarge
Nova Lite Treinamento/ajuste fino

Otimização direta de preferências (LoRa)

nova_lite_p5_gpu_lora_dpo.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-TJ-DPO-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-HP-DPO-latest ml.p5.48xlarge
Nova Lite Treinamento/aprendizado por reforço

Aprendizado por reforço baseado em recompensas (PPO)

nova_lite_p5_gpu_ppo.yaml n/a 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SMHP-PPO-TRAIN-latest ml.p5.48xlarge
Nova Lite Treinamento/pré-treinamento contínuo Pré-treinamento contínuo (modelo de base) nova_lite_gpu_p5x16_pretrain.yaml n/a 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:HP-CPT-latest ml.p5.48xlarge
Nova Lite Avaliação/Avaliar Referências de texto padrão nova_lite_p5_48xl_general_text_benchmark_eval.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-TJ-Eval-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-HP-Eval-latest ml.p5.48xlarge
Nova Lite Avaliação/Avaliar

Avaliação de conjuntos de dados personalizados

nova_lite_p5_48xl_bring_your_own_dataset_eval.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-TJ-Eval-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-HP-Eval-latest ml.p5.48xlarge
Nova Lite Avaliação/Avaliar

Referências multimodais

nova_lite_p5_48_general_multi_modal_benchmark_eval.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-TJ-Eval-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-HP-Eval-latest ml.p5.48xlarge
Nova Lite Avaliação/Avaliar

LLM como avaliador

nova_lite_p5_48xl_llm_judge_eval.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-TJ-Eval-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-HP-Eval-latest ml.p5.48xlarge
Nova Micro Treinamento/ajuste fino

Ajuste fino supervisionado (LoRA)

nova_micro_g5_gpu_lora_sft.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-TJ-SFT-latest n/a ml.g5.12xlarge
Nova Micro Treinamento/ajuste fino

Ajuste fino supervisionado (LoRA)

nova_micro_p5_gpu_lora_sft.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-TJ-SFT-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-HP-SFT-latest ml.p5.48xlarge
Nova Micro Treinamento/ajuste fino

Ajuste fino supervisionado (completo)

nova_micro_p5_gpu_sft.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-TJ-SFT-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-HP-SFT-latest ml.p5.48xlarge
Nova Micro Treinamento/ajuste fino

Otimização direta de preferências (completa)

nova_micro_p5_gpu_dpo.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-TJ-DPO-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-HP-DPO-latest ml.p5.48xlarge
Nova Micro Treinamento/ajuste fino

Otimização direta de preferências (LoRa)

nova_micro_p5_gpu_lora_dpo.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-TJ-DPO-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-HP-DPO-latest ml.p5.48xlarge
Nova Micro Treinamento/aprendizado por reforço

Aprendizado por reforço baseado em recompensas (PPO)

nova_micro_p5_gpu_ppo.yaml n/a 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SMHP-PPO-TRAIN-latest ml.p5.48xlarge
Nova Micro Treinamento/pré-treinamento contínuo Pré-treinamento contínuo (modelo de base) nova_micro_gpu_p5x8_pretrain.yaml n/a 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:HP-CPT-latest ml.p5.48xlarge
Nova Micro Avaliação/Avaliar Referências gerais de texto nova_micro_p5_48xl_general_text_benchmark_eval.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-TJ-Eval-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-HP-Eval-latest ml.p5.48xlarge
Nova Micro Avaliação/Avaliar

Referência de traga seu próprio conjunto de dados (gen_qa)

nova_micro_p5_48xl_bring_your_own_dataset_eval.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-TJ-Eval-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-HP-Eval-latest ml.p5.48xlarge
Nova Micro Avaliação/Avaliar

LLM como avaliador

nova_micro_p5_48xl_llm_judge_eval.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-TJ-Eval-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-HP-Eval-latest ml.p5.48xlarge
Nova Pro Treinamento/ajuste fino

Ajuste fino supervisionado (LoRA)

nova_pro_p5_gpu_lora_sft.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-TJ-SFT-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-HP-SFT-latest ml.p5.48xlarge
Nova Pro Treinamento/ajuste fino

Ajuste fino supervisionado (completo)

nova_pro_p5_gpu_sft.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-TJ-SFT-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-HP-SFT-latest ml.p5.48xlarge
Nova Pro Treinamento/ajuste fino

Otimização direta de preferências (completa)

nova_pro_p5_gpu_dpo.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-TJ-DPO-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-HP-DPO-latest ml.p5.48xlarge
Nova Pro Treinamento/ajuste fino

Otimização direta de preferências (LoRa)

nova_pro_p5_gpu_lora_dpo.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-TJ-DPO-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-HP-DPO-latest ml.p5.48xlarge
Nova Pro Treinamento/aprendizado por reforço

Aprendizado por reforço baseado em recompensas (PPO)

nova_pro_p5_gpu_ppo.yaml n/a 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SMHP-PPO-TRAIN-latest ml.p5.48xlarge
Nova Pro Treinamento/pré-treinamento contínuo Pré-treinamento contínuo (modelo de base) nova_pro_gpu_p5x24_pretrain.yaml n/a 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:HP-CPT-latest ml.p5.48xlarge
Nova Pro Treinamento/aumento de dados Destilação de modelos para pós-treinamento nova_pro_r5_cpu_distill.yaml n/a 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-distillation-repo:SM-TJ-DISTILL-LATEST ml.r5.24xlarge
Nova Pro Avaliação/Avaliar Referências de texto padrão nova_pro_p5_48xl_general_text_benchmark_eval.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-TJ-Eval-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-HP-Eval-latest ml.p5.48xlarge
Nova Pro Avaliação/Avaliar Avaliação de conjuntos de dados personalizados nova_pro_p5_48xl_bring_your_own_dataset_eval.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-TJ-Eval-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-HP-Eval-latest ml.p5.48xlarge
Nova Pro Avaliação/Avaliar Referências multimodais nova_pro_p5_48xl_general_multi_modal_benchmark_eval.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-TJ-Eval-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-HP-Eval-latest ml.p5.48xlarge
Nova Pro Avaliação/Avaliar LLM como avaliador nova_pro_p5_48xl_llm_judge_eval.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-TJ-Eval-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-HP-Eval-latest ml.p5.48xlarge
Nova Premier Treinamento Destilação de modelos para pós-treinamento

nova_premier_r5_cpu_distill.yaml

708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-distillation-repo:SM-TJ-DISTILL-LATEST

n/a

ml.r5.24xlarge