View a markdown version of this page

Fórmulas do Amazon Nova - Amazon Nova

Fórmulas do Amazon Nova

Você pode obter uma fórmula do Amazon Nova no repositório de fórmulas do SageMaker HyperPod. Uma fórmula do Amazon Nova é um arquivo de configuração YAML que fornece ao SageMaker detalhes sobre como executar a tarefa de personalização de modelos. Ela fornece o nome do modelo de base, define os hiperparâmetros de treinamento, configura as definições de otimização e inclui todas as opções adicionais necessárias para ajustar ou treinar o modelo com sucesso.

Você também pode acessar as fórmulas do Amazon Nova por meio do SageMaker AI Monarch e do JumpStart acessando o hub de modelos do SageMaker JumpStart, selecionando AWS e navegando pelos modelos do Amazon Nova para encontrar suas fórmulas correspondentes. O SageMaker AI Monarch e o JumpStart fornecem exemplos de caderno para cada fórmula, que incluem todas as etapas necessárias para modificar as fórmulas e executar tarefas de personalização usando tarefas de treinamento do SageMaker ou ambientes do SageMaker HyperPod.

Para acessar as páginas de fórmulas do Amazon SageMaker Studio, o perfil de execução deve ter as permissões a seguir.

JSON
{ "Version":"2012-10-17", "Statement": [ { "Effect": "Allow", "Action": [ "s3:GetObject" ], "Resource": [ "arn:aws:s3:::*model-customization-recipes*" ] } ] }

Para executar os cadernos de exemplo nas tarefas de treinamento do SageMaker e no SageMaker HyperPod, use uma das seguintes versões de imagem da Distribuição do SageMaker: 2.7.1+, 2.8.0+, 3.2.1+ e 3.3.0+. Isso se aplica tanto ao SageMaker AI Monarch quanto ao JumpStart.

Obter fórmulas do Amazon Nova

Para ter uma fórmula básica do Amazon Nova, clone o repositório de fórmulas do SageMaker HyperPod executando o comando a seguir.

git clone https://github.com/aws/sagemaker-hyperpod-recipes.git

As fórmulas básicas estão disponíveis em recipes_collection/recipes/.

cd recipes_collection/recipes/

As fórmulas de personalização do Amazon Nova estão nas pastas a seguir.

Tipo de fórmula Pasta
SFT (full-rank e PEFT) fine-tuning/nova
Avaliação evaluation/nova
CPT training/nova

Obtenção de fórmulas do Amazon Nova Forge

Para acessar fórmulas especializadas do Amazon Nova Forge para trabalhos do SageMaker HyperPod, configure seu acesso ao Amazon Nova Forge e, em seguida, siga este workshop para configurar a versão do Forge da CLI do SageMaker HyperPod. Para tarefas de treinamento do SageMaker, o Console da AWS e o Python SageMaker SDK acessarão automaticamente as fórmulas do Forge.

Modelos e algoritmos disponíveis

A tabela a seguir resume a disponibilidade de personalização de modelos do Amazon Nova 2.0 e de algoritmos compatíveis usando o SageMaker. Para personalizar o modelo Amazon Nova 1.0, consulte as Fórmulas do Amazon Nova 1.0.

Nome do modelo

ID do modelo

Ajustar

Observações

Amazon Nova Lite 2.0

amazon.nova-2-lite-v1:0:256k

Sim

  • SFT: aceita texto e/ou imagem ou texto e/ou vídeo como entrada e produz texto como saída. Uma única tarefa não pode combinar texto, imagem e vídeo na mesma execução.

  • RFT: aceita texto como entrada para conversas de turno único e gera texto como saída.

  • CPT: aceita texto como entrada.

Amazon Nova 2.0 Lite

A tabela abaixo lista informações detalhadas das fórmulas de referência do Amazon Nova 2.0 Lite. Role horizontalmente para ver a tabela completa, incluindo URIs de imagem e tipos de instância de computação.

Modelo Categoria/subcategoria Técnica Nome da fórmula URI da imagem (tarefas de treinamento) URI da imagem (SageMaker HyperPod) Instância de computação
Nova 2.0 Lite Treinamento Pré-treinamento contínuo nova_lite_2_0_p5x8_gpu_pretrain.yaml N/D 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-HP-CPT-V2-latest ml.p5.48xlarge, ml.p5en.48xlarge
Nova 2.0 Lite Ajuste fino com eficiência de parâmetros Ajuste nova_lite_2_0_p5_gpu_lora_sft.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-TJ-SFT-V2-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-HP-SFT-V2-latest ml.p5.48xlarge, ml.p5en.48xlarge
Nova 2.0 Lite Ajuste fino de full-rank Ajuste nova_lite_2_0_p5_gpu_sft.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-TJ-SFT-V2-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-HP-SFT-V2-latest ml.p5.48xlarge, ml.p5en.48xlarge
Nova 2.0 Lite RFT com eficiência de parâmetros Ajuste nova_lite_v2_smtj_p5_p5en_gpu_lora_rft.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-TJ-RFT-V2-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-HP-RFT-TRAIN-V2-latest ml.p5.48xlarge, ml.p5en.48xlarge
Nova 2.0 Lite RFT de full-rank Ajuste nova_lite_v2_smtj_p5en_gpu_rft.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-TJ-RFT-V2-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-HP-RFT-TRAIN-V2-latest ml.p5.48xlarge, ml.p5en.48xlarge
Nova 2.0 Lite Traga seus próprios dados Avaliação nova_lite_2_0_p5_48xl_gpu_bring_your_own_dataset_eval.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-TJ-Eval-V2-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-HP-Eval-V2-latest ml.p5.48xlarge, ml.p5en.48xlarge
Nova 2.0 Lite Benchmark geral de texto Avaliação nova_lite_2_0_p5_48xl_gpu_general_text_benchmark_eval.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-TJ-Eval-V2-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-HP-Eval-V2-latest ml.p5.48xlarge, ml.p5en.48xlarge
Nova 2.0 Lite Avaliação de RFT Avaliação nova_lite_2_0_p5_48xl_gpu_rft_eval.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-TJ-Eval-V2-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-HP-Eval-V2-latest ml.p5.48xlarge, ml.p5en.48xlarge
Nova 2.0 Lite LLM como avaliador baseado em critérios Avaliação nova_lite_2_0_p5_48xl_gpu_rubric_llm_judge_eval.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-TJ-Eval-V2-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-HP-Eval-V2-latest ml.p5.48xlarge, ml.p5en.48xlarge