SDK de personalização Nova - SageMaker IA da Amazon

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

SDK de personalização Nova

O Nova Customization SDK é um SDK Python abrangente para personalizar modelos Amazon Nova. O SDK fornece uma interface unificada para treinamento, avaliação, monitoramento, implantação e inferência de modelos do Amazon Nova em diferentes plataformas, incluindo SageMaker AI e Amazon Bedrock. Se você está adaptando modelos para tarefas específicas do domínio ou otimizando o desempenho para seu caso de uso, esse SDK fornece tudo o que você precisa em uma interface unificada.

Benefícios

  • Um SDK para todo o ciclo de vida da personalização do modelo, desde a preparação dos dados até a implantação e o monitoramento.

  • Support para vários métodos de treinamento, incluindo ajuste fino supervisionado (SFT) e ajuste fino de reforço (RFT), com abordagens LoRa e full-rank.

  • Suporte integrado para trabalhos de treinamento de SageMaker IA e SageMaker HyperPod, com gerenciamento automático de recursos.

  • Chega de encontrar as receitas ou o URI do contêiner certos para suas técnicas de treinamento.

  • Traga suas próprias receitas de treinamento ou use os padrões inteligentes do SDK com substituições de parâmetros.

  • O SDK valida sua configuração em relação às combinações de modelos e instâncias compatíveis, evitando erros antes do início do treinamento.

  • O CloudWatch monitoramento integrado da Amazon permite que você acompanhe o progresso do treinamento em tempo real.

Requisitos

O SDK requer pelo menos o Python 3.12.

Instalação

Para instalar esse SDK, siga o comando abaixo.

pip install amzn-nova-customization-sdk

Modelos e técnicas compatíveis

O SDK suporta os seguintes modelos e técnicas dentro da família Amazon Nova:

Método Modelos compatíveis
Ajuste fino supervisionado do LoRa Todos os modelos Nova
Ajuste fino supervisionado Full-Rank Todos os modelos Nova
Reforço: ajuste fino do LoRa Nova Lite 2.0
Reforço, ajuste fino, nível completo Nova Lite 2.0

Conceitos básicos

1. Prepare seus dados

Carregue seu conjunto de dados a partir de arquivos locais ou do S3 e deixe que o SDK faça a transformação para o formato correto para o método de treinamento escolhido. Ou forneça dados formatados e comece imediatamente.

from amzn_nova_customization_sdk.dataset.dataset_loader import JSONLDatasetLoader from amzn_nova_customization_sdk.model.model_enums import Model, TrainingMethod loader = JSONLDatasetLoader(question="input", answer="output") loader.load("s3://your-bucket/training-data.jsonl") loader.transform(method=TrainingMethod.SFT_LORA, model=Model.NOVA_LITE)

2. Configure sua infraestrutura

Escolha seus recursos computacionais — o SDK valida as configurações e garante a configuração ideal.

from amzn_nova_customization_sdk.manager.runtime_manager import SMTJRuntimeManager, SMHPRuntimeManager # SageMaker Training Jobs runtime = SMTJRuntimeManager( instance_type="ml.p5.48xlarge", instance_count=4 ) # SageMaker HyperPod runtime = SMHPRuntimeManager( instance_type="ml.p5.48xlarge", instance_count=4, cluster_name="my-hyperpod-cluster", namespace="kubeflow" )

3. Treinamento

Comece a treinar com apenas algumas linhas de código.

from amzn_nova_customization_sdk.model import NovaModelCustomizer from amzn_nova_customization_sdk.model.model_enums import Model, TrainingMethod customizer = NovaModelCustomizer( model=Model.NOVA_LITE_2, method=TrainingMethod.SFT_LORA, infra=runtime, data_s3_path="s3://your-bucket/prepared-data.jsonl" ) result = customizer.train(job_name="my-training-job")

4. Monitorar

Acompanhe seu progresso no treinamento diretamente do SDK.

from amzn_nova_customization_sdk.monitor.log_monitor import CloudWatchLogMonitor # Monitor training logs customizer.get_logs() # Or monitor directly via CloudWatchLogMonitor monitor = CloudWatchLogMonitor.from_job_result(result) monitor.show_logs(limit=10) # Check job status result.get_job_status() # InProgress, Completed, Failed

5. Avalie

Avalie o desempenho do modelo com uma variedade de benchmarks integrados ou crie suas próprias avaliações.

from amzn_nova_customization_sdk.recipe_config.eval_config import EvaluationTask # Evaluate on benchmark tasks eval_result = customizer.evaluate( job_name="model-eval", eval_task=EvaluationTask.MMLU, model_path=result.model_artifacts.checkpoint_s3_path )

6. Implantar

Implante seu modelo personalizado para produção com suporte integrado para o Amazon Bedrock.

from amzn_nova_customization_sdk.model.model_enums import DeployPlatform # Bedrock provisioned throughput deployment = customizer.deploy( model_artifact_path=result.model_artifacts.checkpoint_s3_path, deploy_platform=DeployPlatform.BEDROCK_PT, pt_units=10 ) # Bedrock On-Demand deployment = customizer.deploy( model_artifact_path=result.model_artifacts.checkpoint_s3_path, deploy_platform=DeployPlatform.BEDROCK_OD, pt_units=10 )

Capacidades principais

Criação de receitas em tempo real

O SDK elimina a necessidade de pesquisar as receitas apropriadas ou o URI do contêiner para técnicas específicas.

Processamento inteligente de dados

O SDK transforma automaticamente seus dados no formato correto para treinamento. Se você estiver trabalhando com arquivos JSON, JSONL ou CSV, o carregador de dados processa a conversão sem problemas. O Data Loader suporta texto e dados multimodais (imagens e vídeos).

Enterprise Infrastructure Support

O SDK funciona com trabalhos SageMaker de treinamento e SageMaker HyperPod gerencia automaticamente:

  • Validação do tipo de instância

  • Validação da fórmula

  • Orquestração e monitoramento de trabalhos

Avaliação abrangente

Avalie seus modelos personalizados em relação aos benchmarks padrão, incluindo:

  • MMLU (compreensão massiva de linguagem multitarefa)

  • BBH (Tarefas de raciocínio avançado)

  • GPQA (perguntas e respostas à prova do Google em nível de pós-graduação)

Use os padrões de benchmark ou modifique-os para atender às suas necessidades:

  • BYOM (traga sua própria métrica)

  • BYOD (traga seu próprio conjunto de dados)

Implantação de produção

Implante seus modelos no Amazon Bedrock com opções para:

  • Taxa de transferência provisionada - capacidade dedicada para desempenho consistente

  • Sob demanda - preços Pay-per-use

Inferência em lote

Execute trabalhos de inferência em grande escala com eficiência:

  • Processe milhares de solicitações em paralelo

  • Agregação automática de resultados

  • Processamento em lote econômico

Saiba mais

Pronto para começar a personalizar os modelos Nova com o Nova Customization SDK? Confira nosso GitHub repositório para obter guias detalhados, referências de API e exemplos adicionais:/https://github.com/aws-samples/sample-nova-customization-sdk