As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
SDK de personalização Nova
O Nova Customization SDK é um SDK Python abrangente para personalizar modelos Amazon Nova. O SDK fornece uma interface unificada para treinamento, avaliação, monitoramento, implantação e inferência de modelos do Amazon Nova em diferentes plataformas, incluindo SageMaker AI e Amazon Bedrock. Se você está adaptando modelos para tarefas específicas do domínio ou otimizando o desempenho para seu caso de uso, esse SDK fornece tudo o que você precisa em uma interface unificada.
Benefícios
-
Um SDK para todo o ciclo de vida da personalização do modelo, desde a preparação dos dados até a implantação e o monitoramento.
-
Support para vários métodos de treinamento, incluindo ajuste fino supervisionado (SFT) e ajuste fino de reforço (RFT), com abordagens LoRa e full-rank.
-
Suporte integrado para trabalhos de treinamento de SageMaker IA e SageMaker HyperPod, com gerenciamento automático de recursos.
-
Chega de encontrar as receitas ou o URI do contêiner certos para suas técnicas de treinamento.
-
Traga suas próprias receitas de treinamento ou use os padrões inteligentes do SDK com substituições de parâmetros.
-
O SDK valida sua configuração em relação às combinações de modelos e instâncias compatíveis, evitando erros antes do início do treinamento.
-
O CloudWatch monitoramento integrado da Amazon permite que você acompanhe o progresso do treinamento em tempo real.
Requisitos
O SDK requer pelo menos o Python 3.12.
Instalação
Para instalar esse SDK, siga o comando abaixo.
pip install amzn-nova-customization-sdk
Modelos e técnicas compatíveis
O SDK suporta os seguintes modelos e técnicas dentro da família Amazon Nova:
| Método | Modelos compatíveis |
|---|---|
| Ajuste fino supervisionado do LoRa | Todos os modelos Nova |
| Ajuste fino supervisionado Full-Rank | Todos os modelos Nova |
| Reforço: ajuste fino do LoRa | Nova Lite 2.0 |
| Reforço, ajuste fino, nível completo | Nova Lite 2.0 |
Conceitos básicos
Tópicos
1. Prepare seus dados
Carregue seu conjunto de dados a partir de arquivos locais ou do S3 e deixe que o SDK faça a transformação para o formato correto para o método de treinamento escolhido. Ou forneça dados formatados e comece imediatamente.
from amzn_nova_customization_sdk.dataset.dataset_loader import JSONLDatasetLoader from amzn_nova_customization_sdk.model.model_enums import Model, TrainingMethod loader = JSONLDatasetLoader(question="input", answer="output") loader.load("s3://your-bucket/training-data.jsonl") loader.transform(method=TrainingMethod.SFT_LORA, model=Model.NOVA_LITE)
2. Configure sua infraestrutura
Escolha seus recursos computacionais — o SDK valida as configurações e garante a configuração ideal.
from amzn_nova_customization_sdk.manager.runtime_manager import SMTJRuntimeManager, SMHPRuntimeManager # SageMaker Training Jobs runtime = SMTJRuntimeManager( instance_type="ml.p5.48xlarge", instance_count=4 ) # SageMaker HyperPod runtime = SMHPRuntimeManager( instance_type="ml.p5.48xlarge", instance_count=4, cluster_name="my-hyperpod-cluster", namespace="kubeflow" )
3. Treinamento
Comece a treinar com apenas algumas linhas de código.
from amzn_nova_customization_sdk.model import NovaModelCustomizer from amzn_nova_customization_sdk.model.model_enums import Model, TrainingMethod customizer = NovaModelCustomizer( model=Model.NOVA_LITE_2, method=TrainingMethod.SFT_LORA, infra=runtime, data_s3_path="s3://your-bucket/prepared-data.jsonl" ) result = customizer.train(job_name="my-training-job")
4. Monitorar
Acompanhe seu progresso no treinamento diretamente do SDK.
from amzn_nova_customization_sdk.monitor.log_monitor import CloudWatchLogMonitor # Monitor training logs customizer.get_logs() # Or monitor directly via CloudWatchLogMonitor monitor = CloudWatchLogMonitor.from_job_result(result) monitor.show_logs(limit=10) # Check job status result.get_job_status() # InProgress, Completed, Failed
5. Avalie
Avalie o desempenho do modelo com uma variedade de benchmarks integrados ou crie suas próprias avaliações.
from amzn_nova_customization_sdk.recipe_config.eval_config import EvaluationTask # Evaluate on benchmark tasks eval_result = customizer.evaluate( job_name="model-eval", eval_task=EvaluationTask.MMLU, model_path=result.model_artifacts.checkpoint_s3_path )
6. Implantar
Implante seu modelo personalizado para produção com suporte integrado para o Amazon Bedrock.
from amzn_nova_customization_sdk.model.model_enums import DeployPlatform # Bedrock provisioned throughput deployment = customizer.deploy( model_artifact_path=result.model_artifacts.checkpoint_s3_path, deploy_platform=DeployPlatform.BEDROCK_PT, pt_units=10 ) # Bedrock On-Demand deployment = customizer.deploy( model_artifact_path=result.model_artifacts.checkpoint_s3_path, deploy_platform=DeployPlatform.BEDROCK_OD, pt_units=10 )
Capacidades principais
Criação de receitas em tempo real
O SDK elimina a necessidade de pesquisar as receitas apropriadas ou o URI do contêiner para técnicas específicas.
Processamento inteligente de dados
O SDK transforma automaticamente seus dados no formato correto para treinamento. Se você estiver trabalhando com arquivos JSON, JSONL ou CSV, o carregador de dados processa a conversão sem problemas. O Data Loader suporta texto e dados multimodais (imagens e vídeos).
Enterprise Infrastructure Support
O SDK funciona com trabalhos SageMaker de treinamento e SageMaker HyperPod gerencia automaticamente:
-
Validação do tipo de instância
-
Validação da fórmula
-
Orquestração e monitoramento de trabalhos
Avaliação abrangente
Avalie seus modelos personalizados em relação aos benchmarks padrão, incluindo:
-
MMLU (compreensão massiva de linguagem multitarefa)
-
BBH (Tarefas de raciocínio avançado)
-
GPQA (perguntas e respostas à prova do Google em nível de pós-graduação)
Use os padrões de benchmark ou modifique-os para atender às suas necessidades:
-
BYOM (traga sua própria métrica)
-
BYOD (traga seu próprio conjunto de dados)
Implantação de produção
Implante seus modelos no Amazon Bedrock com opções para:
-
Taxa de transferência provisionada - capacidade dedicada para desempenho consistente
-
Sob demanda - preços Pay-per-use
Inferência em lote
Execute trabalhos de inferência em grande escala com eficiência:
-
Processe milhares de solicitações em paralelo
-
Agregação automática de resultados
-
Processamento em lote econômico
Saiba mais
Pronto para começar a personalizar os modelos Nova com o Nova Customization SDK? Confira nosso GitHub repositório para obter guias detalhados, referências de API e exemplos adicionais:/https://github.com/aws-samples/sample-nova-customization-sdk