SDK de personalización de Nova

El SDK de personalización de Nova es un SDK para Python completo para personalizar los modelos de Amazon Nova. El SDK proporciona una interfaz unificada para el entrenamiento, la evaluación, la supervisión, la implementación y la inferencia de los modelos de Amazon Nova en diferentes plataformas, como SageMaker AI y Amazon Bedrock. Tanto si va a adaptar los modelos a tareas específicas de un dominio o a optimizar el rendimiento para su caso de uso, este SDK proporciona todo lo que necesita en una interfaz unificada.

Ventajas

Requisitos

El SDK requiere al menos Python 3.12.

Instalación

Para instalar este SDK, use el siguiente comando::

pip install amzn-nova-customization-sdk

Modelos y técnicas compatibles

El SDK admite los siguientes modelos y técnicas de la familia Amazon Nova:

Introducción

1. Preparación de datos

Cargue el conjunto de datos desde su equipo o desde S3 y deje que el SDK se encargue de la transformación al formato correcto para el método de entrenamiento que haya elegido. También puede usar datos formateados y comenzar de inmediato.

from amzn_nova_customization_sdk.dataset.dataset_loader import JSONLDatasetLoader
from amzn_nova_customization_sdk.model.model_enums import Model, TrainingMethod

loader = JSONLDatasetLoader(question="input", answer="output")
loader.load("s3://your-bucket/training-data.jsonl")
loader.transform(method=TrainingMethod.SFT_LORA, model=Model.NOVA_LITE)

2. Configuración de la infraestructura

Elija los recursos computacionales: el SDK valida las configuraciones y garantiza una configuración óptima.

from amzn_nova_customization_sdk.manager.runtime_manager import SMTJRuntimeManager, SMHPRuntimeManager


# SageMaker Training Jobs
runtime = SMTJRuntimeManager(
    instance_type="ml.p5.48xlarge",
    instance_count=4
)

# SageMaker HyperPod
runtime = SMHPRuntimeManager(
    instance_type="ml.p5.48xlarge",
    instance_count=4,
    cluster_name="my-hyperpod-cluster",
    namespace="kubeflow"
)

3. Entrenamiento

Comience a entrenar con tan solo unas pocas líneas de código.

from amzn_nova_customization_sdk.model import NovaModelCustomizer
from amzn_nova_customization_sdk.model.model_enums import Model, TrainingMethod

customizer = NovaModelCustomizer(
    model=Model.NOVA_LITE_2,
    method=TrainingMethod.SFT_LORA,
    infra=runtime,
    data_s3_path="s3://your-bucket/prepared-data.jsonl"
)

result = customizer.train(job_name="my-training-job")

4. Supervisión

Haga un seguimiento del progreso del entrenamiento directamente desde el SDK.

from amzn_nova_customization_sdk.monitor.log_monitor import CloudWatchLogMonitor

# Monitor training logs
customizer.get_logs()

# Or monitor directly via CloudWatchLogMonitor
monitor = CloudWatchLogMonitor.from_job_result(result)
monitor.show_logs(limit=10)

# Check job status
result.get_job_status() # InProgress, Completed, Failed

5. Evaluación

Evalúe el rendimiento del modelo usando varias pruebas comparativas integradas o diseñe sus propias evaluaciones.

from amzn_nova_customization_sdk.recipe_config.eval_config import EvaluationTask

# Evaluate on benchmark tasks
eval_result = customizer.evaluate(
    job_name="model-eval",
    eval_task=EvaluationTask.MMLU,
    model_path=result.model_artifacts.checkpoint_s3_path
)

6. Implementación

Implemente el modelo personalizado en producción gracias a la compatibilidad nativa con Amazon Bedrock o SageMaker.

from amzn_nova_customization_sdk.model.model_enums import DeployPlatform

# Bedrock provisioned throughput
deployment = customizer.deploy(
    model_artifact_path=result.model_artifacts.checkpoint_s3_path,
    deploy_platform=DeployPlatform.BEDROCK_PT,
    unit_count=10
)

# Bedrock On-Demand
deployment = customizer.deploy(
    model_artifact_path=result.model_artifacts.checkpoint_s3_path,
    deploy_platform=DeployPlatform.BEDROCK_OD
)

# Sagemaker Real-time Inference
deployment = customizer.deploy(
    model_artifact_path=result.model_artifacts.checkpoint_s3_path,
    deploy_platform=DeployPlatform.SAGEMAKER,
    unit_count=10,
    sagemaker_instance_type="ml.p5.48xlarge",
    sagemaker_environment_variables={
        "CONTEXT_LENGTH": "12000",
        "MAX_CONCURRENCY": "16",
    }
)

Capacidades clave

Creación de fórmulas sobre la marcha

Gracias al SDK, no es necesario buscar las fórmulas o el URI de contenedor adecuados para técnicas específicas.

Procesamiento inteligente de datos

El SDK transforma automáticamente los datos en el formato correcto para el entrenamiento. Tanto si usa JSON, JSONL o CSV, el cargador de datos gestiona la conversión sin problemas. El cargador de datos admite texto y datos multimodales (imágenes y videos).

Soporte para infraestructura empresarial

El SDK funciona tanto con Trabajos de entrenamiento de SageMaker como con SageMaker HyperPod, y administra automáticamente los siguientes aspectos:

Evaluación completa

Evalúe sus modelos personalizados con pruebas comparativas estándar como las siguientes:

Use los valores predeterminados de las pruebas comparativas o modifíquelos para adaptarlos a sus necesidades:

Implementación en entornos de producción

Implemente sus modelos en Amazon Bedrock o SageMaker con opciones para lo siguiente:

Inferencia en lotes

Lleve a cabo trabajos de inferencia a gran escala de manera eficiente:

Nova Forge

Los suscriptores de Nova Forge pueden usar el SDK para utilizar fórmulas de mezcla de datos.

Más información

¿Todo listo para empezar a personalizar los modelos de Nova con el SDK de personalización de Nova? Consulte nuestro repositorio de GitHub para obtener guías detalladas, referencias de la API y más ejemplos: https://github.com/aws/nova-customization-sdk