Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Nova Forge SDK

Nova Forge SDK adalah SDK Python komprehensif untuk menyesuaikan model Amazon Nova. SDK menyediakan antarmuka terpadu untuk pelatihan, evaluasi, pemantauan, penyebaran, dan inferensi model Amazon Nova di berbagai platform termasuk SageMaker AI dan Amazon Bedrock. Baik Anda mengadaptasi model ke tugas khusus domain atau mengoptimalkan kinerja untuk kasus penggunaan Anda, SDK ini menyediakan semua yang Anda butuhkan dalam satu antarmuka terpadu.

Manfaat

Persyaratan

SDK membutuhkan setidaknya Python 3.12.

Penginstalan

Untuk menginstal SDK ini, ikuti perintah di bawah ini.

pip install amzn-nova-forge

Model dan Teknik yang Didukung

SDK mendukung model dan teknik berikut dalam keluarga Amazon Nova:

Memulai

1. Siapkan Data Anda

Muat kumpulan data Anda dari file lokal atau S3, dan biarkan SDK menangani transformasi ke format yang benar untuk metode pelatihan yang Anda pilih. Atau, berikan data yang diformat dan segera mulai.

from amzn_nova_forge.dataset.dataset_loader import JSONLDatasetLoader
from amzn_nova_forge.model.model_enums import Model, TrainingMethod

loader = JSONLDatasetLoader(question="input", answer="output")
loader.load("s3://your-bucket/training-data.jsonl")
loader.transform(method=TrainingMethod.SFT_LORA, model=Model.NOVA_LITE)

2. Konfigurasikan Infrastruktur Anda

Pilih sumber daya komputasi Anda—SDK memvalidasi konfigurasi dan memastikan penyiapan yang optimal.

from amzn_nova_forge.manager.runtime_manager import BedrockRuntimeManager, SMTJRuntimeManager, SMHPRuntimeManager

# Bedrock
runtime = BedrockRuntimeManager(
     execution_role="arn:aws:iam::123456789012:role/ExampleRole"
)

# SageMaker Training Jobs
runtime = SMTJRuntimeManager(
    instance_type="ml.p5.48xlarge",
    instance_count=4
)

# SageMaker HyperPod
runtime = SMHPRuntimeManager(
    instance_type="ml.p5.48xlarge",
    instance_count=4,
    cluster_name="my-hyperpod-cluster",
    namespace="kubeflow"
)

3. Melatih

Mulai pelatihan hanya dengan beberapa baris kode.

from amzn_nova_forge.model import NovaModelCustomizer
from amzn_nova_forge.model.model_enums import Model, TrainingMethod

customizer = NovaModelCustomizer(
    model=Model.NOVA_LITE_2,
    method=TrainingMethod.SFT_LORA,
    infra=runtime,
    data_s3_path="s3://your-bucket/prepared-data.jsonl"
)

result = customizer.train(job_name="my-training-job")

4. Memantau

Lacak kemajuan latihan Anda langsung dari SDK.

from amzn_nova_forge.monitor.log_monitor import CloudWatchLogMonitor

# Monitor training logs
customizer.get_logs()

# Or monitor directly via CloudWatchLogMonitor
monitor = CloudWatchLogMonitor.from_job_result(result)
monitor.show_logs(limit=10)

# Check job status
result.get_job_status() # InProgress, Completed, Failed

5. Evaluasi

Evaluasi kinerja model dengan berbagai tolok ukur bawaan, atau rancang evaluasi Anda sendiri.

from amzn_nova_forge.recipe_config.eval_config import EvaluationTask

# Evaluate on benchmark tasks
eval_result = customizer.evaluate(
    job_name="model-eval",
    eval_task=EvaluationTask.MMLU,
    model_path=result.model_artifacts.checkpoint_s3_path
)

6. Deploy

Terapkan model khusus Anda ke produksi dengan dukungan bawaan untuk Amazon Bedrock atau. SageMaker

from amzn_nova_forge.model.model_enums import DeployPlatform

# Bedrock provisioned throughput
deployment = customizer.deploy(
    model_artifact_path=result.model_artifacts.checkpoint_s3_path,
    deploy_platform=DeployPlatform.BEDROCK_PT,
    unit_count=10
)

# Bedrock On-Demand
deployment = customizer.deploy(
    model_artifact_path=result.model_artifacts.checkpoint_s3_path,
    deploy_platform=DeployPlatform.BEDROCK_OD
)

# Sagemaker Real-time Inference
deployment = customizer.deploy(
    model_artifact_path=result.model_artifacts.checkpoint_s3_path,
    deploy_platform=DeployPlatform.SAGEMAKER,
    unit_count=10,
    sagemaker_instance_type="ml.p5.48xlarge",
    sagemaker_environment_variables={
        "CONTEXT_LENGTH": "12000",
        "MAX_CONCURRENCY": "16",
    }
)

Kemampuan Kunci

Penciptaan Resep On The Fly

SDK menghilangkan kebutuhan untuk mencari resep atau URI wadah yang sesuai untuk teknik tertentu.

Pemrosesan Data Cerdas

SDK secara otomatis mengubah data Anda menjadi format yang benar untuk pelatihan. Baik Anda bekerja dengan file JSON, JSONL, atau CSV, pemuat data menangani konversi dengan mulus. Data Loader mendukung teks serta data multimodal (gambar dan video).

Dukungan Infrastruktur Perusahaan

SDK bekerja dengan kedua Pekerjaan SageMaker Pelatihan dan SageMaker HyperPod, secara otomatis mengelola:

SDK juga mendukung SageMaker Training Jobs tanpa server dan kustomisasi Bedrock.

Evaluasi komprehensif

Evaluasi model khusus Anda terhadap tolok ukur standar termasuk:

Baik menggunakan default benchmark, atau memodifikasinya agar sesuai dengan kebutuhan Anda:

Penyebaran Produksi

Terapkan model Anda ke Amazon Bedrock atau SageMaker dengan opsi untuk:

Inferensi Batch

Jalankan pekerjaan inferensi skala besar secara efisien:

Nova Forge

Untuk pelanggan Nova Forge, SDK mendukung resep pencampuran data.

Pelajari Lebih Lanjut

Siap untuk mulai menyesuaikan model Nova dengan Nova Forge SDK? Lihat GitHub repositori kami untuk panduan terperinci, referensi API, dan contoh tambahan: https://github.com/aws/nova-forge-sdk