Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Ottimizzazione di precisione supervisionata

Introduzione

La regolazione fine supervisionata utilizza un set di dati con coppie di input-output per l'attività di interesse. In altre parole, fornite esempi di suggerimenti (domande, istruzioni, ecc.) insieme alle risposte corrette o desiderate e continuate ad addestrare il modello in base a queste. I pesi del modello vengono regolati per ridurre al minimo una perdita supervisionata, in genere un'entropia incrociata tra le previsioni e i token di risposta target.

Quando usare SFT?

SFT è la soluzione migliore quando si ha un'attività ben definita con risultati chiari e desiderati. Se potete dire esplicitamente «Dato l'input X, l' correct/desired output è Y» e potete raccogliere esempi di tali mappature X-Y, allora la regolazione di precisione supervisionata è un'ottima scelta. Alcuni scenari in cui SFT eccelle includono:

L'SFT è il modo più diretto per insegnare a un LLM una nuova abilità o un nuovo comportamento quando è possibile specificare quale sia il comportamento giusto. Sfrutta la comprensione linguistica esistente del modello e la concentra sul vostro compito. Non utilizzate SFT quando il divario è legato alla conoscenza piuttosto che al comportamento; ciò non indurrà il modello ad apprendere nuovi fatti, gergo o eventi recenti. In questi casi, preferite una formazione preliminare continua su grandi corpora interni al dominio o la generazione potenziata dal recupero per trarre conclusioni dalle conoscenze esterne. Se è possibile misurare la qualità ma non è possibile etichettare una sola risposta corretta, è preferibile rinforzare la messa a punto con ricompense verificabili o una risposta corretta rispetto a SFT. LLM-as-judge

A seconda della complessità delle attività e delle prestazioni del modello Nova, senza alcuna ottimizzazione, è possibile pianificare da migliaia a decine di migliaia di dimostrazioni per attività, con la qualità, la coerenza e la diversità dei dati più importanti del volume grezzo.

Quando utilizzare i parametri in modo efficiente e quando utilizzare SFT a livello completo?

Le ricette di personalizzazione Nova consentono di eseguire in modo efficiente i parametri, in particolare LoRa o SFT completo. Se desiderate un aggiornamento del modello semplice ed economico o disponete di pochissimi dati, preferite metodi efficienti in termini di parametri in modo da addestrare piccoli adattatori lasciando intatta la maggior parte della spina dorsale (l'SFT completo aggiorna tutti i parametri del modello).

Miscelazione dei dati per SFT

Il data mixing consente di combinare i set di dati di allenamento personalizzati con i dati di formazione proprietari di Nova. Questa funzionalità è disponibile per entrambi i modelli Nova 1.0 e Nova 2.0.

Tipo di dati proprietario Nova: Nova supporta tipi di dati SFT testuali e multimodali. È organizzato in più categorie di dati, ciascuna contenente una combinazione di attività rilevanti per la categoria corrispondente.

Categorie di dati proprietarie Nova: I set di dati di testo includono diverse categorie tra cui: processo decisionale autonomo, completamento delle attività, set di dati orientati agli obiettivi (agenti), set di dati di esecuzione delle attività precisi sia ragionati che non ragionati (reasoning-instruction-following, seguire le istruzioni), sequenze che dimostrano il pensiero strategico e la suddivisione delle step-by-step attività (pianificazione), intelligenza artificiale responsabile (rai), contesto lungo, fattualità, matematica, radice e molti altri. Allo stesso modo, i set di dati multimodali includono video, screenshot, grafici e molti altri.

La funzione di miscelazione dei dati consente di combinare i propri campioni di addestramento personalizzati con campioni dei set di dati Nova utilizzati per la messa a punto di Nova. In questo modo è possibile evitare un eccessivo adattamento della formazione personalizzata e la «catastrofica dimenticanza» delle funzionalità di Nova, oppure aiutarvi a sviluppare nuove capacità quando vi allenate da un nuovo checkpoint preaddestrato.

Per inserire i dati di Nova, devi semplicemente aggiungere un blocco data_mixing al file YAML della ricetta, nella sezione training_config. I blocchi di miscelazione di testo e dati multimodali hanno contenuti diversi e i blocchi di miscelazione dei dati sono leggermente diversi per Nova 1.0 e Nova 2.0. Si prega di fare riferimento alle ricette corrispondenti.

Modelli supportati

Modalità supportata

Esempi di configurazione YAML

Esempio di blocco di miscelazione dei dati per Nova 1.0 Text Mixing

## Run config
run:
  name: "my-lora-run"             # A descriptive name for your training job
  model_type: "amazon.nova-lite-v1:0:300k"  # Model variant specification, do not change
  model_name_or_path: "nova-lite/prod"      # Base model path, do not change
  replicas: 4                     # Number of compute instances for training, allowed values are 4, 8, 16
  data_s3_path: ""                # Customer data path
  output_s3_path: ""              # Output artifact path, SageMaker HyperPod job-specific configuration - not compatible with standard SageMaker Training jobs

  ## MLFlow configs
  mlflow_tracking_uri: "" # Required for MLFlow
  mlflow_experiment_name: "my-lora-experiment" # Optional for MLFlow. Note: leave this field non-empty
  mlflow_run_name: "my-lora-run" # Optional for MLFlow. Note: leave this field non-empty
  
## Training specific configs
training_config:
  max_length: 32768               # Maximum context window size (tokens).
  global_batch_size: 64           # Global batch size, allowed values are 16, 32, 64

  trainer:
    max_epochs: 2                # Number of training epochs

  model:
    hidden_dropout: 0.0          # Dropout for hidden states, must be between 0.0 and 1.0
    attention_dropout: 0.0       # Dropout for attention weights, must be between 0.0 and 1.0
    ffn_dropout: 0.0             # Dropout for feed-forward networks, must be between 0.0 and 1.0

    optim:
      lr: 1e-5                 # Learning rate
      name: distributed_fused_adam  # Optimizer algorithm, do not change
      adam_w_mode: true        # Enable AdamW mode
      eps: 1e-06               # Epsilon for numerical stability
      weight_decay: 0.0        # L2 regularization strength, must be between 0.0 and 1.0
      betas:                   # Adam optimizer betas, must be between 0.0 and 1.0
        - 0.9
        - 0.999
      sched:
        warmup_steps: 10     # Learning rate warmup steps
        constant_steps: 0    # Steps at constant learning rate
        min_lr: 1e-6         # Minimum learning rate

    peft:
      peft_scheme: "lora"      # Enable LoRA for parameter-efficient fine-tuning
      lora_tuning:
        loraplus_lr_ratio: 8.0  # LoRA+ learning rate scaling factor, must be between 0.0 and 100.0
        alpha: 32            # Scaling factor for LoRA weights. Allowed values are 32, 64, 96, 128, 160 and 192
        adapter_dropout: 0.01  # Regularization for LoRA parameters. Must be between 0.0 and 1.0

data_mixing:
  dataset_catalog: sft_text       # Nova text dataset catalog
  sources:
    customer_data:
      percent: 50                 # Percent of overall mix to draw from customer data
    nova_data:                    # The remainder will be drawn from Nova data. The categories below must add to 100
      agents: 1                   # autonomous decision-making, task completion, goal-oriented behavior in AI systems
      chat: 51                    # Conversational exchanges demonstrating natural dialogue flow
      code: 8                     # Programming examples and solutions spanning multiple languages
      rai: 1                      # ethical AI principles, safety considerations, and responsible technology deployment
      instruction-following: 13   # precise task execution based on varying levels of user prompts and directives
      stem: 6                     # science, technology, engineering, and mathematics content
      planning: 2                 # sequences demonstrating strategic thinking and step-by-step task breakdown
      reasoning: 8                # logical problem-solving and analytical thinking demonstrations
      rag: 1                      # retrieval-augmented generation examples
      translation: 9              # language translation tasks

Esempio di configurazione di Nova 2.0

run:
  name: my-lora-sft-run
  model_type: amazon.nova-2-lite-v1:0:256k
  model_name_or_path: nova-lite-2/prod
  data_s3_path: s3://my-bucket-name/train.jsonl
  replicas: 4
  output_s3_path: s3://my-bucket-name/outputs/
  mlflow_tracking_uri: ""
  mlflow_experiment_name: "my-lora-sft-experiment"
  mlflow_run_name: "my-lora-sft-run"
  
training_config:
  max_steps: 100
  save_steps: 10
  save_top_k: 5
  max_length: 32768
  global_batch_size: 32
  reasoning_enabled: true
  lr_scheduler:
    warmup_steps: 15
    min_lr: 1e-6
  optim_config:
    lr: 1e-5
    weight_decay: 0.0
    adam_beta1: 0.9
    adam_beta2: 0.95
  peft:
    peft_scheme: "lora"
    lora_tuning:
      alpha: 64
      lora_plus_lr_ratio: 64.0

Miscelazione di dati di testo Nova 2.0

data_mixing:
  dataset_catalog: sft_1p5_text_chat
  sources:
    customer_data:
      percent: 50
    nova_data:
      agents: 1
      baseline: 10
      chat: 0.5
      code: 10
      factuality: 0.1
      identity: 1
      long-context: 1
      math: 2
      rai: 1
      instruction-following: 13
      stem: 0.5
      planning: 10
      reasoning-chat: 0.5
      reasoning-code: 0.5
      reasoning-factuality: 0.5
      reasoning-instruction-following: 45
      reasoning-math: 0.5
      reasoning-planning: 0.5
      reasoning-rag: 0.4
      reasoning-rai: 0.5
      reasoning-stem: 0.4
      rag: 1
      translation: 0.1

Miscelazione multimodale dei dati Nova 1.0

data_mixing:
  dataset_catalog: sft_mm
  sources:
    customer_data:
      percent: 50
    nova_data:
      agents: 11
      docs: 17
      perception: 10
      rag: 4
      rai: 3
      reasoning: 10
      stem: 17
      text: 10
      video: 18

Miscelazione multimodale dei dati Nova 2.0

data_mixing:
  dataset_catalog: sft_1p5_mm_chat
  sources:
    customer_data:
      percent: 50
    nova_data:
      charts: 1
      chat: 38
      code: 20
      docs: 3
      general: 2
      grounding: 1
      rag: 4
      screenshot: 4
      text: 8
      translation: 4
      video: 15

Checkpoints modello

Punti di controllo Nova 1.0

Punti di controllo Nova 2.0

Fasi di formazione:

Approcci formativi

Prerequisiti prima di iniziare

Un approccio sistematico per ottenere un SFT di successo

Sequenziamento degli esperimenti e miscelazione dei dati

Preparare il set di dati per SFT

Nova 1.0: la preparazione dei dati è descritta in -fine-tune.html https://docs.aws.amazon.com/sagemaker/ latest/dg/nova

Nova 2.0: utilizza il formato API Converse come per Nova 1.0 https://docs.aws.amazon.com/bedrock/ latest/userguide/conversation -inference-call.html. Il formato dati Nova 2.0 può contenere campi di ragionamento aggiuntivi: https://docs.aws.amazon.com/bedrock/ latest/APIReference/API _runtime_ .html ReasoningContentBlock

Il contenuto del ragionamento cattura le fasi di pensiero intermedie del modello prima di generare una risposta finale. A assistant sua volta, usa il reasoningContent campo per includere tracce di ragionamento. Usa testo semplice per ragionare i contenuti, evita i tag di markup come <thinking> e a </thinking> meno che non sia specificamente richiesto dall'attività e assicurati che il contenuto del ragionamento sia chiaro e pertinente al processo di risoluzione dei problemi.

Toolkit di intelligenza artificiale e moderazione dei contenuti responsabili

Impostazioni di moderazione dei contenuti: i clienti di Nova Forge hanno accesso alle impostazioni di moderazione dei contenuti personalizzabili (CCMS) per i modelli Nova Lite 1.0 e Pro 1.0. CCMS consente di regolare i controlli di moderazione dei contenuti per allinearli ai requisiti aziendali specifici, mantenendo al contempo le protezioni essenziali e responsabili dell'IA. Per determinare se il tuo caso d'uso aziendale è idoneo per CCMS, contatta il tuo account manager Amazon Web Services.

Nova Forge fornisce un Responsible AI Toolkit che include dati di formazione, benchmark di valutazione e controlli di runtime per aiutarti ad allineare i tuoi modelli alle linee guida sull'intelligenza artificiale responsabile di Nova.

Dati di formazione: la categoria «RAI» nella miscelazione dei dati contiene casi e scenari che enfatizzano i principi dell'intelligenza artificiale responsabile, le considerazioni sulla sicurezza e l'implementazione responsabile della tecnologia. Utilizzali per allineare i tuoi modelli in modo responsabile durante la formazione preliminare continua.

Valutazioni: sono disponibili attività di benchmark per testare la capacità del modello di rilevare e rifiutare contenuti inappropriati, dannosi o errati. Utilizzate queste valutazioni per misurare la differenza tra le prestazioni del modello base e le prestazioni del modello personalizzato.

Controlli di runtime: per impostazione predefinita, il runtime di Nova controlla le risposte moderate del modello durante l'inferenza. Per modificare questi controlli per il tuo caso aziendale specifico, richiedi le impostazioni di moderazione dei contenuti personalizzabili (CCMS) contattando il tuo account manager di Amazon Web Services.

Responsabilità condivisa per la sicurezza

La sicurezza è una responsabilità condivisa tra Amazon Web Services e i nostri clienti. La modifica del modello di base o l'utilizzo di corsi di formazione continua per migliorare le prestazioni in un caso d'uso specifico possono influire sulla sicurezza, sull'equità e su altre proprietà del nuovo modello.

Utilizziamo un metodo di adattamento affidabile per ridurre al minimo le modifiche alla sicurezza, all'equità e ad altre protezioni integrate nei nostri modelli di base, riducendo al minimo l'impatto sulle prestazioni del modello per attività per le quali il modello non è stato personalizzato.

L'utente è responsabile di:

Per ulteriori informazioni, consulta la Guida all'uso responsabile dell'IA di Amazon Web Services, la Policy sull'IA responsabile di Amazon Web Services, la Politica di utilizzo AWS accettabile e i Termini di AWS servizio per i servizi che intendi utilizzare.

Impostazioni di moderazione dei contenuti personalizzabili (CCMS)

CCMS consente di adattare i controlli pertinenti ai requisiti aziendali, mantenendo al contempo controlli essenziali e non configurabili che garantiscono un uso responsabile dell'intelligenza artificiale.

Queste impostazioni consentono la generazione di contenuti attraverso tre configurazioni disponibili:

Le quattro categorie di moderazione dei contenuti sono:

Indipendentemente dalla configurazione CCMS, Amazon Nova applica controlli essenziali e non configurabili per garantire un uso responsabile dell'intelligenza artificiale, come i controlli per prevenire danni ai bambini e preservare la privacy.

Consigli per l'uso di CCMS

Quando si utilizza CCMS, si consiglia di utilizzare il Continuous Pre Training (CPT) e di iniziare da un checkpoint di allineamento precedente alla RAI (Pre-training-Early o) anziché dal checkpoint. PRE-TRAINING-Mid PRE-TRAINING-Final GA/FINAL Questi checkpoint non sono stati sottoposti a formazione sulla sicurezza né sono stati orientati verso comportamenti RAI specifici, il che consente di personalizzarli in modo più efficiente in base ai requisiti di moderazione dei contenuti.

Suggerimento: quando utilizzi CCMS con il mixaggio dei dati, valuta la possibilità di modificare la percentuale della categoria «rai» nella configurazione nova_data per allinearla ai tuoi requisiti specifici di moderazione dei contenuti.

Disponibilità

Il CCMS è attualmente disponibile per i clienti approvati che utilizzano:

Per abilitare CCMS per i tuoi modelli Forge, contatta il tuo account manager Amazon Web Services.

Metodi di valutazione

Prerequisiti

Benchmark pronti all'uso: utilizza i benchmark predefiniti per convalidare le prestazioni relative alle attività generali. Per maggiori dettagli, consulta questa pagina: -hp-evaluate.html https://docs.aws.amazon.com/sagemaker/ latest/dg/nova

Porta i tuoi dati

Puoi anche fornire i tuoi dati personalizzati formattandoli nel formato seguente e quindi utilizzando i contenitori indicati di seguito per ottenere risultati di inferenza insieme alle probabilità di registro per le calibrazioni, se necessario.

Crea jsonl per attività con la seguente struttura:

{
  "metadata": "{key:4, category:'apple'}",
  "system": "arithmetic-patterns, please answer the following with no other words: ",
  "query": "What is the next number in this series? 1, 2, 4, 8, 16, ?",
  "response": "32"
}
      

Gli output generati durante la fase di inferenza del lavoro di valutazione avranno la seguente struttura:

{
  "prompt": "[{'role': 'system', 'content': 'arithmetic-patterns, please answer the following with no other words: '}, {'role': 'user', 'content': 'What is the next number in this series? 1, 2, 4, 8, 16, ?'}]",
  "inference": "['32']",
  "gold": "32",
  "metadata": "{key:4, category:'apple'}"
}
      

Descrizioni dei campi:

Preparare la configurazione di valutazione

Comando per avviare il processo di valutazione. Si usa "--override-parameters" per modificare qualsiasi voce della ricetta.

hyperpod start-job -n kubeflow \
  --recipe evaluation/nova/nova_micro_p5_48xl_bring_your_own_dataset_eval \
  --override-parameters '{
    "instance_type": "p5.48xlarge",
    "container": "708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-HP-Eval-latest",
    "recipes.run.name": "<your-eval-job-name>",
    "recipes.run.model_name_or_path": "<checkpoint-s3-uri>",
    "recipes.run.output_s3_path": "s3://<your-bucket>/eval-results/",
    "recipes.run.data_s3_path": "s3://<your-bucket>/eval-data.jsonl"
  }'
      

Best practice

Preparare Training Job Config

Parametri Hyper

Set completo di iperparametri diversi dalla miscelazione dei dati:

## Run config
run:
  name: my-lora-sft-run
  model_type: amazon.nova-2-lite-v1:0:256k
  model_name_or_path: nova-lite-2/prod
  data_s3_path: s3://my-bucket-name/train.jsonl  # SageMaker HyperPod (SMHP) only and not compatible with SageMaker Training jobs. Note replace my-bucket-name with your real bucket name for SMHP job
  replicas: 4                      # Number of compute instances for training, allowed values are 4, 8, 16, 32
  output_s3_path: s3://my-bucket-name/outputs/               # Output artifact path (Hyperpod job-specific; not compatible with standard SageMaker Training jobs). Note replace my-bucket-name with your real bucket name for SMHP job
  
  ## MLFlow configs
  mlflow_tracking_uri: "" # Required for MLFlow
  mlflow_experiment_name: "my-lora-sft-experiment" # Optional for MLFlow. Note: leave this field non-empty
  mlflow_run_name: "my-lora-sft-run" # Optional for MLFlow. Note: leave this field non-empty
  
training_config:
  max_steps: 100                   # Maximum training steps. Minimal is 4.
  save_steps: 10 # This parameter suggests after how many training steps the checkpoints will be saved. Should be less than or equal to max_steps(please override this value with a numerical value equal or less than max_steps value; min: 4)
  save_top_k: 5                    # Keep top K best checkpoints. Note supported only for SageMaker HyperPod jobs. Minimal is 1.
  max_length: 32768                # Sequence length (options: 8192, 16384, 32768 [default], 65536)
  global_batch_size: 32            # Golbal batch size (options: 32, 64, 128)
  reasoning_enabled: true          # If data has reasoningContent, set to true; otherwise False

  lr_scheduler:
    warmup_steps: 15               # Learning rate warmup steps. Recommend 15% of max_steps
    min_lr: 1e-6                   # Minimum learning rate, must be between 0.0 and 1.0

  optim_config:                    # Optimizer settings
    lr: 1e-5                       # Learning rate, must be between 0.0 and 1.0
    weight_decay: 0.0              # L2 regularization strength, must be between 0.0 and 1.0
    adam_beta1: 0.9                # Exponential decay rate for first-moment estimates, must be between 0.0 and 1.0
    adam_beta2: 0.95               # Exponential decay rate for second-moment estimates, must be between 0.0 and 1.0

  peft:                            # Parameter-efficient fine-tuning (LoRA)
    peft_scheme: "lora"            # Enable LoRA for PEFT
    lora_tuning:
      alpha: 64                    # Scaling factor for LoRA weights ( options: 32, 64, 96, 128, 160, 192),
      lora_plus_lr_ratio: 64.0     # LoRA+ learning rate scaling factor (0.0–100.0)

I parametri più rilevanti per LoRa sono il tasso di apprendimento, l'alfa (parametro di scala), il numero di epoche da allenare e le fasi di riscaldamento; per il livello completo si tratta principalmente del tasso di apprendimento, del numero di epoche e delle fasi di riscaldamento. Le ricette sono precompilate con le impostazioni predefinite consigliate.

Configura Data Mixing Block

Aggiungi la sezione data_mixing alla tua ricetta con la distribuzione percentuale appropriata tra le categorie di set di dati.

Di seguito descriviamo ogni categoria di dati Nova disponibile.

Configurazione Nova 1.0 con miscelazione dei dati

data_mixing:
  dataset_catalog: sft_text       # Nova text dataset catalog
  sources:
    customer_data:
      percent: 50                 # Percent of overall mix to draw from customer data
    nova_data:                    # The remainder will be drawn from Nova data. The categories below must add to 100
      agents: 1                   # autonomous decision-making, task completion, goal-oriented behavior in AI systems
      chat: 51                    # Conversational exchanges demonstrating natural dialogue flow
      code: 8                     # Programming examples and solutions spanning multiple languages
      rai: 1                      # ethical AI principles, safety considerations, and responsible technology deployment
      instruction-following: 13   # precise task execution based on varying levels of user prompts and directives
      stem: 6                     # Technical content covering science, technology, engineering, and mathematics
      planning: 2                 # Sequences demonstrating strategic thinking and step-by-step task breakdown
      reasoning: 8                # Logical deduction, critical thinking, and analytical problem-solving scenarios
      rag: 1                      # combining retrieved external knowledge with generated responses
      translation: 9              # Multi-language content pairs showing accurate translation

Cosa significano queste categorie?

Miscelazione multimodale dei dati (Nova 1.0)

data_mixing:
  dataset_catalog: sft_mm        # Nova multi-modal dataset catalog
  sources:
    customer_data:
      percent: 50                 # Percent of overall mix to draw from customer data
    nova_data:                    # The remainder will be drawn from Nova data. The categories below must add to 100
      agents: 11                  # Combining visual and textual inputs
      docs: 17                    # Document-centric data combining text, images, layouts, and formatting
      perception: 10              # Visual-linguistic pairs t
      rag: 4                      # Combining retrieved external knowledge with generated responses
      rai: 3                      # Ethical AI principles, safety considerations, and responsible technology deployment
      reasoning: 10               # Logical analysis, problem-solving, and drawing conclusions
      stem: 17                    # Technical content pairing visual elements (diagrams, charts, equations) with text
      text: 10                    # A balanced pool of contextual text data create from the text-only SFT datasets
      video: 18                   # Video datasets

Cosa significano queste categorie?

Configurazione Nova 2.0 con miscelazione dei dati

data_mixing:
  dataset_catalog: sft_1p5_text_chat       # Nova text dataset catalog
  sources:
    customer_data:
      percent: 50                 # Percent of overall mix to draw from customer data
    nova_data:                    # The remainder will be drawn from Nova data. The categories below must add to 100
      agents: 1                   # autonomous decision-making, task completion, goal-oriented behavior in AI systems
      baseline: 10                 # [New in Nova 1.5]
      chat: 0.5                    # Conversational exchanges demonstrating natural dialogue flow
      code: 10                     # Programming examples and solutions spanning multiple languages
      factuality: 0.1               # [New in Nova 1.5]
      identity: 1                 # [New in Nova 1.5]
      long-context: 1             # [New in Nova 1.5]
      math: 2                     # [New in Nova 1.5]
      rai: 1                      # ethical AI principles, safety considerations, and responsible technology deployment
      instruction-following: 13   # precise task execution based on varying levels of user prompts and directives
      stem: 0.5                     # Technical content covering science, technology, engineering, and mathematics
      planning: 10                 # Sequences demonstrating strategic thinking and step-by-step task breakdown
      reasoning-chat: 0.5
      reasoning-code: 0.5
      reasoning-factuality: 0.5
      reasoning-instruction-following: 45
      reasoning-math: 0.5
      reasoning-planning: 0.5
      reasoning-rag: 0.4
      reasoning-rai: 0.5
      reasoning-stem: 0.4
      rag: 1                      # combining retrieved external knowledge with generated responses
      translation: 0.1

Cosa significano queste categorie?

Miscelazione multimodale dei dati (Nova 2.0)

data_mixing:
  dataset_catalog: sft_1p5_mm_chat       # Nova text dataset catalog
  sources:
    customer_data:
      percent: 50                 # Percent of overall mix to draw from customer data
    nova_data:                    # The remainder will be drawn from Nova data. The categories below must add to 100
      charts: 1
      chat: 38
      code: 20
      docs: 3
      general: 2
      grounding: 1
      rag: 4
      screenshot: 4
      text: 8
      translation: 4
      video: 15

Nota: Nova 2.0 include il supporto per la categoria di dati video che non è disponibile in Nova 1.0.

Cosa significano queste categorie?

Come avviare un lavoro

Puoi anche fare riferimento al README, se hai solo bisogno di ottenere i dettagli essenziali per dare il via alla prima esecuzione di SFT.

Informazioni sul contenitore:

Una volta completata la configurazione, partendo dalla radice del repository, vai alla cartella delle ricette nova sft predefinita sagemaker-hyperpod-cli

Per Nova 1.0 sft:

Per Nova 2.0 sft:

La configurazione di miscelazione dei dati avrà lo stesso aspetto, ma con una sezione aggiuntiva di miscelazione dei dati nella parte inferiore simile a questa

data_mixing:
  dataset_catalog: sft_text_lite
  sources:
    nova_data:   # percent inputs for Nova data must sum to 100%; use 0% if you want to exclude a data grouping
      agents: 20
      business-and-finance: 20
      scientific: 20
      code: 20
      factual-and-news: 20
      longform-text: 0
      health-and-medicine: 0
      humanities-and-education: 0
      legal: 0
      math: 0
      additional-languages: 0
      social-and-personal-interest: 0
      entertainment: 0
      reasoning: 0
      other: 0
      tables: 0
    customer_data: # percent input of customer data. 100 = use only customer data, 0 = use only the nova_data mix above
      percent: 25

Qui ci sono due categorie di dati di primo livello:

Suggerimento: esegui pip install -e. ancora una volta e sei pronto per inviare il tuo lavoro!

Qui sovrascriveremo un paio di parametri per utilizzare la miscelazione dei dati:

hyperpod start-job \
 -n kubeflow \
 --recipe fine-tuning/nova/forge/nova_2_0/nova_lite/SFT/nova_lite_2_0_p5x8_gpu_sft_with_datamix \
 --override-parameters '{
 "instance_type": "ml.p5.48xlarge",
 "recipes.run.name": "nova-sft-datamixing",
 "container": "708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-HP-SFT-V2-Datamix",
 "recipes.run.data_s3_path": "s3://sft-data/sft_train_data.jsonl",
 "recipes.run.validation_data_s3_path": "s3://sft-data/sft_val_data.jsonl",
 "recipes.run.output_s3_path": "s3://sft-data/output/
 }'

L'output dovrebbe contenere un nome di lavoro come segue:

⚡ MY Desktop ⚡ % hyperpod start-job \
 -n kubeflow \
 --recipe training/nova/forge/nova_2_0/nova_lite/sft/nova_lite_2_0_p5x8_gpu_pretrain_with_datamix \
 --override-parameters '{
 "instance_type": "ml.p5.48xlarge",
 "recipes.run.name": "nova-sft-datamixing",
 "container": "708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-HP-SFT-V2-Datamix",
 "recipes.run.data_s3_path": "s3://sft-data/sft_train_data.jsonl",
 "recipes.run.validation_data_s3_path": "3://sft-data/sft_val_data.jsonl",
 "recipes.run.output_s3_path": "3://sft-data/output/
 }'

L'output sarebbe simile a questo:

Final command: python3 /local/home/my/Downloads/sagemaker-hyperpod-cli/src/hyperpod_cli/sagemaker_hyperpod_recipes/main.py recipes=training/nova/nova_micro_p5x8_gpu_pretrain cluster_type=k8s cluster=k8s base_results_dir=/local/home/niphaded/Downloads/sagemaker-hyperpod-cli/results cluster.pullPolicy="IfNotPresent" cluster.restartPolicy="OnFailure" cluster.namespace="kubeflow" instance_type="p5d.48xlarge" container="900867814919.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:sft-datamix-rig-final"
Prepared output directory at /local/home/my/Downloads/sagemaker-hyperpod-cli/results/my-sft-run-wzdyn/k8s_templates
Found credentials in shared credentials file: ~/.aws/credentials
Helm script created at /local/home/my/Downloads/sagemaker-hyperpod-cli/results/my-sft-run-wzdyn/niphaded-sft-run-wzdyn_launch.sh
Running Helm script: /local/home/my/Downloads/sagemaker-hyperpod-cli/results/my-sft-run-wzdyn/niphaded-sft-run-wzdyn_launch.sh

NAME: my-sft-run-wzdyn
LAST DEPLOYED: Tue Aug 26 16:21:06 2025
NAMESPACE: kubeflow
STATUS: deployed
REVISION: 1
TEST SUITE: None
Launcher successfully generated: /local/home/my/Downloads/sagemaker-hyperpod-cli/src/hyperpod_cli/sagemaker_hyperpod_recipes/launcher/nova/k8s_templates/SFT

{
 "Console URL": "https://us-east-1.console.aws.amazon.com/sagemaker/home?region=us-east-1#/cluster-management/hyperpod-eks-ga-0703"
}

Puoi visualizzare lo stato del tuo lavoro usando hyperpod list-pods -n kubeflow --job-name my-sft-run-wzdyn

hyperpod list-pods -n kubeflow --job-name my-sft-run-wzdyn 
{
 "pods": [
  {
   "PodName": "my-sft-run-wzdyn-master-0",
   "Namespace": "kubeflow",
   "Status": "Pending",
   "CreationTime": "2025-08-26 16:21:06+00:00"
  },
  {
   "PodName": "my-sft-run-wzdyn-worker-0",
   "Namespace": "kubeflow",
   "Status": "Pending",
   "CreationTime": "2025-08-26 16:21:06+00:00"
  }
 ]
}

oppure usa direttamente il comando kubectl per trovarli.

Ad esempio,

kubectl get pods -o wide -w -n kubeflow | (head -n1 ; grep my-sft-run)

NAME                                                         READY   STATUS      RESTARTS   AGE     IP              NODE                           NOMINATED NODE   READINESS GATES
my-sft-run-5suc8-master-0                              0/1     Completed   0          3h23m   172.31.32.132   hyperpod-i-00b3d8a1bf25714e4   <none>           <none>
my-sft-run-5suc8-worker-0                              0/1     Completed   0          3h23m   172.31.44.196   hyperpod-i-0aa7ccfc2bd26b2a0   <none>           <none>
my-sft-run-5suc8-worker-1                              0/1     Completed   0          3h23m   172.31.46.84    hyperpod-i-026df6406a7b7e55c   <none>           <none>
my-sft-run-5suc8-worker-2                              0/1     Completed   0          3h23m   172.31.28.68    hyperpod-i-0802e850f903f28f1   <none>           <none>

Suggerimento: assicurati di usare sempre il flag -o wide poiché il nodo EKS su cui viene eseguito il job ti aiuterà a trovare i log ancora più velocemente nell'interfaccia utente AWS

Come monitorare Job

Puoi visualizzare i tuoi registri in tre modi:

a) Utilizzo CloudWatch

I log sono disponibili nel tuo account Amazon Web Services che contiene il cluster hyperpod in. CloudWatch Per visualizzarli nel browser, vai alla CloudWatch home page del tuo account e cerca il nome del cluster. Ad esempio, se il cluster fosse chiamato, my-hyperpod-rig il gruppo di log avrebbe il prefisso:

I tuoi log dovrebbero assomigliare a questo:

b) Utilizzo CloudWatch di Insights

Se hai il nome del tuo lavoro a portata di mano e non desideri seguire tutti i passaggi precedenti, puoi semplicemente interrogare tutti i log in/aws/sagemaker/Clusters/my-hyperpod-rig/ {UUID} per trovare il registro individuale.

CPT

fields @timestamp, @message, @logStream, @log 
| filter @message like /(?i)Starting CPT Job/
| sort @timestamp desc 
| limit 100

Per il completamento del lavoro, sostituire Starting SFT Job con SFT Job completato

Quindi puoi fare clic sui risultati e scegliere quello che dice «Epoch 0" poiché sarà il tuo nodo principale.

C) Usare la cli aws

Puoi scegliere di tracciare i tuoi log usando il. Prima di farlo, controlla la tua versione di aws cli usando aws --version. Si consiglia inoltre di utilizzare questo script di utilità che aiuta a tracciare i log in tempo reale nel terminale

per V1:

aws logs get-log-events \
 --log-group-name /aws/sagemaker/YourLogGroupName \
 --log-stream-name YourLogStream \
 --start-from-head | jq -r '.events[].message'

per V2:

aws logs tail /aws/sagemaker/YourLogGroupName \
  --log-stream-name YourLogStream \
 --since 10m \
 --follow

D) Configurare ML Flow:

Puoi tenere traccia delle metriche tramite MLFlow.

Crea un'app MLflow

Utilizzo dell'interfaccia utente di Studio: se crei un lavoro di formazione tramite l'interfaccia utente di Studio, viene creata automaticamente MLflow un'app predefinita e selezionata per impostazione predefinita in Opzioni avanzate.

Utilizzo della CLI: se utilizzi la CLI, devi creare un' MLflow app e passarla come input alla richiesta API del lavoro di formazione.

mlflow_app_name="<enter your MLflow app name>"  
role_arn="<enter your role ARN>"   
bucket_name="<enter your bucket name>"   
region="<enter your region>"  
  
mlflow_app_arn=$(aws sagemaker create-mlflow-app \  
  --name $mlflow_app_name \  
  --artifact-store-uri "s3://$bucket_name" \  
  --role-arn $role_arn \  
  --region $region)

Accedi all'app MLflow

Utilizzo della CLI: crea un URL predefinito per accedere all'interfaccia utente dell' MLflow app:

aws sagemaker create-presigned-mlflow-app-url \  
  --arn $mlflow_app_arn \  
  --region $region \  
  --output text

Una volta configurato ML Flow, puoi passare l'URI nella tua ricetta o utilizzare override all'avvio del lavoro. Un esempio di come farlo può essere trovato in README.

Come valutare il modello dopo SFT?

Prerequisiti

Benchmark pronti all'uso: utilizza i benchmark predefiniti per convalidare le prestazioni relative alle attività generali. Per maggiori dettagli, consulta qui.

Porta i tuoi dati:

Puoi anche fornire i tuoi dati personalizzati formattandoli nel formato seguente e quindi utilizzando i contenitori indicati di seguito per ottenere risultati di inferenza insieme alle probabilità di registro per le calibrazioni, se necessario.

Crea jsonl per task con la seguente struttura:

{
  "metadata": "{key:4, category:'apple'}",
  "system": "arithmetic-patterns, please answer the following with no other words: ",
  "query": "What is the next number in this series? 1, 2, 4, 8, 16, ?",
  "response": "32"
}

Gli output generati durante la fase di inferenza del lavoro di valutazione avranno la seguente struttura:

{
  "prompt": "[{'role': 'system', 'content': 'arithmetic-patterns, please answer the following with no other words: '}, {'role': 'user', 'content': 'What is the next number in this series? 1, 2, 4, 8, 16, ?'}]",
  "inference": "['32']",
  "gold": "32",
  "metadata": "{key:4, category:'apple'}"
}

Descrizioni dei campi:

Preparare la configurazione di valutazione

Comando per avviare il processo di valutazione. Usa «--override-parameters» per modificare qualsiasi voce della ricetta.

hyperpod start-job -n kubeflow \
  --recipe evaluation/nova/nova_micro_p5_48xl_bring_your_own_dataset_eval \
  --override-parameters '{
    "instance_type": "p5.48xlarge",
    "container": "708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-HP-Eval-latest",
    "recipes.run.name": "<your-eval-job-name>",
    "recipes.run.model_name_or_path": "<checkpoint-s3-uri>",
    "recipes.run.output_s3_path": "s3://<your-bucket>/eval-results/",
    "recipes.run.data_s3_path": "s3://<your-bucket>/eval-data.jsonl"
  }'

Lancia il tuo Job di valutazione

Comandi di avvio del lavoro per diverse ricette con immagini corrispondenti.

Lezioni apprese e suggerimenti