Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Beaufsichtigte Feinabstimmung

Einführung

Bei der überwachten Feinabstimmung werden Datensätze mit Input-Output-Paaren für die jeweilige Aufgabe verwendet. Mit anderen Worten, Sie geben Beispiele für Eingabeaufforderungen (Fragen, Anweisungen usw.) zusammen mit den richtigen oder gewünschten Antworten und setzen das Training des Modells anhand dieser Antworten fort. Die Gewichtung des Modells wird so angepasst, dass ein überwachter Verlust, typischerweise eine Kreuzentropie zwischen den Vorhersagen und den Ziel-Antwort-Tokens, minimiert wird.

Wann sollte SFT verwendet werden?

SFT eignet sich am besten, wenn Sie eine klar definierte Aufgabe mit klar definierten Ergebnissen haben. Wenn Sie explizit sagen können: „Bei gegebener X-Eingabe ist die correct/desired Ausgabe Y“ und Sie können Beispiele für solche XY-Mappings sammeln, dann ist die überwachte Feinabstimmung eine gute Wahl. Zu den Szenarien, in denen SFT hervorragende Leistungen erbringt, gehören:

SFT ist der direkteste Weg, einem LLM eine neue Fähigkeit oder ein neues Verhalten beizubringen, wenn Sie angeben können, wie das richtige Verhalten aussieht. Es nutzt das bestehende Sprachverständnis des Modells und konzentriert es auf Ihre Aufgabe. Verwenden Sie SFT nicht, wenn die Lücke eher im Wissen als im Verhalten besteht. Dadurch lernt das Modell nicht neue Fakten, Fachjargon oder aktuelle Ereignisse. In diesen Fällen sollten Sie lieber fortlaufende Vorschulungen an großen unternehmensinternen Korpora oder eine generierte Generierung vornehmen, um externes Wissen als Inferenz heranzuziehen. Wenn Sie die Qualität messen können, aber keine einzige Antwort als richtig bezeichnen können, ist eine verstärkte Feinabstimmung mit nachweisbaren Prämien oder an möglicherweise der SFT vorzuziehen. LLM-as-judge

Planen Sie je nach Aufgabenkomplexität und Leistung des Nova-Modells ohne Feinabstimmung Tausende bis Zehntausende von Demonstrationen pro Aufgabe ein, wobei Datenqualität, Konsistenz und Vielfalt wichtiger sind als das reine Volumen.

Wann sollte Parametereffizienz und wann SFT mit vollem Rang eingesetzt werden?

Mit den Anpassungsrezepten von Nova können Sie parametereffizient arbeiten, insbesondere LoRa oder Full-Rank-SFT. Wenn Sie eine einfache, kosteneffiziente Modellaktualisierung wünschen oder nur über sehr wenige Daten verfügen, bevorzugen Sie parametereffiziente Methoden, sodass Sie kleine Adapter trainieren und gleichzeitig den größten Teil des Backbones unberührt lassen (SFT mit vollem Rang aktualisiert alle Modellparameter).

Datenmischung für SFT

Durch das Mischen von Daten können Sie Ihre benutzerdefinierten Trainingsdatensätze mit den firmeneigenen Trainingsdaten von Nova kombinieren. Diese Funktion ist sowohl für Nova 1.0- als auch für Nova 2.0-Modelle verfügbar.

Proprietärer Nova-Datentyp: Nova unterstützt sowohl Text- als auch multimodale SFT-Datentypen. Es ist in mehrere Datenkategorien unterteilt, die jeweils eine Mischung von Aufgaben enthalten, die für die entsprechende Kategorie relevant sind.

Proprietäre Datenkategorien von Nova: Textdatensätze umfassen mehrere Kategorien, darunter: autonome Entscheidungsfindung, Aufgabenerfüllung, zielorientierte Datensätze (Agenten), sowohl logische als auch unlogische Datensätze zur präzisen Aufgabenausführung (reasoning-instruction-following, Befolgung von Anweisungen), Sequenzen, die strategisches Denken und step-by-step Aufgabenzusammensetzung (Planung) demonstrieren, verantwortungsvolle KI (RAI), Langkontext, Sachlichkeit, Mathematik, MINT und vieles mehr. In ähnlicher Weise umfassen multimodale Datensätze Videos, Screenshots, Diagramme und vieles mehr.

Mit der Funktion zum Mischen von Daten können Sie Ihre eigenen Trainingsproben zur Feinabstimmung mit Stichproben aus den Nova-Datensätzen kombinieren, die zur Feinabstimmung des Nova verwendet wurden. Auf diese Weise können Sie verhindern, dass Ihr individuelles Training zu stark beansprucht wird und Sie die Nova-Fähigkeiten „katastrophal vergessen“, oder Sie können Fähigkeiten aufbauen, wenn Sie von einem neuen, vortrainierten Checkpoint aus trainieren.

Um Nova-Daten zu mischen, müssen Sie lediglich einen data_mixing-Block zu Ihrer YAML-Rezeptdatei im Abschnitt training_config hinzufügen. Text- und multimodale Datenmischblöcke haben unterschiedliche Inhalte, und Datenmischblöcke unterscheiden sich für Nova 1.0 und Nova 2.0 etwas. Bitte beachten Sie die entsprechenden Rezepte.

Unterstützte Modelle

Unterstützte Modalität

Beispiele für YAML-Konfigurationen

Beispiel für einen Datenmischblock für Nova 1.0-Textmischung

## Run config
run:
  name: "my-lora-run"             # A descriptive name for your training job
  model_type: "amazon.nova-lite-v1:0:300k"  # Model variant specification, do not change
  model_name_or_path: "nova-lite/prod"      # Base model path, do not change
  replicas: 4                     # Number of compute instances for training, allowed values are 4, 8, 16
  data_s3_path: ""                # Customer data path
  output_s3_path: ""              # Output artifact path, SageMaker HyperPod job-specific configuration - not compatible with standard SageMaker Training jobs

  ## MLFlow configs
  mlflow_tracking_uri: "" # Required for MLFlow
  mlflow_experiment_name: "my-lora-experiment" # Optional for MLFlow. Note: leave this field non-empty
  mlflow_run_name: "my-lora-run" # Optional for MLFlow. Note: leave this field non-empty
  
## Training specific configs
training_config:
  max_length: 32768               # Maximum context window size (tokens).
  global_batch_size: 64           # Global batch size, allowed values are 16, 32, 64

  trainer:
    max_epochs: 2                # Number of training epochs

  model:
    hidden_dropout: 0.0          # Dropout for hidden states, must be between 0.0 and 1.0
    attention_dropout: 0.0       # Dropout for attention weights, must be between 0.0 and 1.0
    ffn_dropout: 0.0             # Dropout for feed-forward networks, must be between 0.0 and 1.0

    optim:
      lr: 1e-5                 # Learning rate
      name: distributed_fused_adam  # Optimizer algorithm, do not change
      adam_w_mode: true        # Enable AdamW mode
      eps: 1e-06               # Epsilon for numerical stability
      weight_decay: 0.0        # L2 regularization strength, must be between 0.0 and 1.0
      betas:                   # Adam optimizer betas, must be between 0.0 and 1.0
        - 0.9
        - 0.999
      sched:
        warmup_steps: 10     # Learning rate warmup steps
        constant_steps: 0    # Steps at constant learning rate
        min_lr: 1e-6         # Minimum learning rate

    peft:
      peft_scheme: "lora"      # Enable LoRA for parameter-efficient fine-tuning
      lora_tuning:
        loraplus_lr_ratio: 8.0  # LoRA+ learning rate scaling factor, must be between 0.0 and 100.0
        alpha: 32            # Scaling factor for LoRA weights. Allowed values are 32, 64, 96, 128, 160 and 192
        adapter_dropout: 0.01  # Regularization for LoRA parameters. Must be between 0.0 and 1.0

data_mixing:
  dataset_catalog: sft_text       # Nova text dataset catalog
  sources:
    customer_data:
      percent: 50                 # Percent of overall mix to draw from customer data
    nova_data:                    # The remainder will be drawn from Nova data. The categories below must add to 100
      agents: 1                   # autonomous decision-making, task completion, goal-oriented behavior in AI systems
      chat: 51                    # Conversational exchanges demonstrating natural dialogue flow
      code: 8                     # Programming examples and solutions spanning multiple languages
      rai: 1                      # ethical AI principles, safety considerations, and responsible technology deployment
      instruction-following: 13   # precise task execution based on varying levels of user prompts and directives
      stem: 6                     # science, technology, engineering, and mathematics content
      planning: 2                 # sequences demonstrating strategic thinking and step-by-step task breakdown
      reasoning: 8                # logical problem-solving and analytical thinking demonstrations
      rag: 1                      # retrieval-augmented generation examples
      translation: 9              # language translation tasks

Konfigurationsbeispiel für Nova 2.0

run:
  name: my-lora-sft-run
  model_type: amazon.nova-2-lite-v1:0:256k
  model_name_or_path: nova-lite-2/prod
  data_s3_path: s3://my-bucket-name/train.jsonl
  replicas: 4
  output_s3_path: s3://my-bucket-name/outputs/
  mlflow_tracking_uri: ""
  mlflow_experiment_name: "my-lora-sft-experiment"
  mlflow_run_name: "my-lora-sft-run"
  
training_config:
  max_steps: 100
  save_steps: 10
  save_top_k: 5
  max_length: 32768
  global_batch_size: 32
  reasoning_enabled: true
  lr_scheduler:
    warmup_steps: 15
    min_lr: 1e-6
  optim_config:
    lr: 1e-5
    weight_decay: 0.0
    adam_beta1: 0.9
    adam_beta2: 0.95
  peft:
    peft_scheme: "lora"
    lora_tuning:
      alpha: 64
      lora_plus_lr_ratio: 64.0

Mischen von Nova 2.0-Textdaten

data_mixing:
  dataset_catalog: sft_1p5_text_chat
  sources:
    customer_data:
      percent: 50
    nova_data:
      agents: 1
      baseline: 10
      chat: 0.5
      code: 10
      factuality: 0.1
      identity: 1
      long-context: 1
      math: 2
      rai: 1
      instruction-following: 13
      stem: 0.5
      planning: 10
      reasoning-chat: 0.5
      reasoning-code: 0.5
      reasoning-factuality: 0.5
      reasoning-instruction-following: 45
      reasoning-math: 0.5
      reasoning-planning: 0.5
      reasoning-rag: 0.4
      reasoning-rai: 0.5
      reasoning-stem: 0.4
      rag: 1
      translation: 0.1

Nova 1.0 Multimodales Mischen von Daten

data_mixing:
  dataset_catalog: sft_mm
  sources:
    customer_data:
      percent: 50
    nova_data:
      agents: 11
      docs: 17
      perception: 10
      rag: 4
      rai: 3
      reasoning: 10
      stem: 17
      text: 10
      video: 18

Nova 2.0 Multimodales Mischen von Daten

data_mixing:
  dataset_catalog: sft_1p5_mm_chat
  sources:
    customer_data:
      percent: 50
    nova_data:
      charts: 1
      chat: 38
      code: 20
      docs: 3
      general: 2
      grounding: 1
      rag: 4
      screenshot: 4
      text: 8
      translation: 4
      video: 15

Checkpoints modellieren

Nova 1.0-Checkpoints

Nova 2.0-Checkpoints

Phasen der Ausbildung:

Ausbildungsansätze

Voraussetzungen, bevor Sie beginnen

Ein systematischer Ansatz für eine erfolgreiche SFT

Sequenzierung von Experimenten und Mischen von Daten

Datensatz für SFT vorbereiten

Nova 1.0: Die Datenvorbereitung ist unter -fine-tune.html beschrieben https://docs.aws.amazon.com/sagemaker/ latest/dg/nova

Nova 2.0: Verwenden Sie das Converse-API-Format wie für Nova 1.0 https://docs.aws.amazon.com/bedrock/ latest/userguide/conversation -inference-call.html. Das Nova 2.0-Datenformat kann zusätzliche Felder zur Argumentation enthalten: https://docs.aws.amazon.com/bedrock/ latest/APIReference/API _runtime_ .html ReasoningContentBlock

Der Inhalt der Argumentation erfasst die zwischengeschalteten Denkschritte des Modells, bevor eine endgültige Antwort generiert wird. Verwenden assistant Sie anschließend das reasoningContent Feld, um Argumentationsspuren einzufügen. Verwenden Sie Klartext für Argumentationsinhalte, vermeiden Sie Markup-Tags wie <thinking> und, </thinking> sofern dies nicht ausdrücklich für Ihre Aufgabe erforderlich ist, und stellen Sie sicher, dass der Inhalt der Argumentation klar und relevant für den Problemlösungsprozess ist.

Verantwortliches KI-Toolkit und Moderation von Inhalten

Einstellungen für die Inhaltsmoderation: Nova Forge-Kunden haben Zugriff auf anpassbare Inhaltsmoderationseinstellungen (CCMS) für die Modelle Nova Lite 1.0 und Pro 1.0. Mit CCMS können Sie die Steuerung der Inhaltsmoderation an Ihre spezifischen Geschäftsanforderungen anpassen und gleichzeitig wichtige verantwortungsvolle KI-Sicherheitsvorkehrungen einhalten. Um festzustellen, ob Ihr geschäftlicher Anwendungsfall für CCMS in Frage kommt, wenden Sie sich an Ihren Amazon Web Services Services-Kundenbetreuer.

Nova Forge bietet ein Toolkit für verantwortungsvolle KI, das Trainingsdaten, Bewertungsbenchmarks und Laufzeitkontrollen umfasst, um Sie dabei zu unterstützen, Ihre Modelle an den Nova-Richtlinien für verantwortungsvolle KI auszurichten.

Trainingsdaten: Die Kategorie „RAI“ bei der Datenmischung umfasst Fälle und Szenarien, in denen verantwortungsvolle KI-Prinzipien, Sicherheitsüberlegungen und verantwortungsvoller Technologieeinsatz im Vordergrund stehen. Nutzen Sie diese Informationen, um Ihre Modelle während der weiteren Vorschulung verantwortungsbewusst aufeinander abzustimmen.

Bewertungen: Es stehen Benchmark-Aufgaben zur Verfügung, mit denen Sie die Fähigkeit Ihres Modells testen können, unangemessene, schädliche oder falsche Inhalte zu erkennen und abzulehnen. Verwenden Sie diese Bewertungen, um den Unterschied zwischen der Leistung des Basismodells und der Leistung Ihres benutzerdefinierten Modells zu messen.

Laufzeitkontrollen: Standardmäßig moderieren Novas Runtime Controls die Modellreaktionen während der Inferenz. Um diese Kontrollen für Ihren speziellen Geschäftsfall zu ändern, fordern Sie Customable Content Moderation Settings (CCMS) an, indem Sie sich an Ihren Amazon Web Services Services-Kundenbetreuer wenden.

Gemeinsame Verantwortung für die Sicherheit

Sicherheit ist eine gemeinsame Verantwortung von Amazon Web Services und unseren Kunden. Wenn Sie das Basismodell ändern oder fortlaufende Vorschulungen durchführen, um die Leistung in einem bestimmten Anwendungsfall zu verbessern, kann sich dies auf die Sicherheit, Fairness und andere Eigenschaften des neuen Modells auswirken.

Wir verwenden eine robuste Anpassungsmethode, um Änderungen an den in unseren Basismodellen integrierten Sicherheits-, Fairness- und anderen Schutzmaßnahmen zu minimieren und gleichzeitig die Auswirkungen auf die Modellleistung bei Aufgaben, für die das Modell nicht maßgeschneidert wurde, zu minimieren.

Sie sind verantwortlich für:

Weitere Informationen finden Sie im Amazon Web Services Services-Leitfaden zur verantwortungsvollen Nutzung von KI, in der Amazon Web Services Services-Richtlinie für verantwortungsvolle KI, in der Richtlinie zur AWS akzeptablen Nutzung und in den AWS Servicebedingungen für die Services, die Sie nutzen möchten.

Anpassbare Einstellungen für die Inhaltsmoderation (CCMS)

Mit CCMS können Sie die Kontrollen an Ihre Geschäftsanforderungen anpassen und gleichzeitig wichtige, nicht konfigurierbare Kontrollen beibehalten, die einen verantwortungsvollen Umgang mit KI sicherstellen.

Diese Einstellungen ermöglichen die Generierung von Inhalten über drei verfügbare Konfigurationen:

Die vier Kategorien für die Moderation von Inhalten sind:

Unabhängig von Ihrer CCMS-Konfiguration setzt Amazon Nova wichtige, nicht konfigurierbare Kontrollen durch, um einen verantwortungsvollen Umgang mit KI sicherzustellen, z. B. Kontrollen zur Vermeidung von Schäden für Kinder und zum Schutz der Privatsphäre.

Empfehlungen für die Verwendung von CCMS

Bei der Verwendung von CCMS empfehlen wir, Continuous Pre Training (CPT) zu verwenden und nicht am Checkpoint, sondern an einem Kontrollpunkt vor dem RAI (Pre-Training-Early, PRE-TRAINING-Mid oder) zu beginnen. PRE-TRAINING-Final GA/FINAL Diese Checkpoints wurden weder einer Sicherheitsschulung unterzogen noch wurden sie auf bestimmte RAI-Verhaltensweisen ausgerichtet, sodass Sie sie effizienter an Ihre Anforderungen an die Moderation von Inhalten anpassen können.

Tipp: Wenn Sie CCMS mit Datenmischung verwenden, sollten Sie erwägen, den Prozentsatz der Kategorie „RAI“ in Ihrer nova_data-Konfiguration an Ihre spezifischen Anforderungen an die Inhaltsmoderation anzupassen.

Verfügbarkeit

CCMS ist derzeit für zugelassene Kunden verfügbar, die Folgendes verwenden:

Um CCMS für Ihre Forge-Modelle zu aktivieren, wenden Sie sich an Ihren Amazon Web Services Account Manager.

Bewertungsmethoden

Voraussetzungen

Sofort einsatzbereite Benchmarks: Verwenden Sie sofort einsatzbereite Benchmarks, um die Leistung bei allgemeinen Aufgaben zu validieren. Weitere Informationen finden Sie hier: -hp-evaluate.html https://docs.aws.amazon.com/sagemaker/ latest/dg/nova

Bringen Sie Ihre eigenen Daten mit

Sie können Ihre benutzerdefinierten Daten auch angeben, indem Sie sie im folgenden Format formatieren und dann die unten genannten Container verwenden, um bei Bedarf Inferenzergebnisse zusammen mit Protokollwahrscheinlichkeiten für Kalibrierungen zu erhalten.

Erstellen Sie jsonl pro Aufgabe mit der folgenden Struktur:

{
  "metadata": "{key:4, category:'apple'}",
  "system": "arithmetic-patterns, please answer the following with no other words: ",
  "query": "What is the next number in this series? 1, 2, 4, 8, 16, ?",
  "response": "32"
}
      

Die während der Inferenzphase der Evaluierung generierten Ergebnisse werden folgende Struktur haben:

{
  "prompt": "[{'role': 'system', 'content': 'arithmetic-patterns, please answer the following with no other words: '}, {'role': 'user', 'content': 'What is the next number in this series? 1, 2, 4, 8, 16, ?'}]",
  "inference": "['32']",
  "gold": "32",
  "metadata": "{key:4, category:'apple'}"
}
      

Beschreibungen der Felder:

Evaluierungskonfiguration vorbereiten

Befehl zum Starten des Evaluierungsjobs. Wird verwendet"--override-parameters", um einen beliebigen Eintrag aus dem Rezept zu ändern.

hyperpod start-job -n kubeflow \
  --recipe evaluation/nova/nova_micro_p5_48xl_bring_your_own_dataset_eval \
  --override-parameters '{
    "instance_type": "p5.48xlarge",
    "container": "708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-HP-Eval-latest",
    "recipes.run.name": "<your-eval-job-name>",
    "recipes.run.model_name_or_path": "<checkpoint-s3-uri>",
    "recipes.run.output_s3_path": "s3://<your-bucket>/eval-results/",
    "recipes.run.data_s3_path": "s3://<your-bucket>/eval-data.jsonl"
  }'
      

Bewährte Methoden

Config für Trainingsjobs vorbereiten

Hyperparameter

Vollständiger Satz von Hyperparametern außer Datenmischung:

## Run config
run:
  name: my-lora-sft-run
  model_type: amazon.nova-2-lite-v1:0:256k
  model_name_or_path: nova-lite-2/prod
  data_s3_path: s3://my-bucket-name/train.jsonl  # SageMaker HyperPod (SMHP) only and not compatible with SageMaker Training jobs. Note replace my-bucket-name with your real bucket name for SMHP job
  replicas: 4                      # Number of compute instances for training, allowed values are 4, 8, 16, 32
  output_s3_path: s3://my-bucket-name/outputs/               # Output artifact path (Hyperpod job-specific; not compatible with standard SageMaker Training jobs). Note replace my-bucket-name with your real bucket name for SMHP job
  
  ## MLFlow configs
  mlflow_tracking_uri: "" # Required for MLFlow
  mlflow_experiment_name: "my-lora-sft-experiment" # Optional for MLFlow. Note: leave this field non-empty
  mlflow_run_name: "my-lora-sft-run" # Optional for MLFlow. Note: leave this field non-empty
  
training_config:
  max_steps: 100                   # Maximum training steps. Minimal is 4.
  save_steps: 10 # This parameter suggests after how many training steps the checkpoints will be saved. Should be less than or equal to max_steps(please override this value with a numerical value equal or less than max_steps value; min: 4)
  save_top_k: 5                    # Keep top K best checkpoints. Note supported only for SageMaker HyperPod jobs. Minimal is 1.
  max_length: 32768                # Sequence length (options: 8192, 16384, 32768 [default], 65536)
  global_batch_size: 32            # Golbal batch size (options: 32, 64, 128)
  reasoning_enabled: true          # If data has reasoningContent, set to true; otherwise False

  lr_scheduler:
    warmup_steps: 15               # Learning rate warmup steps. Recommend 15% of max_steps
    min_lr: 1e-6                   # Minimum learning rate, must be between 0.0 and 1.0

  optim_config:                    # Optimizer settings
    lr: 1e-5                       # Learning rate, must be between 0.0 and 1.0
    weight_decay: 0.0              # L2 regularization strength, must be between 0.0 and 1.0
    adam_beta1: 0.9                # Exponential decay rate for first-moment estimates, must be between 0.0 and 1.0
    adam_beta2: 0.95               # Exponential decay rate for second-moment estimates, must be between 0.0 and 1.0

  peft:                            # Parameter-efficient fine-tuning (LoRA)
    peft_scheme: "lora"            # Enable LoRA for PEFT
    lora_tuning:
      alpha: 64                    # Scaling factor for LoRA weights ( options: 32, 64, 96, 128, 160, 192),
      lora_plus_lr_ratio: 64.0     # LoRA+ learning rate scaling factor (0.0–100.0)

Die wichtigsten Parameter für LoRa sind Lernrate, Alpha (Skalierungsparameter), Anzahl der zu trainierenden Epochen und Aufwärmschritte. Bei einem vollen Rang sind es hauptsächlich die Lernrate, die Anzahl der Epochen und die Aufwärmschritte. Die Rezepte sind bereits mit den empfohlenen Standardwerten gefüllt.

Richten Sie den Datenmischblock ein

Fügen Sie Ihrem Rezept den Abschnitt data_mixing mit der entsprechenden prozentualen Verteilung auf die Datensatzkategorien hinzu.

Im Folgenden beschreiben wir jede verfügbare Nova-Datenkategorie.

Nova 1.0-Konfiguration mit Datenmischung

data_mixing:
  dataset_catalog: sft_text       # Nova text dataset catalog
  sources:
    customer_data:
      percent: 50                 # Percent of overall mix to draw from customer data
    nova_data:                    # The remainder will be drawn from Nova data. The categories below must add to 100
      agents: 1                   # autonomous decision-making, task completion, goal-oriented behavior in AI systems
      chat: 51                    # Conversational exchanges demonstrating natural dialogue flow
      code: 8                     # Programming examples and solutions spanning multiple languages
      rai: 1                      # ethical AI principles, safety considerations, and responsible technology deployment
      instruction-following: 13   # precise task execution based on varying levels of user prompts and directives
      stem: 6                     # Technical content covering science, technology, engineering, and mathematics
      planning: 2                 # Sequences demonstrating strategic thinking and step-by-step task breakdown
      reasoning: 8                # Logical deduction, critical thinking, and analytical problem-solving scenarios
      rag: 1                      # combining retrieved external knowledge with generated responses
      translation: 9              # Multi-language content pairs showing accurate translation

Was bedeuten diese Kategorien?

Multimodale Datenmischung (Nova 1.0)

data_mixing:
  dataset_catalog: sft_mm        # Nova multi-modal dataset catalog
  sources:
    customer_data:
      percent: 50                 # Percent of overall mix to draw from customer data
    nova_data:                    # The remainder will be drawn from Nova data. The categories below must add to 100
      agents: 11                  # Combining visual and textual inputs
      docs: 17                    # Document-centric data combining text, images, layouts, and formatting
      perception: 10              # Visual-linguistic pairs t
      rag: 4                      # Combining retrieved external knowledge with generated responses
      rai: 3                      # Ethical AI principles, safety considerations, and responsible technology deployment
      reasoning: 10               # Logical analysis, problem-solving, and drawing conclusions
      stem: 17                    # Technical content pairing visual elements (diagrams, charts, equations) with text
      text: 10                    # A balanced pool of contextual text data create from the text-only SFT datasets
      video: 18                   # Video datasets

Was bedeuten diese Kategorien?

Nova 2.0-Konfiguration mit Datenmischung

data_mixing:
  dataset_catalog: sft_1p5_text_chat       # Nova text dataset catalog
  sources:
    customer_data:
      percent: 50                 # Percent of overall mix to draw from customer data
    nova_data:                    # The remainder will be drawn from Nova data. The categories below must add to 100
      agents: 1                   # autonomous decision-making, task completion, goal-oriented behavior in AI systems
      baseline: 10                 # [New in Nova 1.5]
      chat: 0.5                    # Conversational exchanges demonstrating natural dialogue flow
      code: 10                     # Programming examples and solutions spanning multiple languages
      factuality: 0.1               # [New in Nova 1.5]
      identity: 1                 # [New in Nova 1.5]
      long-context: 1             # [New in Nova 1.5]
      math: 2                     # [New in Nova 1.5]
      rai: 1                      # ethical AI principles, safety considerations, and responsible technology deployment
      instruction-following: 13   # precise task execution based on varying levels of user prompts and directives
      stem: 0.5                     # Technical content covering science, technology, engineering, and mathematics
      planning: 10                 # Sequences demonstrating strategic thinking and step-by-step task breakdown
      reasoning-chat: 0.5
      reasoning-code: 0.5
      reasoning-factuality: 0.5
      reasoning-instruction-following: 45
      reasoning-math: 0.5
      reasoning-planning: 0.5
      reasoning-rag: 0.4
      reasoning-rai: 0.5
      reasoning-stem: 0.4
      rag: 1                      # combining retrieved external knowledge with generated responses
      translation: 0.1

Was bedeuten diese Kategorien?

Multimodale Datenmischung (Nova 2.0)

data_mixing:
  dataset_catalog: sft_1p5_mm_chat       # Nova text dataset catalog
  sources:
    customer_data:
      percent: 50                 # Percent of overall mix to draw from customer data
    nova_data:                    # The remainder will be drawn from Nova data. The categories below must add to 100
      charts: 1
      chat: 38
      code: 20
      docs: 3
      general: 2
      grounding: 1
      rag: 4
      screenshot: 4
      text: 8
      translation: 4
      video: 15

Hinweis: Nova 2.0 beinhaltet Unterstützung für Videodatenkategorien, die in Nova 1.0 nicht verfügbar ist.

Was bedeuten diese Kategorien?

Wie starte ich einen Job

Sie können auch in der README-Datei nachschlagen, wenn Sie nur die wichtigsten Informationen benötigen, um den ersten SFT-Lauf zu starten.

Informationen zum Container:

Sobald Sie alle Einstellungen vorgenommen haben, gehen Sie vom Stammverzeichnis des Repositorys aus zum standardmäßigen Nova SFT-Rezeptordner sagemaker-hyperpod-cli

Für Nova 1.0 sft:

Für Nova 2.0 sft:

Die Konfiguration für das Mischen von Daten wird genauso aussehen, aber mit einem zusätzlichen Abschnitt zum Mischen von Daten unten, der dem hier ähnelt

data_mixing:
  dataset_catalog: sft_text_lite
  sources:
    nova_data:   # percent inputs for Nova data must sum to 100%; use 0% if you want to exclude a data grouping
      agents: 20
      business-and-finance: 20
      scientific: 20
      code: 20
      factual-and-news: 20
      longform-text: 0
      health-and-medicine: 0
      humanities-and-education: 0
      legal: 0
      math: 0
      additional-languages: 0
      social-and-personal-interest: 0
      entertainment: 0
      reasoning: 0
      other: 0
      tables: 0
    customer_data: # percent input of customer data. 100 = use only customer data, 0 = use only the nova_data mix above
      percent: 25

Hier gibt es zwei Kategorien von Daten der obersten Ebene:

Tipp: Führen Sie pip install -e. erneut aus und schon können Sie Ihren Job einreichen!

Wir werden hier einige Parameter überschreiben, um das Mischen von Daten zu verwenden:

hyperpod start-job \
 -n kubeflow \
 --recipe fine-tuning/nova/forge/nova_2_0/nova_lite/SFT/nova_lite_2_0_p5x8_gpu_sft_with_datamix \
 --override-parameters '{
 "instance_type": "ml.p5.48xlarge",
 "recipes.run.name": "nova-sft-datamixing",
 "container": "708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-HP-SFT-V2-Datamix",
 "recipes.run.data_s3_path": "s3://sft-data/sft_train_data.jsonl",
 "recipes.run.validation_data_s3_path": "s3://sft-data/sft_val_data.jsonl",
 "recipes.run.output_s3_path": "s3://sft-data/output/
 }'

Ihre Ausgabe sollte einen Jobnamen wie folgt enthalten:

⚡ MY Desktop ⚡ % hyperpod start-job \
 -n kubeflow \
 --recipe training/nova/forge/nova_2_0/nova_lite/sft/nova_lite_2_0_p5x8_gpu_pretrain_with_datamix \
 --override-parameters '{
 "instance_type": "ml.p5.48xlarge",
 "recipes.run.name": "nova-sft-datamixing",
 "container": "708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-HP-SFT-V2-Datamix",
 "recipes.run.data_s3_path": "s3://sft-data/sft_train_data.jsonl",
 "recipes.run.validation_data_s3_path": "3://sft-data/sft_val_data.jsonl",
 "recipes.run.output_s3_path": "3://sft-data/output/
 }'

Die Ausgabe würde wie folgt aussehen:

Final command: python3 /local/home/my/Downloads/sagemaker-hyperpod-cli/src/hyperpod_cli/sagemaker_hyperpod_recipes/main.py recipes=training/nova/nova_micro_p5x8_gpu_pretrain cluster_type=k8s cluster=k8s base_results_dir=/local/home/niphaded/Downloads/sagemaker-hyperpod-cli/results cluster.pullPolicy="IfNotPresent" cluster.restartPolicy="OnFailure" cluster.namespace="kubeflow" instance_type="p5d.48xlarge" container="900867814919.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:sft-datamix-rig-final"
Prepared output directory at /local/home/my/Downloads/sagemaker-hyperpod-cli/results/my-sft-run-wzdyn/k8s_templates
Found credentials in shared credentials file: ~/.aws/credentials
Helm script created at /local/home/my/Downloads/sagemaker-hyperpod-cli/results/my-sft-run-wzdyn/niphaded-sft-run-wzdyn_launch.sh
Running Helm script: /local/home/my/Downloads/sagemaker-hyperpod-cli/results/my-sft-run-wzdyn/niphaded-sft-run-wzdyn_launch.sh

NAME: my-sft-run-wzdyn
LAST DEPLOYED: Tue Aug 26 16:21:06 2025
NAMESPACE: kubeflow
STATUS: deployed
REVISION: 1
TEST SUITE: None
Launcher successfully generated: /local/home/my/Downloads/sagemaker-hyperpod-cli/src/hyperpod_cli/sagemaker_hyperpod_recipes/launcher/nova/k8s_templates/SFT

{
 "Console URL": "https://us-east-1.console.aws.amazon.com/sagemaker/home?region=us-east-1#/cluster-management/hyperpod-eks-ga-0703"
}

Sie können den Status Ihres Jobs mit hyperpod list-pods -n kubeflow --job-name einsehen my-sft-run-wzdyn

hyperpod list-pods -n kubeflow --job-name my-sft-run-wzdyn 
{
 "pods": [
  {
   "PodName": "my-sft-run-wzdyn-master-0",
   "Namespace": "kubeflow",
   "Status": "Pending",
   "CreationTime": "2025-08-26 16:21:06+00:00"
  },
  {
   "PodName": "my-sft-run-wzdyn-worker-0",
   "Namespace": "kubeflow",
   "Status": "Pending",
   "CreationTime": "2025-08-26 16:21:06+00:00"
  }
 ]
}

oder verwenden Sie direkt den Befehl kubectl, um sie zu finden.

Zum Beispiel

kubectl get pods -o wide -w -n kubeflow | (head -n1 ; grep my-sft-run)

NAME                                                         READY   STATUS      RESTARTS   AGE     IP              NODE                           NOMINATED NODE   READINESS GATES
my-sft-run-5suc8-master-0                              0/1     Completed   0          3h23m   172.31.32.132   hyperpod-i-00b3d8a1bf25714e4   <none>           <none>
my-sft-run-5suc8-worker-0                              0/1     Completed   0          3h23m   172.31.44.196   hyperpod-i-0aa7ccfc2bd26b2a0   <none>           <none>
my-sft-run-5suc8-worker-1                              0/1     Completed   0          3h23m   172.31.46.84    hyperpod-i-026df6406a7b7e55c   <none>           <none>
my-sft-run-5suc8-worker-2                              0/1     Completed   0          3h23m   172.31.28.68    hyperpod-i-0802e850f903f28f1   <none>           <none>

Profi-Tipp: Stellen Sie sicher, dass Sie immer das Flag -o wide verwenden, da der EKS-Knoten, auf dem der Job ausgeführt wird, Ihnen hilft, Ihre Logs in der Benutzeroberfläche noch schneller zu finden AWS

So überwachen Sie den Job

Sie können Ihre Logs auf drei Arten einsehen:

a) Verwenden CloudWatch

Ihre Protokolle sind in Ihrem Amazon Web Services Services-Konto verfügbar, das den Hyperpod-Cluster darunter CloudWatch enthält. Um sie in Ihrem Browser anzuzeigen, navigieren Sie in Ihrem Konto zur CloudWatch Startseite und suchen Sie nach Ihrem Clusternamen. Wenn Ihr Cluster beispielsweise aufgerufen würde, hätte my-hyperpod-rig die Protokollgruppe das Präfix:

Ihre Logs sollten ungefähr so aussehen:

b) CloudWatch Insights verwenden

Wenn Sie Ihren Jobnamen griffbereit haben und nicht alle oben genannten Schritte durchführen möchten, können Sie einfach alle Logs unter/aws/sagemaker/Clusters/my-hyperpod-rig/ {UUID} abfragen, um das individuelle Protokoll zu finden.

CPT

fields @timestamp, @message, @logStream, @log 
| filter @message like /(?i)Starting CPT Job/
| sort @timestamp desc 
| limit 100

Um den Job abzuschließen, ersetzen Sie „SFT-Job starten“ durch „SFT-Job abgeschlossen“.

Dann können Sie sich durch die Ergebnisse klicken und das Ergebnis mit der Aufschrift „Epoche 0" auswählen, da dies Ihr Masternode sein wird.

C) Verwenden der AWS-CLI

Sie können sich dafür entscheiden, Ihre Protokolle mit dem zu verfolgen. Bevor Sie dies tun, überprüfen Sie bitte Ihre AWS-CLI-Version mit aws --version. Es wird auch empfohlen, dieses Utility-Skript zu verwenden, das bei der Live-Protokollverfolgung in Ihrem Terminal hilft

für V1:

aws logs get-log-events \
 --log-group-name /aws/sagemaker/YourLogGroupName \
 --log-stream-name YourLogStream \
 --start-from-head | jq -r '.events[].message'

für V2:

aws logs tail /aws/sagemaker/YourLogGroupName \
  --log-stream-name YourLogStream \
 --since 10m \
 --follow

D) ML Flow einrichten:

Sie können Metriken verfolgen über MLFlow.

Erstellen Sie eine MLflow App

Verwenden der Studio-Benutzeroberfläche: Wenn Sie einen Schulungsjob über die Studio-Benutzeroberfläche erstellen, wird automatisch eine MLflow Standard-App erstellt und standardmäßig unter Erweiterte Optionen ausgewählt.

CLI verwenden: Wenn Sie die CLI verwenden, müssen Sie eine MLflow App erstellen und sie als Eingabe an die API-Anfrage für den Trainingsjob übergeben.

mlflow_app_name="<enter your MLflow app name>"  
role_arn="<enter your role ARN>"   
bucket_name="<enter your bucket name>"   
region="<enter your region>"  
  
mlflow_app_arn=$(aws sagemaker create-mlflow-app \  
  --name $mlflow_app_name \  
  --artifact-store-uri "s3://$bucket_name" \  
  --role-arn $role_arn \  
  --region $region)

Greifen Sie auf die MLflow App zu

Verwenden von CLI: Erstellen Sie eine vorsignierte URL für den Zugriff auf die MLflow App-Benutzeroberfläche:

aws sagemaker create-presigned-mlflow-app-url \  
  --arn $mlflow_app_arn \  
  --region $region \  
  --output text

Sobald ML Flow eingerichtet ist, können Sie den URI in Ihrem Rezept übergeben oder Override verwenden, wenn Sie den Job starten. Ein Beispiel dafür, wie das geht, finden Sie in README.

Wie evaluieren Sie Ihr Modell nach SFT?

Voraussetzungen

Sofort einsatzbereite Benchmarks: Verwenden Sie sofort einsatzbereite Benchmarks, um die Leistung bei allgemeinen Aufgaben zu validieren. Weitere Einzelheiten finden Sie hier.

Bringen Sie Ihre eigenen Daten mit:

Sie können Ihre benutzerdefinierten Daten auch angeben, indem Sie sie im folgenden Format formatieren und dann die unten genannten Container verwenden, um bei Bedarf Inferenzergebnisse zusammen mit Protokollwahrscheinlichkeiten für Kalibrierungen zu erhalten.

Erstellen Sie jsonl pro Aufgabe mit der folgenden Struktur:

{
  "metadata": "{key:4, category:'apple'}",
  "system": "arithmetic-patterns, please answer the following with no other words: ",
  "query": "What is the next number in this series? 1, 2, 4, 8, 16, ?",
  "response": "32"
}

Die während der Inferenzphase der Evaluierung generierten Ergebnisse werden wie folgt strukturiert sein:

{
  "prompt": "[{'role': 'system', 'content': 'arithmetic-patterns, please answer the following with no other words: '}, {'role': 'user', 'content': 'What is the next number in this series? 1, 2, 4, 8, 16, ?'}]",
  "inference": "['32']",
  "gold": "32",
  "metadata": "{key:4, category:'apple'}"
}

Beschreibungen der Felder:

Evaluierungskonfiguration vorbereiten

Befehl zum Starten des Evaluierungsjobs. Verwenden Sie „--override-parameters“, um einen beliebigen Eintrag aus dem Rezept zu ändern.

hyperpod start-job -n kubeflow \
  --recipe evaluation/nova/nova_micro_p5_48xl_bring_your_own_dataset_eval \
  --override-parameters '{
    "instance_type": "p5.48xlarge",
    "container": "708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-HP-Eval-latest",
    "recipes.run.name": "<your-eval-job-name>",
    "recipes.run.model_name_or_path": "<checkpoint-s3-uri>",
    "recipes.run.output_s3_path": "s3://<your-bucket>/eval-results/",
    "recipes.run.data_s3_path": "s3://<your-bucket>/eval-data.jsonl"
  }'

Starten Sie Ihren Bewertungsjob

Befehle zum Starten von Job für verschiedene Rezepte mit entsprechenden Bildern.

Gelernte Erkenntnisse und Tipps