Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Fortsetzung und Pre-Training Mid-Training

Nova Forge CPT bietet erweiterte Funktionen, die über das Standard-CPT hinausgehen, einschließlich des Zugriffs auf Zwischenkontrollpunkte und der Datenmischung mit Novas Vortrainingskorpus. Diese Funktionen ermöglichen eine effizientere Domänenanpassung und eine bessere Erhaltung der allgemeinen Fähigkeiten des Modells.

Was sind Zwischenkontrollpunkte und warum werden sie benötigt?

Zwischenprüfpunkte sind Schnappschüsse des Amazon Nova-Modells, die in verschiedenen Phasen des Vortrainings gespeichert wurden, bevor das Modell seinen endgültigen produktionsreifen Zustand erreicht. Während der Modellentwicklung durchläuft Amazon Nova mehrere Trainingsphasen: anfängliches Vortraining mit konstanter Lernrate, Senkung der Lernrate, Schulung zur Kontexterweiterung und schließlich Schulung in Bezug auf Ausrichtung und Sicherheit anhand der Anweisungen. Beim CPT sind Zwischenprüfpunkte oft dem letzten Prod-Checkpoint vorzuziehen, da sie plastischer sind und für Domänenanpassungen empfänglicher sind. Der Prod-Checkpoint wurde einem umfassenden Ausrichtungs- und Sicherheitstraining unterzogen, wodurch das Modell zwar für allgemeine Konversationszwecke optimiert wird, es jedoch resistent gegen das Erlernen neuer domänenspezifischer Muster während des CPT sein kann. Im Gegensatz dazu behalten Checkpoints, die nur teilweise und vollständig mit Text trainiert wurden, die Merkmale des Modells vor dem Training bei. Sie wurden nicht stark auf bestimmte Verhaltensweisen ausgerichtet, was sie zu effizienteren Ausgangspunkten für die Domänenanpassung macht. Bei der Durchführung umfangreicher CPT (>10 B-Tokens) führt der Beginn an Zwischenkontrollpunkten in der Regel zu einer schnelleren Konvergenz, einer besseren Trainingsstabilität und einem effektiveren Erwerb von Fachwissen. Für kleine CPT (<10 B-Token) oder wenn die Fähigkeit, Anweisungen zu befolgen, erhalten bleiben muss, ist der Prod-Checkpoint jedoch möglicherweise besser geeignet, da er eine Domänenanpassung ermöglicht und gleichzeitig die Konversationsfähigkeit des Modells beibehält.

Für CPT sind mehrere Zwischenprüfpunkte erforderlich, da sie unterschiedliche Ebenen der Modellplastizität bieten, die sich darauf auswirken, wie effizient das Modell neues Domänenwissen aufnehmen kann. Der letzte Prod-Checkpoint wurde einem umfangreichen Ausrichtungs- und Sicherheitstraining unterzogen. Dadurch ist er zwar für allgemeine Konversationszwecke optimiert, aber resistent gegen das Erlernen neuer domänenspezifischer Muster. Mit anderen Worten: Es wurde durch das Training nach dem Training gefestigt. Im Gegensatz dazu haben frühere Checkpoints die Eigenschaften des Modells vor dem Training beibehalten und wurden nicht stark auf bestimmte Verhaltensweisen ausgerichtet, wodurch sie plastischer und empfänglicher für die Anpassung an bestimmte Bereiche wurden.

Um die beste Trainingseffizienz zu erreichen, sind mehrere Zwischenkontrollpunkte vorgesehen.

Welche Checkpoints sind verfügbar?

Nova 1.0

Die Amazon Nova 1.0-Familie umfasst drei Modelle (Micro, Lite, Pro). Für jedes Modell stehen drei Checkpoints zur Verfügung.

Nova 2.0

Es gibt drei Amazon Nova Lite 2.0-Checkpoints.

In der folgenden Tabelle werden die verschiedenen Bedingungen für das Training vor und während des Trainings näher erläutert.

Welcher Checkpoint soll verwendet werden?

Checkpoints, die nur teilweise vortrainierter Text und vollständig vortrainierter Text enthalten, laufen in der Regel schneller zusammen und erfordern weniger Trainingsschritte für die Domänenanpassung. Allerdings müssen sie die Anweisungen nicht anpassen und müssten nach dem Training weitere Schritte durchlaufen, um nützliche Aufgaben ausführen und Anweisungen befolgen zu können. Der GA-Checkpoint erfordert zwar mehr Anpassungsschritte, bietet aber einen sichereren Ausgangspunkt für Experimente in kleinem Maßstab und einige der Fähigkeiten nach dem Training bleiben auch nach dem Training erhalten.

Im Allgemeinen sollten Sie bei großen Trainingsdatensätzen (>10 B-Tokens) mit Checkpoints beginnen, die nur teilweise vortrainierten Text oder nur vollständig vortrainierten Text enthalten, um ein effizienteres und stabileres Training zu gewährleisten, da die Wissensbasis des Modells erheblich geändert wird. Verwenden Sie bei kleinen Datensätzen (<10 B Tokens) den GA-Checkpoint, um die Fähigkeit, Anweisungen zu befolgen, beizubehalten und sich gleichzeitig an die Domäne anzupassen.

Wie verwendet man die Datenmischung für 1.0- oder 2.0-Modelle?

Wenn Sie CPT mit Daten aus einer neuen Domäne durchführen, ist es von großem Vorteil, die neuen Daten mit einigen der Daten zu mischen, die zuvor in der Vortrainingsphase des Modells verwendet wurden. Das Mischen alter Daten mit neuen Domänendaten löst zwei Probleme:

Funktionen zum Mischen von Daten bei Nova CPT

Der Zugriff auf Amazon Nova-Daten und Checkpoints vor dem Training ist eines der Kernangebote der Amazon Nova CPT-Anpassung. Die CPT-Anpassung von Amazon Nova ermöglicht das einfache Mischen von Domain-Daten mit dem Korpus von Amazon Nova vor dem Training. Darüber hinaus kann das Stichprobenverhältnis der spezifischen Amazon Nova-Datenkategorien (z. B. Code, Mathematik, Argumentation usw.) geändert und ihre Proportionen so gesteuert werden, dass sie die Domänendaten ergänzen. Dies ermöglicht die Stärkung von Funktionen, die auf den Anwendungsfall abgestimmt sind, und gleichzeitig das Modell an den spezifischen Bereich anzupassen.

Finden des optimalen Mischungsverhältnisses

Das optimale Verhältnis zwischen Amazon Nova-Daten und Domain-Daten hängt von der Domäne, Komplexität, Größe und Qualität des Datensatzes ab und davon, wie wichtig es ist, die allgemeinen Funktionen aufrechtzuerhalten. Dieses Verhältnis muss durch Experimente herausgefunden werden. Ein Versuchsrahmen, um zu entscheiden, wie viele Amazon Nova-Daten gemischt werden sollen, lautet wie folgt.

Wählen Sie eine repräsentative Teilmenge von Domänendaten (z. B. 5B-Token) aus und halten Sie diese bei allen experimentellen Durchläufen konstant.

Führen Sie kleine CPT-Experimente durch und variieren Sie nur die Menge der eingemischten Amazon Nova-Daten:

Bewerten Sie jeden Checkpoint anhand von internen und allgemeinen Domain-Benchmarks. Evaluieren Sie auch den Start-Checkpoint (Amazon Nova-Checkpoint vor jedem Training).

Sobald das optimale Mischungsverhältnis ermittelt wurde, führen Sie das CPT in vollem Maßstab aus und verwenden Sie dabei den vollständigen Domänendatensatz mit dem ausgewählten Mischungsverhältnis.

Analyse der Kategorien für die Datenmischung

Im Folgenden analysieren wir jede verfügbare Kategorie in Data Mixing, damit Sie am besten entscheiden können, welche Datenkategorien für Ihre gesamte Datenmischung am sinnvollsten sind.

Wie aktiviere ich die Datenmischung

Fügen Sie Ihrem Rezept den data_mixing Abschnitt mit der entsprechenden prozentualen Verteilung auf die Datensatzkategorien hinzu. Die Summe der nova_data Prozentsätze muss 100 ergeben.

Nova 1.0-Konfiguration mit Datenmischung

run:
  name: "cpt-job-name"             # A descriptive name for your training job
  model_type: "amazon.nova-lite-v1:0:300k"  # Model variant specification, do not change
  model_name_or_path: "nova-lite/prod"
  replicas: 4 
  data_s3_path: "s3://path/to/data/xyz.jsonl"
  output_s3_path: "s3://path/to/output/checkpoint"
  
skip_recipe_validation: true
training_config:
  max_length: 32768
  global_batch_size: 64
  trainer:
    max_steps: 5000
  model:
    hidden_dropout: 0.1
    attention_dropout: 0.1
    ffn_dropout: 0.1
    optim:
      lr: 1.5e-05
      name: distributed_fused_adam
      adam_w_mode: true
      eps: 1.0e-06
      weight_decay: 0.05
      betas:
      - 0.9
      - 0.999
      sched:
        warmup_steps: 500
        constant_steps: 0
        min_lr: 1.5e-06
        
data_mixing:
  dataset_catalog: cpt_text_lite
  sources:
    nova_data:
      en-entertainment: 0.11%
      en-factual: 4.83%
      en-legal: 0.48%
      en-long-form-text: 6.26%
      en-mined: 16.79%
      en-other: 1.79%
      en-scientific: 10.53%
      en-social: 12.43%
      en-techqa: 13.95%
      code: 7.50%
      high-util-lang: 8.05%
      low-util-lang: 6.51%
      math: 8.76%
      en-finance: 1%
      tables: 1%
    customer_data:
      percent: 90

Was bedeuten diese Kategorien

Nova 2.0-Konfiguration mit Datenmischung

# Note:
# This recipe can run on p5.48xlarge

# Run config
display_name: "Nova Lite Pretrain on P5 GPU"
versions: ["2.0"]
instance_types: ["ml.p5.48xlarge"]

run:
  name: "my-cpt-run"     # A descriptive name for your training job
  model_type: "amazon.nova-2-lite-v1:0:256k" # Model variant specification, do not change
  model_name_or_path: "nova-lite-2/prod" # Base model path, do not change
  replicas: 8       # Number of compute instances for training, allowed values are 4, 8, 16, 32
  data_s3_path: ""       # Customer data paths
  validation_data_s3_path: ""        # Customer validation data paths
  output_s3_path: ""   # Output artifact path, SageMaker HyperPod job-specific configuration - not compatible with standard SageMaker Training jobs

## Training specific configs
training_config:
  task_type: cpt
  max_length: 8192              # Maximum context window size (tokens)
  global_batch_size: 64        # Global batch size, allowed values are 32, 64, 128, 256.

  trainer:
    max_steps: 10               # The number of training steps to run total
    val_check_interval: 10      # The number of steps between running validation
    limit_val_batches: 2        # Batches of the validation set to use each trigger

  model:
    hidden_dropout: 0.0           # Dropout for hidden states, must be between 0.0 and 1.0
    attention_dropout: 0.0        # Dropout for attention weights, must be between 0.0 and 1.0

  optim:
    optimizer: adam
    lr: 1e-5                      # Learning rate
    name: distributed_fused_adam  # Optimizer algorithm, do not change
    adam_w_mode: true             # Enable AdamW mode
    eps: 1e-06                    # Epsilon for numerical stability
    weight_decay: 0.0             # L2 regularization strength, must be between 0.0 and 1.0
    adam_beta1: 0.9               # Beta1 for Adam optimizer
    adam_beta2: 0.95              # Beta2 for Adam optimizer
    sched:
      warmup_steps: 10            # Learning rate warmup steps
      constant_steps: 0           # Steps at constant learning rate
      min_lr: 1e-6                # Minimum learning rate, must be lower than lr

data_mixing:
  dataset_catalog: cpt_text_lite
  sources:
    nova_data:   # percent inputs for Nova data must sum to 100%; use 0% if you want to exclude a data grouping
      agents: 20
      business-and-finance: 4
      scientific: 10
      code: 5
      factual-and-news: 5
      longform-text: 6
      health-and-medicine: 1
      humanities-and-education: 1
      legal: 1
      math: 9
      additional-languages: 15
      social-and-personal-interest: 11
      entertainment: 0.5
      reasoning: 10
      other: 0.5
      tables: 1
    customer_data: # percent input of customer data. 100 = use only customer data, 0 = use only the nova_data mix above
      percent: 25

Was bedeuten diese Kategorien

Hinweis: Nova 2.0 enthält zusätzliche Kategorien, die für Überlegungen spezifisch sind (z. B.,reasoning-code,reasoning-instruction-following)reasoning-math, die in Nova 1.0 nicht verfügbar sind.

Zusammenfassung der Kategorien und Informationsbeschriftungen:

Parameter-Leitfaden

Die Gesamtzahl der im Training verwendeten Tokens kann anhand von max_length * * berechnet werden global_batch_size max_steps

Einschränkungen

Das aktuelle CPT unterstützt nur Textdaten und keine multimodalen Kundendatensätze.