Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Lanjutan Pre-Training dan Mid-Training

Nova Forge CPT menawarkan kemampuan canggih di luar CPT standar, termasuk akses ke pos pemeriksaan menengah dan pencampuran data dengan korpus pra-pelatihan Nova. Fitur-fitur ini memungkinkan adaptasi domain yang lebih efisien dan pelestarian kemampuan umum model yang lebih baik.

Apa itu pos pemeriksaan menengah dan mengapa mereka dibutuhkan?

Pos pemeriksaan menengah adalah snapshot dari model Amazon Nova yang disimpan pada berbagai tahap pra-pelatihan, sebelum model mencapai keadaan siap produksi akhir. Selama pengembangan model, Amazon Nova menjalani beberapa fase pelatihan: pra-pelatihan awal dengan tingkat pembelajaran konstan, penurunan tingkat pembelajaran, pelatihan ekstensi konteks, dan akhirnya pelatihan penyelarasan dan keselamatan mengikuti instruksi. Untuk CPT, pos pemeriksaan menengah sering lebih disukai daripada pos pemeriksaan Prod terakhir karena lebih plastik dan reseptif terhadap adaptasi domain. Pos pemeriksaan Prod telah menjalani pelatihan penyelarasan dan keselamatan mengikuti instruksi yang ekstensif, yang mengoptimalkan model untuk penggunaan percakapan umum tetapi dapat membuatnya tahan terhadap mempelajari pola spesifik domain baru selama CPT. Sebaliknya, hanya pos pemeriksaan teks pra-terlatih sebagian dan sepenuhnya yang mempertahankan karakteristik pra-pelatihan model. Mereka belum terlalu diarahkan ke perilaku tertentu, menjadikannya titik awal yang lebih efisien untuk adaptasi domain. Saat melakukan CPT skala besar (>10B token), mulai dari pos pemeriksaan menengah biasanya menghasilkan konvergensi yang lebih cepat, stabilitas pelatihan yang lebih baik, dan akuisisi pengetahuan domain yang lebih efektif. Namun, untuk CPT skala kecil (token <10B), atau ketika kemampuan mengikuti instruksi perlu dipertahankan, pos pemeriksaan Prod mungkin lebih tepat karena memungkinkan adaptasi domain sambil mempertahankan kemampuan percakapan model.

Beberapa pos pemeriksaan menengah diperlukan untuk CPT karena mereka menawarkan tingkat plastisitas model yang berbeda yang memengaruhi seberapa efisien model dapat menyerap pengetahuan domain baru. Pos pemeriksaan Prod terakhir telah menjalani pelatihan penyelarasan dan keselamatan mengikuti instruksi yang ekstensif, yang mengoptimalkannya untuk penggunaan percakapan umum tetapi membuatnya tahan terhadap mempelajari pola khusus domain baru. Dengan kata lain, Ini telah dikeraskan melalui pasca-pelatihan. Sebaliknya, pos pemeriksaan sebelumnya mempertahankan karakteristik pra-pelatihan model dan belum terlalu diarahkan ke perilaku tertentu, membuatnya lebih plastik dan reseptif terhadap adaptasi domain.

Untuk mencapai efisiensi pelatihan terbaik, beberapa pos pemeriksaan menengah disediakan.

Pos pemeriksaan apa yang tersedia?

Nova 1.0

Keluarga Amazon Nova 1.0 memiliki tiga model (Micro, Lite, Pro) dan untuk setiap model ada tiga pos pemeriksaan yang tersedia.

Nova 2.0

Ada tiga pos pemeriksaan Amazon Nova Lite 2.0.

Tabel berikut menguraikan kondisi yang berbeda untuk pra-dan pertengahan pelatihan.

Pos pemeriksaan mana yang akan digunakan?

Hanya teks pra-terlatih sebagian dan pos pemeriksaan teks pra-terlatih sepenuhnya biasanya bertemu lebih cepat dan memerlukan lebih sedikit langkah pelatihan untuk adaptasi domain. Namun, mereka tidak memiliki penyetelan instruksi dan perlu menjalani langkah-langkah pasca pelatihan untuk dapat melakukan tugas yang berguna dan mengikuti instruksi. Pos pemeriksaan GA mungkin memerlukan lebih banyak langkah untuk beradaptasi tetapi memberikan titik awal yang lebih aman untuk eksperimen skala kecil dan akan mempertahankan beberapa kemampuan pasca pelatihan bahkan setelah pelatihan CPT.

Secara umum, dengan kumpulan data pelatihan yang besar (> 10B token), mulailah dari teks pra-terlatih sebagian saja atau pos pemeriksaan teks pra-terlatih sepenuhnya untuk pelatihan yang lebih efisien dan stabil, karena basis pengetahuan model akan dimodifikasi secara substansif. Dengan kumpulan data kecil (token <10B), gunakan pos pemeriksaan GA untuk mempertahankan kemampuan mengikuti instruksi sambil beradaptasi dengan domain.

Bagaimana cara menggunakan pencampuran data untuk model 1.0 atau 2.0?

Saat melakukan CPT dengan data domain baru, sangat bermanfaat untuk mencampur data baru dengan beberapa data yang digunakan sebelumnya dalam tahap pra-pelatihan model. Mencampur data lama dengan data domain baru memecahkan dua masalah:

Kemampuan Pencampuran Data Nova CPT

Akses ke data pra-pelatihan Amazon Nova dan pos pemeriksaan adalah salah satu penawaran inti dari kustomisasi Amazon Nova CPT. Kustomisasi Amazon Nova CPT memungkinkan pencampuran data domain yang mudah dengan korpus pra-pelatihan Amazon Nova. Selanjutnya, rasio sampling dari kategori data Amazon Nova tertentu (misalnya, kode, matematika, penalaran, dll) dapat diubah dan proporsinya dikontrol untuk melengkapi data domain. Hal ini memungkinkan penguatan kemampuan yang selaras dengan kasus penggunaan sambil mengadaptasi model ke domain tertentu.

Menemukan Rasio Pencampuran Optimal

Rasio optimal data Amazon Nova versus data domain tergantung pada domain dataset, kompleksitas, ukuran, kualitas, dan pentingnya mempertahankan kemampuan umum. Rasio ini harus ditemukan melalui eksperimen. Kerangka percobaan untuk memutuskan berapa banyak data Amazon Nova yang akan dicampur adalah sebagai berikut.

Pilih subset representatif dari data domain (misalnya, token 5B) dan pertahankan ini konstan di semua proses eksperimental.

Jalankan eksperimen CPT skala kecil yang hanya memvariasikan jumlah data Amazon Nova yang dicampur dalam:

Evaluasi setiap pos pemeriksaan di domain dan tolok ukur domain umum. Evaluasi juga pos pemeriksaan awal (pos pemeriksaan Amazon Nova sebelum pelatihan apa pun).

Setelah rasio pencampuran optimal telah diidentifikasi, jalankan CPT skala penuh menggunakan dataset domain lengkap dengan rasio pencampuran yang dipilih.

Membedah Kategori Pencampuran Data

Di bawah ini kami membedah setiap kategori yang tersedia di Pencampuran Data, agar Anda dapat membuat keputusan terbaik tentang kategori data apa yang paling masuk akal untuk diwakili dalam campuran data Anda secara keseluruhan.

Cara Mengaktifkan Pencampuran Data

Tambahkan data_mixing bagian ke resep Anda dengan distribusi persentase yang sesuai di seluruh kategori dataset. Per nova_data sentase harus berjumlah 100.

Konfigurasi Nova 1.0 dengan pencampuran Data

run:
  name: "cpt-job-name"             # A descriptive name for your training job
  model_type: "amazon.nova-lite-v1:0:300k"  # Model variant specification, do not change
  model_name_or_path: "nova-lite/prod"
  replicas: 4 
  data_s3_path: "s3://path/to/data/xyz.jsonl"
  output_s3_path: "s3://path/to/output/checkpoint"
  
skip_recipe_validation: true
training_config:
  max_length: 32768
  global_batch_size: 64
  trainer:
    max_steps: 5000
  model:
    hidden_dropout: 0.1
    attention_dropout: 0.1
    ffn_dropout: 0.1
    optim:
      lr: 1.5e-05
      name: distributed_fused_adam
      adam_w_mode: true
      eps: 1.0e-06
      weight_decay: 0.05
      betas:
      - 0.9
      - 0.999
      sched:
        warmup_steps: 500
        constant_steps: 0
        min_lr: 1.5e-06
        
data_mixing:
  dataset_catalog: cpt_text_lite
  sources:
    nova_data:
      en-entertainment: 0.11%
      en-factual: 4.83%
      en-legal: 0.48%
      en-long-form-text: 6.26%
      en-mined: 16.79%
      en-other: 1.79%
      en-scientific: 10.53%
      en-social: 12.43%
      en-techqa: 13.95%
      code: 7.50%
      high-util-lang: 8.05%
      low-util-lang: 6.51%
      math: 8.76%
      en-finance: 1%
      tables: 1%
    customer_data:
      percent: 90

Apa arti kategori ini

Konfigurasi Nova 2.0 dengan pencampuran data

# Note:
# This recipe can run on p5.48xlarge

# Run config
display_name: "Nova Lite Pretrain on P5 GPU"
versions: ["2.0"]
instance_types: ["ml.p5.48xlarge"]

run:
  name: "my-cpt-run"     # A descriptive name for your training job
  model_type: "amazon.nova-2-lite-v1:0:256k" # Model variant specification, do not change
  model_name_or_path: "nova-lite-2/prod" # Base model path, do not change
  replicas: 8       # Number of compute instances for training, allowed values are 4, 8, 16, 32
  data_s3_path: ""       # Customer data paths
  validation_data_s3_path: ""        # Customer validation data paths
  output_s3_path: ""   # Output artifact path, SageMaker HyperPod job-specific configuration - not compatible with standard SageMaker Training jobs

## Training specific configs
training_config:
  task_type: cpt
  max_length: 8192              # Maximum context window size (tokens)
  global_batch_size: 64        # Global batch size, allowed values are 32, 64, 128, 256.

  trainer:
    max_steps: 10               # The number of training steps to run total
    val_check_interval: 10      # The number of steps between running validation
    limit_val_batches: 2        # Batches of the validation set to use each trigger

  model:
    hidden_dropout: 0.0           # Dropout for hidden states, must be between 0.0 and 1.0
    attention_dropout: 0.0        # Dropout for attention weights, must be between 0.0 and 1.0

  optim:
    optimizer: adam
    lr: 1e-5                      # Learning rate
    name: distributed_fused_adam  # Optimizer algorithm, do not change
    adam_w_mode: true             # Enable AdamW mode
    eps: 1e-06                    # Epsilon for numerical stability
    weight_decay: 0.0             # L2 regularization strength, must be between 0.0 and 1.0
    adam_beta1: 0.9               # Beta1 for Adam optimizer
    adam_beta2: 0.95              # Beta2 for Adam optimizer
    sched:
      warmup_steps: 10            # Learning rate warmup steps
      constant_steps: 0           # Steps at constant learning rate
      min_lr: 1e-6                # Minimum learning rate, must be lower than lr

data_mixing:
  dataset_catalog: cpt_text_lite
  sources:
    nova_data:   # percent inputs for Nova data must sum to 100%; use 0% if you want to exclude a data grouping
      agents: 20
      business-and-finance: 4
      scientific: 10
      code: 5
      factual-and-news: 5
      longform-text: 6
      health-and-medicine: 1
      humanities-and-education: 1
      legal: 1
      math: 9
      additional-languages: 15
      social-and-personal-interest: 11
      entertainment: 0.5
      reasoning: 10
      other: 0.5
      tables: 1
    customer_data: # percent input of customer data. 100 = use only customer data, 0 = use only the nova_data mix above
      percent: 25

Apa arti kategori ini

Catatan: Nova 2.0 menyertakan kategori khusus penalaran tambahan (misalnya,reasoning-code,reasoning-math,reasoning-instruction-following) yang tidak tersedia di Nova 1.0.

Ringkasan Kategori dan Label Info:

Panduan Parameter

Jumlah total token yang digunakan dalam pelatihan dapat dihitung dari max_length * global_batch_size * max_steps

Batasan

CPT saat ini hanya mendukung data teks dan tidak mendukung kumpulan data multi-modal pelanggan.