近端政策最佳化 (PPO)

近端政策最佳化 (PPO) 是一種過程，過程中使用數個機器學習模型訓練和評分模型。下列模型是 PPO 程序的一部分：

訓練資料必須是 JSONL 格式，其中每一行都包含代表訓練範例的單一 JSON 物件。請見此處範例：

{
    "turns": ["string", "string", ...], // Required
    "turns_to_mask": [integer, integer, ...], // Required
    "reward_category": "string", // Required
    "meta_data": {} // Optional
}

這是回應記錄：

{
    "turns": ["You are a helpful AI assistant.",
        "User: What is ML? Bot:",
        "Machine learning is...", "User: Examples? Bot:",
        "Email spam filtering is..."
    ],
    "turns_to_mask": [0, 1, 3],
    "reward_category": "default",
    "meta_data": {
        "messages": [{
                "role": "system",
                "content": "You are a helpful AI assistant."
            },
            {
                "role": "user",
                "content": "What is ML?"
            },
            {
                "role": "assistant",
                "content": "Machine learning is..."
            },
            {
                "role": "user",
                "content": "Examples?"
            },
            {
                "role": "assistant",
                "content": "Email spam filtering is..."
            }
        ]
    }
}

獎勵建模架構會跨不同的分類目標實作多維度最佳化，以促進強大的模型收斂。獎勵類別應根據必須最佳化其模型的任務進行選取。

建議您遵循下列準則為您的任務選取正確的架構：

遮罩回合

在訓練資料集中，turns_to_mask 參數對於控制哪些對話回合在訓練期間會接收梯度更新至關重要。此索引陣列會決定模型應學習產生對話的哪些部分，以及應僅將哪些部分視為內容。適當的遮罩可確保該模型會學習適當的回應模式，同時避免對可能降低效能的系統提示或使用者輸入進行訓練。

我們建議採用以下遮罩指引：

有效遮罩的關鍵是監控訓練指標和驗證效能，以識別您的遮罩策略是否保留必要的內容，同時將梯度更新集中在所需的模型輸出上。

啟用 KL 散度損失

若要啟用 KL 散度損失，則需要啟用錨點伺服器，才能計算目前政策離原始分佈的散度。必須指定 KL 損失類型，係數必須是零以外的值。越高的係數值有助於模型不偏離原始政策太多，從而造成對整體效能的變化較小。越低的係數值會造成與先前的政策有更大的偏差，而使目標指標的效能提升，但會影響整體效能。

ppo_anchor:
  max_length: 8192
  trainer:
    num_nodes: ${recipes.run.cm_replicas}
  model:
    global_batch_size: 32
    
ppo_actor_train:
  model:
    ######## Use KL in actor loss ########
    kl_loss_type: low_var_kl 
    kl_loss_coeff: 0.1 

    ######## Use KL in reward model ######
    kl_reward_penalty_coeff: 0.1

學習率

評論模型和政策模型的學習率可以調整，其中 3e-6 是預設的平衡選擇。較高的學習率通常會導致訓練不穩定性，這可以透過 KL 散度峰值和不規律的政策行為來識別。較低的學習率可能會導致收斂問題和學習緩慢，具體表現是獎勵停滯和政策更新最少。定期監控 KL 散度、獎勵分數和價值損失，有助於決定是否在訓練期間調整學習率。

ppo_critic:
  model:
    optim:
      lr: 3e-6

ppo_actor_train:
  model:
    optim:
      lr: 3e-06

全域批次大小

全域批次大小會大幅影響 Amazon Nova 中的 PPO 效能，批次越大，通常越能改善訓練穩定性和梯度預估，同時實現更高率的平行處理。不過，非常大的批次大小可能會導致收益下降，並可能受到可用記憶體的限制，需要謹慎平衡學習率和其他超參數。

ppo_actor_train:
  model:
    global_batch_size: 160

可使用 PPO 進行調校的 Amazon Nova 參數包括：

PPO 配方

以下是 PPO 的配方。

## Run config
run:
  name: ndry-ppo-pro
  model_type: amazon.nova-pro-v1:0:300k
  model_name_or_path: nova-pro/prod
  data_s3_path: s3://testing/train.jsonl # Your training data S3 path

  actor_train_replicas: 6 # Actor train model replicas
  rm_replicas: 1 # Reward model replicas
  cm_replicas: 1 # Critic model replicas
  actor_generation_replicas: 2 # Actor generation model replicas
  am_replicas: 1 # Anchor model replicas

## Training config for each PPO component
ppo_reward:
  max_length: 8192 # model architecture max length
  trainer:
    num_nodes: ${recipes.run.rm_replicas}
  model:
    global_batch_size: 16

ppo_critic:
  max_length: 8192
  trainer:
    num_nodes: ${recipes.run.cm_replicas}
  model:
    global_batch_size: 16
    optim:
      lr: 3e-6
      name: distributed_fused_adam
      adam_w_mode: true
      eps: 1e-06
      weight_decay: 0.0
      betas:
        - 0.9
        - 0.999

ppo_anchor:
  max_length: 8192
  trainer:
    num_nodes: ${recipes.run.am_replicas}
  model:
    global_batch_size: 16

ppo_actor_generation:
  actor_model_max_length: 8192
  trainer:
    num_nodes: ${recipes.run.actor_generation_replicas}

ppo_actor_train:
  max_length: 8192
  max_steps: 520 # Stopping criteria Desired epoch num * trajectory_buffer_scale
  actor_model_max_length: 8192 # truncate input data to max length
  reward_model_max_length: 8192 # truncate input data to max length
  trajectory_buffer_scale: 8
  trainer:
    num_nodes: ${recipes.run.actor_train_replicas}
  model:
    global_batch_size: 160
    ent_coeff: 0
    clip_ratio: 0.2
    lam: 1
    kl_loss_coeff: 0.0
    kl_loss_type: low_var_kl
    kl_reward_penalty_coeff: 0.0
    hidden_dropout: 0.0 # Dropout probability for hidden state transformer.
    attention_dropout: 0.0 # Dropout probability in the attention layer.
    ffn_dropout: 0.0 # Dropout probability in the feed-forward layer.
    optim:
      lr: 3e-06
      name: distributed_fused_adam # only this one is available for p0.
      adam_w_mode: true
      eps: 1e-08
      weight_decay: 0.0
      betas:
        - 0.9
        - 0.999 

限制

PPO 具有下列限制：