近端策略优化 (PPO)

近端策略优化 (PPO) 是使用多个机器学习模型对模型进行训练并评分的过程。以下模型是 PPO 流程的一部分：

训练数据必须采用 JSONL 格式，其中每行都包含一个代表训练示例的 JSON 对象。示例如下：

{
    "turns": ["string", "string", ...], // Required
    "turns_to_mask": [integer, integer, ...], // Required
    "reward_category": "string", // Required
    "meta_data": {} // Optional
}

以下是记录示例：

{
    "turns": ["You are a helpful AI assistant.",
        "User: What is ML? Bot:",
        "Machine learning is...", "User: Examples? Bot:",
        "Email spam filtering is..."
    ],
    "turns_to_mask": [0, 1, 3],
    "reward_category": "default",
    "meta_data": {
        "messages": [{
                "role": "system",
                "content": "You are a helpful AI assistant."
            },
            {
                "role": "user",
                "content": "What is ML?"
            },
            {
                "role": "assistant",
                "content": "Machine learning is..."
            },
            {
                "role": "user",
                "content": "Examples?"
            },
            {
                "role": "assistant",
                "content": "Email spam filtering is..."
            }
        ]
    }
}

奖励建模框架实现了跨不同类别目标的多维优化，以促进稳健的模型收敛。应根据模型必须优化的任务来选择奖励类别。

我们建议按照以下准则来为任务选择合适的框架：

掩蔽回合

在训练数据集中，turns_to_mask 参数对于控制哪些对话回合在训练期间接收梯度更新至关重要。这个索引数组决定了模型应该学习生成对话的哪些部分，而哪些部分应仅被视为上下文。适当的掩蔽可确保模型学习相应的响应模式，同时避免根据系统提示或用户输入进行训练，而这可能会降低性能。

建议采取以下掩蔽指南：

有效掩蔽的关键是监控训练指标和验证性能，以确定您的掩蔽策略是否保留了必要的上下文，同时将梯度更新重点放在所需的模型输出上。

启用 KL 散度损失

要启用 KL 散度损失，需要启用锚点服务器以计算当前策略与原始分配的差异。需要指定 KL 损失类型，并且系数必须是非零值。较高的系数值有助于模型不会与原始策略有太大偏差，从而减少总体性能的变化。较低的系数值会使与先前策略的偏差更大，从而提高目标指标的性能，但会影响总体性能。

ppo_anchor:
  max_length: 8192
  trainer:
    num_nodes: ${recipes.run.cm_replicas}
  model:
    global_batch_size: 32
    
ppo_actor_train:
  model:
    ######## Use KL in actor loss ########
    kl_loss_type: low_var_kl 
    kl_loss_coeff: 0.1 

    ######## Use KL in reward model ######
    kl_reward_penalty_coeff: 0.1

学习率

评估模型和策略模型的学习率可以调整，3e-6 是默认的平衡选择。较高的学习率通常会导致训练不稳定，这可以通过 KL 散度峰值和不稳定的策略行为来识别。较低的学习率可能会导致收敛问题和学习缓慢，这表现为奖励停滞并且策略更新很少。定期监控 KL 散度、奖励分数和值损失有助于确定是否在训练期间调整学习率。

ppo_critic:
  model:
    optim:
      lr: 3e-6

ppo_actor_train:
  model:
    optim:
      lr: 3e-06

全局批次大小

全局批量大小会显著影响 Amazon Nova 中的 PPO 性能，批量较大通常可以提高训练稳定性和梯度估计，同时实现更高效的并行处理。但是，批量大小过大会导致效用递减，并且可能会受到可用内存的限制，因此需要谨慎平衡学习率和其他超参数。

ppo_actor_train:
  model:
    global_batch_size: 160

可用于 PPO 调整的 Amazon Nova 参数包括：

PPO 配方

以下是 PPO 的配方。

## Run config
run:
  name: ndry-ppo-pro
  model_type: amazon.nova-pro-v1:0:300k
  model_name_or_path: nova-pro/prod
  data_s3_path: s3://testing/train.jsonl # Your training data S3 path

  actor_train_replicas: 6 # Actor train model replicas
  rm_replicas: 1 # Reward model replicas
  cm_replicas: 1 # Critic model replicas
  actor_generation_replicas: 2 # Actor generation model replicas
  am_replicas: 1 # Anchor model replicas

## Training config for each PPO component
ppo_reward:
  max_length: 8192 # model architecture max length
  trainer:
    num_nodes: ${recipes.run.rm_replicas}
  model:
    global_batch_size: 16

ppo_critic:
  max_length: 8192
  trainer:
    num_nodes: ${recipes.run.cm_replicas}
  model:
    global_batch_size: 16
    optim:
      lr: 3e-6
      name: distributed_fused_adam
      adam_w_mode: true
      eps: 1e-06
      weight_decay: 0.0
      betas:
        - 0.9
        - 0.999

ppo_anchor:
  max_length: 8192
  trainer:
    num_nodes: ${recipes.run.am_replicas}
  model:
    global_batch_size: 16

ppo_actor_generation:
  actor_model_max_length: 8192
  trainer:
    num_nodes: ${recipes.run.actor_generation_replicas}

ppo_actor_train:
  max_length: 8192
  max_steps: 520 # Stopping criteria Desired epoch num * trajectory_buffer_scale
  actor_model_max_length: 8192 # truncate input data to max length
  reward_model_max_length: 8192 # truncate input data to max length
  trajectory_buffer_scale: 8
  trainer:
    num_nodes: ${recipes.run.actor_train_replicas}
  model:
    global_batch_size: 160
    ent_coeff: 0
    clip_ratio: 0.2
    lam: 1
    kl_loss_coeff: 0.0
    kl_loss_type: low_var_kl
    kl_reward_penalty_coeff: 0.0
    hidden_dropout: 0.0 # Dropout probability for hidden state transformer.
    attention_dropout: 0.0 # Dropout probability in the attention layer.
    ffn_dropout: 0.0 # Dropout probability in the feed-forward layer.
    optim:
      lr: 3e-06
      name: distributed_fused_adam # only this one is available for p0.
      adam_w_mode: true
      eps: 1e-08
      weight_decay: 0.0
      betas:
        - 0.9
        - 0.999 

限制

PPO 具有以下限制：