View a markdown version of this page

Fine-tune 使用开放式权重模型 OpenAI-兼容的 API - Amazon Bedrock

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

Fine-tune 使用开放式权重模型 OpenAI-兼容的 API

亚马逊 Bedrock 提供OpenAI兼容的 API 终端节点,用于微调基础模型。这些终端节点允许您使用熟悉的OpenAI软件开发工具包和工具创建、监控和管理使用 Amazon Bedrock 模型的微调任务。本页重点介绍使用这些 API 进行强化微调。

关键功能

  • 上传训练文件 — 使用文件 API 上传和管理训练数据以微调作业

  • 创建微调任务 — 使用自定义训练数据和奖励函数开始微调作业

  • 列出和检索任务 -查看所有微调任务并获取有关特定任务的详细信息

  • 监控作业事件 — 通过详细的事件日志跟踪微调进度

  • 访问检查点 -检索训练期间创建的中间模型检查点

  • 立即推断 — 微调完成后,使用生成的微调模型通过 Amazon Bedrock 的 OpenAI-compatible API(Responses/chat 完成 API)进行按需推理,无需额外的部署步骤

  • 易于迁移 — 与现有 OpenAI SDK 代码库兼容

开放权重模型的强化微调工作流程

在进行微调之前,请确保您具备先决条件,因为 Amazon Bedrock 需要特定的权限才能创建和管理微调流程。有关全面的安全和权限信息,请参阅开放式权重模型的访问权限和安全性

分为 5 个步骤对开放式权重模型进行加固微调:

  1. 上传训练数据集 — 使用文件 API 上传所需格式(例如 JSONL)的提示,其目的是 “微调” 作为强化微调训练数据集。有关更多信息,请参阅 为开放式权重模型准备数据

  2. 配置奖励函数 -定义一个评分器,使用 Lambda 函数根据正确性、结构、语气或其他目标对模型答复进行评分。有关更多信息,请参阅 为开放式权重模型设置奖励函数

  3. 创建 Fine-tuning 任务 -通过指定基础模型、数据集、奖励函数和其他可选设置(例如超参数),使用OpenAI兼容的 API 启动强化微调任务。有关更多信息,请参阅 创建微调作业

  4. 监控训练进度 -使用微调作业 API 跟踪任务状态、事件和训练指标。有关更多信息,请参阅 列出微调事件。访问中间模型检查点以评估不同训练阶段的性能,请参阅列出微调检查点

  5. 运行推断 — 直接使用经过微调的模型 ID 通过 Amazon Bedrock OpenAI 兼容的响应或聊天完成 API 进行推断。有关更多信息,请参阅 使用经过微调的模型运行推理

支持的区域和终端节点

下表显示了支持OpenAI兼容微调 API 的基础模型和区域:

支持的型号和区域 OpenAI 兼容的微调 API
Provider 模型 模型 ID 区域名称 区域 端点
OpenAI Gpt-oss-20B openai.gpt-oss-20b 美国西部(俄勒冈州) us-west-2 bedrock-mantle.us-west-2.api.aws
Qwen Qwen3 32B qwen.qwen3-32b 美国西部(俄勒冈州) us-west-2 bedrock-mantle.us-west-2.api.aws