本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
使用模型推理增强模型响应
某些基础模型能够执行模型推理,因而可以执行较大型的复杂任务,并将其分解为较小型、较简单的步骤。这个过程通常被称为思维链(CoT)推理。思维链推理通常可以让模型有机会在做出反应之前进行思考,从而提高模型的准确性。模型推理对于多步分析、数学问题和复杂推理任务等任务最为有用。
例如,在处理数学单词问题时,模型可以首先识别相关变量,然后根据给定的信息构造方程,最后求解这些方程以得出解。这种策略不仅可以最大限度地减少错误,还可以使推理过程更加透明和易于理解,从而提高基础模型的输出质量。
并非所有任务都需要模型推理,而且会带来额外的开销,包括延迟和输出词元的增加。不需要额外解释的简单任务不适合 CoT 推理。
请注意,并非所有模型都允许您配置为模型推理分配的输出词元数量。
模型推理适用于以下模型。
| 基础模型 | 模型 ID | 词元数量 | 推理配置 |
|---|---|---|---|
| Anthropic Claude Opus 4 | anthropic.claude-opus-4-20250514-v1:0 | 此模型将有 32768 个词元,包括输出词元和推理词元。 | 可使用可配置的词元预算,为此模型启用或禁用推理。默认情况下,禁用推理。 |
| Anthropic Claude Sonnet 4 | anthropic.claude-sonnet-4-20250514-v1:0 | 此模型将有 65536 个词元,包括输出词元和推理词元。 | 可使用可配置的词元预算,为此模型启用或禁用推理。默认情况下,禁用推理。 |
| Anthropic Claude 3.7 Sonnet | anthropic.claude-3-7-sonnet-20250219-v1:0 | 此模型将有 65536 个词元,包括输出词元和推理词元。 | 可使用可配置的词元预算,为此模型启用或禁用推理。默认情况下,禁用推理。 |
| DeepSeek DeepSeek-R1 | deepseek.r1-v1:0 | 此模型将有 8192 个词元,包括输出词元和推理词元。无法配置思考词元的数量,并且输出词元的最大数量不得超过 8192。 | 此模型始终启用推理。此模型不支持开启和关闭推理功能的切换。 |