使用模型推理增强模型响应 - Amazon Bedrock

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

使用模型推理增强模型响应

某些基础模型能够执行模型推理,因而可以执行较大型的复杂任务,并将其分解为较小型、较简单的步骤。这个过程通常被称为思维链(CoT)推理。思维链推理通常可以让模型有机会在做出反应之前进行思考,从而提高模型的准确性。模型推理对于多步分析、数学问题和复杂推理任务等任务最为有用。

例如,在处理数学单词问题时,模型可以首先识别相关变量,然后根据给定的信息构造方程,最后求解这些方程以得出解。这种策略不仅可以最大限度地减少错误,还可以使推理过程更加透明和易于理解,从而提高基础模型的输出质量。

并非所有任务都需要模型推理,而且会带来额外的开销,包括延迟和输出词元的增加。不需要额外解释的简单任务不适合 CoT 推理。

请注意,并非所有模型都允许您配置为模型推理分配的输出词元数量。

模型推理适用于以下模型。

基础模型 模型 ID 词元数量 推理配置
Anthropic Claude Opus 4 anthropic.claude-opus-4-20250514-v1:0 此模型将有 32768 个词元,包括输出词元和推理词元。 可使用可配置的词元预算,为此模型启用或禁用推理。默认情况下,禁用推理。
Anthropic Claude Sonnet 4 anthropic.claude-sonnet-4-20250514-v1:0 此模型将有 65536 个词元,包括输出词元和推理词元。 可使用可配置的词元预算,为此模型启用或禁用推理。默认情况下,禁用推理。
Anthropic Claude 3.7 Sonnet anthropic.claude-3-7-sonnet-20250219-v1:0 此模型将有 65536 个词元,包括输出词元和推理词元。 可使用可配置的词元预算,为此模型启用或禁用推理。默认情况下,禁用推理。
DeepSeek DeepSeek-R1 deepseek.r1-v1:0 此模型将有 8192 个词元,包括输出词元和推理词元。无法配置思考词元的数量,并且输出词元的最大数量不得超过 8192。 此模型始终启用推理。此模型不支持开启和关闭推理功能的切换。