使用 API 提交提示并生成响应 - Amazon Bedrock

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

使用 API 提交提示并生成响应

Amazon Bedrock 提供以下 API 操作来执行模型推理：

  • InvokeModel – 提交提示并生成响应。请求正文特定于模型。要生成流式处理响应，请使用 InvokeModelWithResponseStream。

  • Converse – 提交提示并使用所有模型统一的结构生成响应。可以在 additionalModelRequestFields 字段中指定特定于模型的请求字段。您还可以包含系统提示和之前的对话以了解上下文。要生成流式响应，请使用 ConverseStream。

  • StartAsyncInvoke – 提交提示并异步生成以后可以检索的响应。用于生成视频。

  • InvokeModelWithBidirectionalStream –

  • OpenAI 聊天补全 API – 使用 Amazon Bedrock 支持的模型和 OpenAI 聊天补全 API 生成响应。

要进行模型推理，您需要确定以下参数：

  • 模型 ID：在 modelId 字段中用于推理的模型或推理配置文件的 ID 或 Amazon 资源名称（ARN）。下表介绍如何为不同类型的资源查找 ID：

    模型类型 描述 在控制台中查找 ID 在 API 中查找 ID 相关文档
    基础模型 供应商提供的基础模型。 从左侧导航窗格中选择基础模型，搜索模型，然后查找模型 ID。 发送 GetFoundationModel 或 ListFoundationModels 请求，并在响应中查找 modelId。 在 Amazon Bedrock 中支持的根基模型 中查看 ID 列表。
    推理配置文件 通过允许在多个区域调用模型来提高吞吐量。 从左侧导航窗格中选择跨区域推理，然后查找推理配置文件 ID。 发送 GetInferenceProfile 或 ListInferenceProfiles 请求并在响应中查找 inferenceProfileId。 在 支持推理配置文件的区域和模型 中查看 ID 列表。
    提示 使用提示管理器构建的提示。 从左侧导航窗格中选择提示管理器，在提示部分选择一个提示，然后查找提示 ARN。 发送 GetPrompt 或 ListPrompts 请求，并在响应中查找 promptArn。 要了解在提示管理器中创建提示的相关信息，请参阅在 Amazon Bedrock 中使用提示管理器构建和存储可重复使用的提示。
    预调配吞吐量 以固定成本为模型提供更高的吞吐量。 从左侧导航窗格中选择预调配吞吐量，选择预调配吞吐量，然后查找 ARN。 发送 GetProvisionedModelThroughput 或 ListProvisionedModelThroughputs 请求，并在响应中查找 provisionedModelArn。 请参阅 利用 Amazon Bedrock 中的预调配吞吐量增加模型调用容量，了解如何为模型购买预调配吞吐量。
    自定义模型 一种参数从基于训练数据的基础模型中转移的模型。 为自定义模型购买预调配吞吐量后，请按照步骤查找预调配吞吐量的 ID。 为自定义模型购买预调配吞吐量后，请按照步骤查找预调配吞吐量的 ID。 请参阅 针对使用案例自定义模型以提高其性能，了解如何优化自定义模型。自定义模型后，您必须为其购买预调配吞吐量并使用预调配吞吐量的 ID。

  • 请求正文：包含模型的推理参数和其他配置。每个基础模型都有自己的推理参数。自定义模型或预调配模型的推理参数取决于创建模型时所依据的基础模型。有关更多信息，请参阅 基础模型的推理请求参数和响应字段。

选择一个主题来了解如何使用模型调用 API。

主题