本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
使用 API 提交提示并生成响应
Amazon Bedrock 提供了以下 API 操作来执行模型推理:
-
InvokeModel— 提交提示并生成响应。请求正文是特定于模型的。要生成直播响应,请使用InvokeModelWithResponseStream。
-
Converse — 使用所有模型统一的结构提交提示并生成响应。可以在该字段中指定特定型号的请求字段。
additionalModelRequestFields
您还可以包括系统提示和之前的对话以获取上下文。要生成直播响应,请使用ConverseStream。 -
StartAsyncInvoke— 提交提示并异步生成响应,以后可以检索。用于生成视频。
-
OpenAI聊天完成 API — 使用 Amazon Bedrock 支持的模型的OpenAI聊天完成 API
生成响应。
要进行模型推理,您需要确定以下参数:
-
模型 ID:在
modelId
字段中用于推理的模型或推理配置文件的 ID 或 Amazon 资源名称(ARN)。下表描述了如何 IDs 查找不同类型的资源:模型类型 描述 在控制台中查找 ID 在 API 中查找 ID 相关文档 基础模型 供应商提供的基础模型。 从左侧导航窗格中选择基础模型,搜索模型,然后查找模型 ID。 发送 O GetFoundationModelR ListFoundationModels请求并在响应 modelId
中查找。参见以下 IDs 列表Amazon Bedrock 中支持的根基模型。 推理配置文件 通过允许在多个区域调用模型来提高吞吐量。 从左侧导航窗格中选择 “跨区域推理”,然后查找推理配置文件 ID。 发送 O GetInferenceProfileR ListInferenceProfiles请求并在响应 inferenceProfileId
中查找。参见以下 IDs 列表推理配置文件支持的区域和模型。 提示 使用提示管理构建的提示。 从左侧导航窗格中选择 “提示管理”,在 “提示” 部分中选择一个提示,然后查找 Prom pt ARN。 发送 O GetPromptR ListPrompts请求并在响应 promptArn
中查找。要了解如何在 Prompt 管理中创建提示,请访问在 Amazon Bedrock 中使用提示管理器构建和存储可重复使用的提示。 预调配吞吐量 以固定成本为模型提供更高的吞吐量。 从左侧导航窗格中选择预调配吞吐量,选择预调配吞吐量,然后查找 ARN。 发送 O GetProvisionedModelThroughputR ListProvisionedModelThroughputs请求并在响应 provisionedModelArn
中查找。请参阅 利用 Amazon Bedrock 中的预调配吞吐量增加模型调用容量,了解如何为模型购买预调配吞吐量。 自定义模型 一种参数从基于训练数据的基础模型中转移的模型。 为自定义模型购买预调配吞吐量后,请按照步骤查找预调配吞吐量的 ID。 为自定义模型购买预调配吞吐量后,请按照步骤查找预调配吞吐量的 ID。 请参阅 针对使用案例自定义模型以提高其性能,了解如何优化自定义模型。自定义模型后,您必须为其购买预调配吞吐量并使用预调配吞吐量的 ID。 -
请求正文:包含模型的推理参数和其他配置。每个基础模型都有自己的推理参数。自定义模型或预调配模型的推理参数取决于创建模型时所依据的基础模型。有关更多信息,请参阅 基础模型的推理请求参数和响应字段。
选择一个主题来学习如何使用模型调用 APIs。