了解不同模型推理方法的使用案例 - Amazon Bedrock

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

了解不同模型推理方法的使用案例

您可以通过以下方法直接运行模型推理：

方法 应用场景
Amazon Bedrock 控制台演练场 在用户友好的图形界面中运行推理。便于探索。
Converse 或 ConverseStream 使用统一的 API 实现对话式应用程序，用于模型输入。
InvokeModel 或 InvokeModelWithResponseStream 提交单个提示并同步生成响应。对于实时生成响应或搜索查询很有用。
StartAsyncInvoke 提交单个提示并异步生成响应。对于大规模生成响应很有用。
CreateModelInvocationJob 准备提示数据集并批量生成响应。

以下 Amazon Bedrock 功能还使用模型推理作为更大工作流中的一个步骤：

  • 在您提交 CreateEvaluationJob 请求后，模型评测使用模型调用过程来评估不同模型的性能。

  • 在使用 RetrieveAndGenerate API 根据从知识库中检索到的结果生成响应时，知识库会使用模型调用。

  • 代理会使用模型调用在 InvokeAgent 请求期间的不同阶段生成响应。

  • 流包括使用模型调用的 Amazon Bedrock 资源，例如提示、知识库和代理。

在使用不同提示和推理参数测试不同基础模型后，您可以配置应用程序以便使用所需规格调用这些 API。