View a markdown version of this page

高级法学硕士设置 - AWS 上的生成式人工智能应用程序构建者
Amazon Bedrock 护栏Amazon Bedrock 的预配置吞吐量模型参数

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

高级法学硕士设置

在使用 Amazon Bedrock 时，您可以为模型配置一些高级设置，例如 Amazon Bedrock Guardrails、Amazon Bedrock 的预配置吞吐量以及其他模型参数。

Amazon Bedrock 护栏

Amazon Bedrock Guardrails 是 Amazon Bedrock 的一项功能，它根据用户配置的策略评估用户输入和 LLM 响应，并提供额外的保护措施，无论用户为用例选择哪种底层 LLM。Guardrail 由 2 项策略组成，用于避免内容属于不良或有害类别：

  1. 拒绝的主题，用于定义一组在用户应用程序环境中不受欢迎的话题，例如，金融应用程序中的投资建议，以及

  2. 内容过滤器****它允许过滤包含有害内容的输入用户提示或模型响应。

要在生成式 AI 应用程序生成器解决方案中使用，必须使用创建护栏向导在 A mazon Bedrock 控制台中配置护栏。创建后，您可以通过提供您的护栏标识符和护栏版本，将此 Guardrail 添加到通过生成式 AI App Builder 解决方案向导在 “模型选择” 步骤中的其他设置中创建的聊天用例中。

描述部署向导——启用 Amazon Bedrock Guardrails

基岩护栏

Amazon Bedrock 的预配置吞吐量

每个按需 Amazon Bedrock 模型都遵循特定区域的账户配额限制，用于模型推理。例如，Bedrock 上的 Anthropic Claude 2.x 目前允许在 us-east-1 和 us-west-2 地区每分钟处理 500 个请求和 500,000 个令牌。您可能还想将该解决方案与经过微调或持续的预训练模型一起使用。对于此类实例，Amazon Bedrock 允许预配置吞吐量，从而允许为您的基础运行大型一致的推理工作负载，并允许在生产级应用程序中使用经过微调或持续的预训练模型。

在 Amazon Bedrock 控制台中购买预配置吞吐量后，系统会生成一个模型 ARN 供使用。现在，您可以在生成式 AI 应用程序开发器向导的模型选择步骤中提供此模型 ARN。为此，请选择 Bedrock 作为模型提供者，并选择用于在 Amazon Bedrock 控制台中生成此预配置模型 ARN 的基本模型名称。然后，在按需模型和预配置模型之间进行选择时选择 “预配置模型”，并提供您的模型 ARN。

描述部署向导-为 Amazon Bedrock 启用预配置吞吐量

为基岩预配置吞吐量
注意

您的防护栏和预配置吞吐量必须与部署的部署控制面板和用例堆栈位于同一区域。

模型参数

LLMs 通常接受与其实现相关的各种参数。模型提供者通常会提供文档，概述支持的参数集及其用途。

该解决方案将模型参数直接传递给基础模型，因此确保参数设置正确非常重要。有关支持参数的最新信息，请参阅模型提供商的文档。