View a markdown version of this page

進階 LLM 設定 - AWS 上的生成式 AI 應用程式建置器
Amazon Bedrock 防護機制Amazon Bedrock 的佈建輸送量模型參數

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

進階 LLM 設定

使用 Amazon Bedrock 時，您可以為模型設定一些進階設定，例如 Amazon Bedrock Guardrails、Amazon Bedrock 的佈建輸送量，以及其他模型參數。

Amazon Bedrock 防護機制

Amazon Bedrock Guardrails 是 Amazon Bedrock 的一項功能，可根據使用者設定的政策評估使用者輸入和 LLM 回應，並提供額外一層保護，無論使用者為使用案例選擇的基礎 LLM 為何。護欄包含 2 個政策，可避免屬於不良或有害類別的內容：

  1. 拒絕主題以定義一組在使用者應用程式內容中不理想的主題，例如金融應用程式的投資建議，以及

  2. 內容篩選條件****允許篩選包含有害內容的輸入使用者提示或模型回應。

對於生成式 AI 應用程式建置器解決方案中的使用，必須使用建立護欄精靈在 Amazon Bedrock 主控台中設定護欄。建立後，您可以提供 Guardrail 識別符和 Guardrail 版本，將此 Guardrail 新增至模型選擇步驟中的其他設定中，透過生成式 AI Application Builder 解決方案精靈建立的聊天使用案例。

描述部署精靈 - 啟用 Amazon Bedrock 護欄

底岩護欄

Amazon Bedrock 的佈建輸送量

每個隨需 Amazon Bedrock 模型都遵循特定區域的模型推論帳戶配額限制。例如，Batrock 上的 Anthropic Claude 2.x 目前允許在 us-east-1 和 us-west-2 區域中每分鐘處理 500 個請求和 500，000 個字符。您也可以將解決方案與經過微調或持續預先訓練的模型搭配使用。對於這類執行個體，Amazon Bedrock 允許佈建的輸送量，允許為您的基礎執行大型一致的推論工作負載、微調或持續預先訓練的模型，以用於生產級應用程式。

在 Amazon Bedrock 主控台中購買佈建輸送量後，就會產生模型 ARN 以供使用。您現在可以在模型選取步驟的生成式 AI 應用程式建置器精靈中提供此模型 ARN。若要這樣做，請選取 Bedrock 做為模型提供者，以及用來在 Amazon Bedrock 主控台中產生此佈建模型 ARN 的基本模型名稱。然後，選擇隨需模型和佈建模型時，選取「佈建模型」，並提供模型 ARN。

描述部署精靈 - 啟用 Amazon Bedrock 的佈建輸送量

底端的佈建輸送量
注意

您的護欄和佈建輸送量必須與部署的部署儀表板和使用案例堆疊位於相同的區域。

模型參數

LLMs通常接受其實作特有的各種參數。模型提供者通常會提供概述支援參數集及其用途的文件。

解決方案會將模型參數直接傳遞至基礎模型，因此請務必確保參數設定正確。如需支援參數的最新資訊，請參閱模型提供者的文件。