本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。
在模型調用中使用推論描述檔
您可以使用跨區域推論描述檔來取代基礎模型，將請求路由到多個區域。若要追蹤模型的成本和用量，您可以在一或多個區域中使用應用程式推論設定檔。若要了解如何在執行模型推論時使用推論描述檔，請選擇您偏好方法的索引標籤，然後遵循下列步驟：
- Console
-
在 主控台中，您可以使用的唯一推論設定檔是美國東部 （維吉尼亞北部） 區域中的美國AnthropicClaude 3 Opus推論設定檔。
若要使用此推論設定檔，請切換到美國東部 （維吉尼亞北部） 區域。當您達到選取AnthropicClaude 3 Opus模型的步驟時，請執行下列其中一項操作，並選取模型和跨區域推論做為輸送量：
-
若要在文字產生遊樂場中使用推論描述檔，請遵循 中的步驟使用遊樂場在主控台中產生回應。
-
若要在模型評估中使用推論描述檔，請遵循 的主控台步驟在 Amazon Bedrock 中啟動自動模型評估任務。
-
- API
-
從包含於下列 API 操作的任何區域執行推論時，您可以使用推論描述檔：
-
InvokeModel 或 InvokeModelWithResponseStream – 若要在模型調用中使用推論描述檔，請遵循 中的步驟，使用 InvokeModel 提交單一提示並在
modelId欄位中指定推論描述檔的 Amazon Resource Name (ARN)。如需範例，請參閱在模型調用中使用推論描述檔。 -
Converse 或 ConverseStream – 若要搭配 Converse API 在模型調用中使用推論描述檔，請遵循 中的步驟，與 Converse API 操作進行對話並在
modelId欄位中指定推論描述檔的 ARN。如需範例，請參閱在對話中使用推論設定檔。 -
RetrieveAndGenerate – 若要在從查詢知識庫的結果產生回應時使用推論描述檔，請遵循 中的 API 索引標籤中的步驟，使用查詢和回應測試您的知識庫並在
modelArn欄位中指定推論描述檔的 ARN。如需詳細資訊，請參閱使用推論精靈來產生回應。 -
CreateEvaluationJob – 若要提交用於模型評估的推論描述檔，請遵循 中的 API 索引標籤中的步驟，在 Amazon Bedrock 中啟動自動模型評估任務並在
modelIdentifier欄位中指定推論描述檔的 ARN。 -
CreatePrompt – 若要在為提示管理中建立的提示產生回應時使用推論描述檔，請遵循 中的 API 索引標籤中的步驟，使用提示管理建立提示並在
modelId欄位中指定推論描述檔的 ARN。 -
CreateFlow – 若要在為流程中提示節點內定義的內嵌提示產生回應時使用推論描述檔，請遵循 中的 API 索引標籤中的步驟在 Amazon Bedrock 中建立和設計流程。在定義提示節點時，請在
modelId欄位中指定推論描述檔的 ARN。 -
CreateDataSource – 若要在剖析資料來源中的非文字資訊時使用推論設定檔，請遵循 中的 API 區段中的步驟，資料來源的剖析選項並在
modelArn欄位中指定推論設定檔的 ARN。
注意
如果您使用的是跨區域 （系統定義） 推論描述檔，則可以使用 ARN 或推論描述檔的 ID。
-
