Amazon Bedrock 中的推論運作方式 - Amazon Bedrock
在不同區域中叫用模型 AWS

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

Amazon Bedrock 中的推論運作方式

當您將輸入提交至模型時，模型會預測後續可能的字符序列，並將該序列傳回為輸出。Amazon Bedrock 可讓您使用您選擇的基礎模型執行推論。當您執行推論時，請提供下列輸入：

在不同區域中叫用模型 AWS

當您叫用模型時，您可以選擇要在 AWS 區域 其中叫用模型的 。您可以提出之請求的頻率和大小配額取決於 區域。您可以在 Amazon Bedrock 服務配額中搜尋下列配額來尋找這些配額：

  • ${Model} 的每分鐘隨需模型推論請求

  • ${Model} 的每分鐘隨需 InvokeModel 權杖

您也可以叫用推論描述檔，而不是基礎模型本身。推論描述檔會定義模型和一個或多個區域，而推論描述檔可以將模型調用請求路由到這些區域。透過調用包含多個區域的推論設定檔，您可以提高輸送量。如需詳細資訊，請參閱使用跨區域推論增加輸送量。若要查看您可以使用推論設定檔提出之請求的頻率和大小配額，請在 Amazon Bedrock 服務配額中搜尋下列配額：

  • ${Model} 的每分鐘跨區域 InvokeModel 請求

  • ${Model} 的每分鐘跨區域 InvokeModel 權杖

  • ${Model} 的每分鐘全域跨區域 InvokeModel 請求

  • ${Model} 的每分鐘全域跨區域 InvokeModel 權杖

對區域提出的請求可能會從共用相同父區域的本機區域提供。例如，向美國東部 （維吉尼亞北部） (us-east-1) 提出的請求可能會在與其相關聯的任何本地區域提供，例如亞特蘭大、美國 (us-east-1-atl-2a)。

使用跨區域推論時，適用相同的原則。例如，對美國AnthropicClaude 3 Haiku推論描述檔提出的請求可能會在其父區域位於美國的任何本機區域提供，例如西雅圖、美國 (us-west-2-sea-1a)。將新的本機區域新增至 時 AWS，也會將其新增至對應的跨區域推論端點。

若要查看本機端點及其相關聯的父區域清單，請參閱AWS 本機區域位置。

當您在 Amazon Bedrock 中調用跨區域推論設定檔時，您的請求來自來源區域，並會自動路由到該設定檔中定義的其中一個目的地區域，以最佳化效能。全域跨區域推論設定檔的目的地區域包含所有商業區域。

特定模型的全域跨區域推論設定檔可能會隨著時間而變更，因為 AWS 會新增更多可處理您的請求的商業區域。不過，如果推論設定檔與地理位置 （例如美國、歐洲或亞太地區） 繫結，則其目的地區域清單永遠不會變更。 AWS 可能會建立新的推論設定檔，其中包含新的區域。您可以更新系統以使用這些推論設定檔，方法是將設定中的 IDs變更為新的 ID。

注意

跨區域推論設定檔中的目的地區域可以包含選擇加入區域，這是您必須在 AWS 帳戶 或 Organization 層級明確啟用的區域。若要進一步了解，請參閱AWS 區域 在您的帳戶中啟用或停用 。使用跨區域推論設定檔時，您的推論請求可以路由到設定檔中的任何目的地區域，即使您未選擇加入帳戶中的此類區域。

服務控制政策 SCPs) 和 AWS Identity and Access Management (IAM) 政策共同運作，以控制允許跨區域推論的位置。使用 SCPs，您可以控制 Amazon Bedrock 可以使用哪些區域進行推論，並使用 IAM 政策來定義哪些使用者或角色具有執行推論的許可。如果跨區域推論設定檔中的任何目的地區域在 SCPs 中遭到封鎖，即使其他區域仍然允許，請求也會失敗。為了確保使用跨區域推論進行有效率的操作，您可以更新 SCPs 和 IAM 政策，以允許在所選推論設定檔中包含的所有目的地區域中執行所有必要的 Amazon Bedrock 推論動作 （例如 bedrock:InvokeModel*或 bedrock:CreateModelInvocationJob)。若要進一步了解，請參閱在多帳戶環境中https://aws.amazon.com/blogs/machine-learning/enable-amazon-bedrock-cross-region-inference-in-multi-account-environments/啟用 Amazon Bedrock 跨區域推論。