Amazon Bedrock 中的推論運作方式 - Amazon Bedrock
在不同 AWS 區域中調用模型

Amazon Bedrock 中的推論運作方式

當您提交輸入至模型時，該模型會預測隨後的字符的可能序列，並將該序列當作輸出傳回。Amazon Bedrock 提供您使用選擇的基礎模型執行推論的功能。當執行推論時，您會提供下列輸入：

在不同 AWS 區域中調用模型

當您調用模型時，可以選擇要在其中調用模型的 AWS 區域。您可以提出之請求的頻率和大小配額取決於區域。您可以在 Amazon Bedrock Service Quotas 中搜尋下列配額，以尋找這些配額：

  • ${Model} 的每分鐘隨需模型推論請求

  • ${Model} 的每分鐘隨需 InvokeModel 字符

您也可以調用推論設定檔，而不是基礎模型本身。推論設定檔會定義一個模型，以及推論設定檔可將模型調用請求路由至其中的一或多個區域。您可以透過調用包含多個區域的推論設定檔來提高輸送量。如需詳細資訊，請參閱 透過跨區域推論增加輸送量。若要查看您可以使用推論設定檔提出之請求的頻率和大小配額，請在 Amazon Bedrock Service Quotas 中搜尋下列配額：

  • ${Model} 的每分鐘跨區域 InvokeModel 請求

  • ${Model} 的每分鐘跨區域 InvokeModel 字符

  • ${Model} 的每分鐘全域跨區域 InvokeModel 請求

  • ${Model} 的每分鐘全域跨區域 InvokeModel 字符

對區域提出的請求可能會在共用相同父區域的本機區域外提供。例如，向美國東部 (維吉尼亞北部) (us-east-1) 提出的請求可能會在與其相關聯的任何本地區域提供，例如亞特蘭大、美國 (us-east-1-atl-2a)。

使用跨區域推論時，適用相同的原則。例如，對美國 Anthropic Claude 3 Haiku 推論設定檔提出的請求，可能會在其父區域位於美國的任何本機區域提供，例如西雅圖、美國 (us-west-2-sea-1a)。將新的本機區域新增至 AWS 時，也會將其新增至對應的跨區域推論端點。

若要查看本機端點及其相關聯的父區域清單，請參閱 AWS 本機區域位置。

當您在 Amazon Bedrock 中調用跨區域推論設定檔時，您的請求會源自來源區域，並且會自動路由到該設定檔中定義的其中一個目的地區域，以最佳化效能。全域跨區域推論設定檔的目的地區域包含所有商業區域。

特定模型的全域跨區域推論設定檔可能會隨著時間而變更，因為 AWS 會新增更多可處理您請求的商業區域。不過，如果推論設定檔與地理位置 (例如美國、歐洲或亞太區) 繫結，則其目的地區域清單一律不會變更。AWS 可能會建立新的推論設定檔，其中包含新的區域。您可以更新系統來使用這些推論設定檔，方法是將設定中的 ID 變更為新的 ID。

注意

跨區域推論設定檔中的目的地區域可包含選擇加入區域，這是您必須在 AWS 帳戶 或 Organization 層級明確啟用的區域。若要進一步了解，請參閱《在您的帳戶中啟用或停用 AWS 區域》。使用跨區域推論設定檔時，可將您的推論請求路由到設定檔中的任何目的地區域，即使您未選擇加入帳戶中的此類區域也一樣。

服務控制政策 (SCP) 與 AWS Identity and Access Management (IAM) 政策共同運作，以控制允許跨區域推論的位置。您可以使用 SCP 來控制 Amazon Bedrock 可以使用哪些區域進行推論，並使用 IAM 政策來定義哪些使用者或角色具有執行推論的許可。如果跨區域推論設定檔中的任何目的地區域在 SCP 中遭到封鎖，則即使仍允許其他區域，請求也會失敗。為了確保跨區域推論的有效操作，您可以更新 SCP 和 IAM 政策，以允許在所選推論設定檔中包含的所有目的地區域中執行所有必要的 Amazon Bedrock 推論動作 (例如 bedrock:InvokeModel* 或 bedrock:CreateModelInvocationJob)。若要進一步了解，請參閱《https://aws.amazon.com/blogs/machine-learning/enable-amazon-bedrock-cross-region-inference-in-multi-account-environments/Enabling Amazon Bedrock cross-Region inference in multi-account environments》。