透過跨區域推論增加輸送量 - Amazon Bedrock

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

透過跨區域推論增加輸送量

透過跨區域推論,您可以選擇與特定地理位置 (例如美國或歐洲) 繫結的跨區域推論設定檔,也可以選擇全域推論設定檔。當您選擇與特定地理繫結的推論設定檔時,Amazon Bedrock 會自動選取該地理AWS 區域內的最佳商業,以處理您的推論請求。使用全域推論設定檔時,Amazon Bedrock 會自動選取最佳廣告 AWS 區域 來處理請求,進而最佳化可用資源並提高模型輸送量。

這兩種類型的跨區域推論都透過推論描述檔運作,定義基礎模型 (FM) AWS 區域和可路由請求的 。在隨需模式中執行模型推論時,請求可能會受到服務配額或尖峰使用時間的限制。跨區域推論可讓您利用不同 的運算,順暢地管理意外流量暴增AWS 區域。

您也可以購買佈建輸送量來增加模型的輸送量。推論設定檔目前不支援佈建輸送量。

若要查看您可以使用推論設定檔來執行跨區域推論的區域和模型,請參閱推論設定檔支援的區域和模型

在地理和全域跨區域推論之間進行選擇

Amazon Bedrock 提供兩種類型的跨區域推論設定檔,每個設定檔都針對不同的使用案例和合規需求而設計:

功能 地理跨區域推論 全域跨區域推論 建議
資料落地 在地理邊界內 (美國、歐洲、亞太區等) 全球任何支援AWS的商業區域 選擇地理位置以符合合規要求
輸送量 高於單一區域 最高可用 選擇全域以獲得最大效能
Cost 標準定價 節省約 10% 選擇全域進行成本最佳化
SCP 要求 允許設定檔中的所有目的地區域 允許 "aws:RequestedRegion": "unspecified" 根據您的組織政策來設定
最適合 具有資料落地法規的組織 組織優先考慮成本和效能 評估您的合規和效能需求

當您有資料落地要求且需要確保資料處理保持在特定地理邊界內時,請選擇地理跨區域推論。當您想要在不受地理限制的情況下達到最大輸送量和節省成本時,請選擇全域跨區域推論。

一般考量事項

請注意與跨區域推論有關的下列資訊:

  • 使用跨區域推論無需額外的路由費用。價格是根據您從中呼叫推論設定檔的區域來計算。如需定價的資訊,請參閱 Amazon Bedrock 定價

  • 跨區域推論可以將未在 中手動啟用AWS 區域的請求路由到 AWS 帳戶。跨區域推論不需要手動啟用區域即可運作。

  • 跨區域操作期間傳輸的所有資料都會保留在AWS網路上,而不會周遊公有網際網路。資料會在 之間傳輸中加密AWS 區域。

  • 所有跨區域推論請求都會記錄在來源區域的 CloudTrail 中。尋找 additionalEventData.inferenceRegion 欄位以識別處理請求的位置。

  • AWS由 Amazon Bedrock 提供支援的服務也可能使用 CRIS。如需詳細資訊,請參閱服務特定文件。