透過跨區域推論增加輸送量 - Amazon Bedrock

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

透過跨區域推論增加輸送量

透過跨區域推論,您可以選擇與特定地理位置 (例如美國或歐洲) 繫結的跨區域推論設定檔,也可以選擇全域推論設定檔。當您選擇與特定地理繫結的推論設定檔時,Amazon Bedrock 會自動選取該地理 AWS 區域 內的最佳商業,以處理您的推論請求。使用全域推論設定檔時,Amazon Bedrock 會自動選取最佳廣告 AWS 區域 來處理請求,進而最佳化可用資源並提高模型輸送量。

這兩種類型的跨區域推論都透過推論描述檔運作,定義基礎模型 (FM) AWS 區域 和可路由請求的 。在隨需模式中執行模型推論時,請求可能會受到服務配額或尖峰使用時間的限制。跨區域推論可讓您利用不同 的運算,順暢地管理意外流量暴增 AWS 區域。

您也可以購買佈建輸送量來增加模型的輸送量。推論設定檔目前不支援佈建輸送量。

若要查看您可以使用推論設定檔來執行跨區域推論的區域和模型,請參閱推論設定檔支援的區域和模型

在地理和全域跨區域推論之間進行選擇

Amazon Bedrock 提供兩種類型的跨區域推論設定檔,每個設定檔都針對不同的使用案例和合規要求而設計:

功能 地理跨區域推論 全域跨區域推論 建議
資料落地 在地理邊界 (美國、歐洲、亞太區等) 內 全球任何支援 AWS 的商業區域 選擇地理以滿足合規要求
輸送量 高於單一區域 最高可用 選擇全域以獲得最佳效能
Cost 標準定價 節省約 10% 選擇全域進行成本最佳化
SCP 要求 允許設定檔中的所有目的地區域 允許 "aws:RequestedRegion": "unspecified" 根據您的組織政策來設定
最適合 具有資料落地法規的組織 組織優先考慮成本和效能 評估您的合規和效能需求

當您有資料落地要求且需要確保資料處理保持在特定地理邊界內時,請選擇地理跨區域推論。當您想要在不受地理限制的情況下達到最大輸送量和節省成本時,請選擇全域跨區域推論。

一般考量事項

請注意與跨區域推論有關的下列資訊:

  • 使用跨區域推論無需額外的路由費用。價格是根據您從中呼叫推論設定檔的區域來計算。如需定價的資訊,請參閱 Amazon Bedrock 定價

  • 跨區域推論可以將請求路由到 中未手動啟用 AWS 區域 的 AWS 帳戶。跨區域推論不需要手動啟用區域即可運作。

  • 跨區域操作期間傳輸的所有資料都會保留在 AWS 網路上,而不會周遊公有網際網路。資料會在 之間傳輸中加密 AWS 區域。

  • 所有跨區域推論請求都會記錄在來源區域的 CloudTrail 中。尋找 additionalEventData.inferenceRegion 欄位來識別處理請求的位置。

  • AWS 由 Amazon Bedrock 提供支援的服務也可能使用 CRIS。如需詳細資訊,請參閱服務特定文件。