本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。
透過跨區域推論增加輸送量
透過跨區域推論,您可以選擇與特定地理位置 (例如美國或歐洲) 繫結的跨區域推論設定檔,也可以選擇全域推論設定檔。當您選擇與特定地理繫結的推論設定檔時,Amazon Bedrock 會自動選取該地理AWS 區域內的最佳商業,以處理您的推論請求。使用全域推論設定檔時,Amazon Bedrock 會自動選取最佳廣告 AWS 區域 來處理請求,進而最佳化可用資源並提高模型輸送量。
這兩種類型的跨區域推論都透過推論描述檔運作,定義基礎模型 (FM) AWS 區域和可路由請求的 。在隨需模式中執行模型推論時,請求可能會受到服務配額或尖峰使用時間的限制。跨區域推論可讓您利用不同 的運算,順暢地管理意外流量暴增AWS 區域。
您也可以購買佈建輸送量來增加模型的輸送量。推論設定檔目前不支援佈建輸送量。
若要查看您可以使用推論設定檔來執行跨區域推論的區域和模型,請參閱推論設定檔支援的區域和模型。
在地理和全域跨區域推論之間進行選擇
Amazon Bedrock 提供兩種類型的跨區域推論設定檔,每個設定檔都針對不同的使用案例和合規需求而設計:
| 功能 | 地理跨區域推論 | 全域跨區域推論 | 建議 |
|---|---|---|---|
| 資料落地 | 在地理邊界內 (美國、歐洲、亞太區等) | 全球任何支援AWS的商業區域 | 選擇地理位置以符合合規要求 |
| 輸送量 | 高於單一區域 | 最高可用 | 選擇全域以獲得最大效能 |
| Cost | 標準定價 | 節省約 10% | 選擇全域進行成本最佳化 |
| SCP 要求 | 允許設定檔中的所有目的地區域 | 允許 "aws:RequestedRegion": "unspecified" |
根據您的組織政策來設定 |
| 最適合 | 具有資料落地法規的組織 | 組織優先考慮成本和效能 | 評估您的合規和效能需求 |
當您有資料落地要求且需要確保資料處理保持在特定地理邊界內時,請選擇地理跨區域推論。當您想要在不受地理限制的情況下達到最大輸送量和節省成本時,請選擇全域跨區域推論。
一般考量事項
請注意與跨區域推論有關的下列資訊:
-
使用跨區域推論無需額外的路由費用。價格是根據您從中呼叫推論設定檔的區域來計算。如需定價的資訊,請參閱 Amazon Bedrock 定價
。 -
跨區域推論可以將未在 中手動啟用AWS 區域的請求路由到 AWS 帳戶。跨區域推論不需要手動啟用區域即可運作。
-
跨區域操作期間傳輸的所有資料都會保留在AWS網路上,而不會周遊公有網際網路。資料會在 之間傳輸中加密AWS 區域。
-
所有跨區域推論請求都會記錄在來源區域的 CloudTrail 中。尋找
additionalEventData.inferenceRegion欄位以識別處理請求的位置。 -
AWS由 Amazon Bedrock 提供支援的服務也可能使用 CRIS。如需詳細資訊,請參閱服務特定文件。