本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。
跨區域處理
Amazon Connect Decisions 採用 Amazon Bedrock 技術,並使用跨區域推論 (CRIS) 將流量分散到不同 AWS 區域,以增強大型語言模型 (LLM) 推論效能和可靠性。利用跨區域推論可實現以下目標:
-
在高需求期間提高輸送量和彈性
-
提升效能
-
存取新推出的 Amazon Connect Decisions 功能和功能,這些功能依賴於 Amazon Bedrock 上託管的最強大 LLMs
根據建立 Amazon Connect Decisions 執行個體 AWS 所在的區域,跨區域推論的運作方式會有所不同。
對於在美國地理區域建立的所有執行個體,Amazon Connect Decisions 將使用全域 CRIS。這表示推論請求將路由到全球支援的商業 AWS 區域,最佳化可用資源並實現更高的模型輸送量。請參閱 Amazon Bedrock 使用者指南,進一步了解 Global CRIS。
對於在歐盟地理區域建立的所有執行個體,Amazon Connect Decisions 將使用地理 CRIS。這表示推論請求會保留在原始資料所在地理位置的 AWS 區域中。請參閱 Amazon Bedrock 使用者指南,進一步了解地理 CRIS。
例如,從美國東部 (維吉尼亞北部) (us-east-1) 區域中建立的 Amazon Connect Decisions 執行個體提出的請求,可以路由到全球任何 AWS 區域,例如亞太區域 (雪梨) (ap-southeast-2)。不過,對於從歐洲 (愛爾蘭) (eu-west-1) 區域建立的 Amazon Connect Decisions 執行個體提出的請求,會路由到歐洲 (法蘭克福) (eu-central-1) 等歐洲 AWS 區域。如需詳細資訊,請參閱 Amazon Connect Decisions 支援的區域。
雖然跨區域推論不會變更資料存放位置,但您的請求和輸出結果可能會移動到原始資料所在的區域之外。所有資料在 Amazon 的安全網路上傳輸時,都會經過加密。使用跨區域推論無需額外付費。如需有關使用 Amazon Connect Decisions 時資料存放位置的資訊,請參閱 Amazon Connect Decisions 中的資料保護。