Apache Spark 升級代理程式的跨區域處理 - Amazon EMR
跨區域推論 跨區域推論支援的區域

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

Apache Spark 升級代理程式的跨區域處理

Apache Spark 升級代理程式使用跨區域推論來處理自然語言請求並產生回應。透過跨區域推論，代理程式會自動路由您的推論請求，以最佳化效能、最大化可用的運算資源和模型可用性，並提供最佳的客戶體驗。使用的跨區域推論類型取決於您執行 Apache Spark 升級代理程式的區域。在大多數區域中，代理程式會選取地理位置內的最佳區域，以處理您的推論請求。不過，在某些區域中，代理程式提出的推論請求會安全地路由至所有全球商業 AWS 區域的所有可用運算資源。

跨區域推論

Apache Spark 升級代理程式採用 技術，並使用跨區域推論將流量分散到不同 AWS 區域，以增強大型語言模型 (LLM) 推論效能和可靠性。

雖然跨區域推論不會變更 Spark 應用程式或升級體驗的託管位置或儲存資料的位置，但您的輸入提示和輸出結果可能會傳輸到不同的區域以進行推論處理。所有資料都會透過 Amazon 的安全網路進行加密傳輸。

使用跨區域推論無需額外費用。

跨區域推論支援的區域

使用地理跨區域推論的區域

對於大多數 區域，跨區域推論請求會保留在您執行 Apache Spark 升級代理程式之相同地理位置的 AWS 區域中。例如，向美國東部 （維吉尼亞北部） 區域的代理提出的請求只會路由到美國地理區域內的 AWS 區域。下表說明根據發出請求的地理位置，您的請求可能路由到哪些區域：

支援的 地理位置 推論區域
1 美國 美國東部 （維吉尼亞北部） (us-east-1)、美國西部 （奧勒岡） (us-west-2)、美國東部 （俄亥俄） (us-east-2)、美國西部 （加利佛尼亞北部） (us-west-2)
2 歐洲 歐洲 （法蘭克福） (eu-central-1)、歐洲 （愛爾蘭） (eu-west-1)、歐洲 （巴黎） (eu-west-3)、歐洲 （斯德哥爾摩） (eu-north-1)、歐洲 （倫敦） (eu-west-2)
3 亞太區域 亞太區域 （東京） (ap-northeast-1)、亞太區域 （首爾） (ap-northeast-2)、亞太區域 （孟買） (ap-south-1)

使用全域跨區域推論的區域

重要

下列 AWS 區域使用全域跨區域推論。當您在這些區域中使用 Apache Spark 升級代理程式時，您的請求可能會全域傳輸到其他 AWS 區域以進行推論處理，以最佳化效能和可用性：

  • 南美洲 （聖保羅） (sa-east-1)

  • 亞太地區 (新加坡) (ap-southeast-1)

  • 亞太地區 (雪梨) (ap-southeast-2)

  • 加拿大 (中部) (ca-central-1)