本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
Apache Spark 升级代理的跨区域处理
Apache Spark 升级代理使用跨区域推理来处理自然语言请求并生成响应。通过跨区域推理,代理将自动路由您的推理请求以优化性能,最大限度地提高可用计算资源和模型可用性,并提供最佳的客户体验。使用的跨区域推断类型取决于您运行 Apache Spark 升级代理的区域。在大多数区域,代理会选择您所在地理区域内的最佳区域来处理您的推理请求。但是,在某些区域,代理发出的推理请求将被安全地路由到所有全球商业 AWS 区域的所有可用计算资源。
跨区域推理
Apache Spark Upgrade 代理由跨区域推理提供支持,并使用跨区域推理在不同 AWS 区域之间分配流量,以增强大型语言模型 (LLM) 的推理性能和可靠性。
尽管跨区域推理不会改变 Spark 应用程序或升级体验的托管位置或数据的存储位置,但您的输入提示和输出结果可能会传输到不同的区域进行推理处理。所有数据都将通过 Amazon 的安全网络进行加密传输。
使用跨区域推理不会产生额外费用。
支持 跨区域推理的区域
使用地理跨区域推断的区域
对于大多数区域,跨区域推理请求保存在运行 Apache Spark Upgrade Agent 的同一地理 AWS 区域内。例如,美国东部(弗吉尼亚北部)地区的代理发出的请求仅发送到美国地理 AWS 区域内的区域。下表描述了您的请求可能被路由到哪些区域,具体取决于请求发出的地理位置:
| 支持的 地理区域 | 推理区域 | |
|---|---|---|
| 1 | 美国 | 美国东部(弗吉尼亚北部)(us-east-1)、美国西部(俄勒冈)(us-west-2)、美国东部(俄亥俄州)(us-east-2)、美国西部(加利福尼亚北部)(us-west-2) |
| 2 | 欧洲 | 欧洲(法兰克福)(eu-central-1)、欧洲(爱尔兰)(eu-west-1)、欧洲(巴黎)(eu-west-3)、欧洲(斯德哥尔摩)(eu-north-1)、欧洲(伦敦)(eu-west-2) |
| 3 | 亚太地区 | 亚太地区(东京)(ap-northeast-1)、亚太地区(首尔)(ap-northeast-2)、亚太地区(孟买)(ap-southeast-1) |
使用全球跨区域推理的区域
重要
以下 AWS 区域使用全球跨区域推理。当您在这些区域使用 Apache Spark Upgrade Agent 时,您的请求可能会在全球范围内传输到其他 AWS 区域进行推理处理,以优化性能和可用性:
-
南美洲(圣保罗)(sa-east-1)
-
亚太地区(新加坡)(ap-southeast-1)
-
亚太地区(悉尼)(ap-southeast-2)
-
加拿大(中部)(ca-central-1)