Apache Spark 升级代理的跨区域处理 - Amazon EMR

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

Apache Spark 升级代理的跨区域处理

Apache Spark 升级代理使用跨区域推理来处理自然语言请求并生成响应。通过跨区域推理,代理将自动路由您的推理请求以优化性能,最大限度地提高可用计算资源和模型可用性,并提供最佳的客户体验。使用的跨区域推断类型取决于您运行 Apache Spark 升级代理的区域。在大多数区域,代理会选择您所在地理区域内的最佳区域来处理您的推理请求。但是,在某些区域,代理发出的推理请求将被安全地路由到所有全球商业 AWS 区域的所有可用计算资源。

跨区域推理

Apache Spark Upgrade 代理由跨区域推理提供支持,并使用跨区域推理在不同 AWS 区域之间分配流量,以增强大型语言模型 (LLM) 的推理性能和可靠性。

尽管跨区域推理不会改变 Spark 应用程序或升级体验的托管位置或数据的存储位置,但您的输入提示和输出结果可能会传输到不同的区域进行推理处理。所有数据都将通过 Amazon 的安全网络进行加密传输。

使用跨区域推理不会产生额外费用。

支持 跨区域推理的区域

使用地理跨区域推断的区域

对于大多数区域,跨区域推理请求保存在运行 Apache Spark Upgrade Agent 的同一地理 AWS 区域内。例如,美国东部(弗吉尼亚北部)地区的代理发出的请求仅发送到美国地理 AWS 区域内的区域。下表描述了您的请求可能被路由到哪些区域,具体取决于请求发出的地理位置:

支持的 地理区域 推理区域
1 美国 美国东部(弗吉尼亚北部)(us-east-1)、美国西部(俄勒冈)(us-west-2)、美国东部(俄亥俄州)(us-east-2)、美国西部(加利福尼亚北部)(us-west-2)
2 欧洲 欧洲(法兰克福)(eu-central-1)、欧洲(爱尔兰)(eu-west-1)、欧洲(巴黎)(eu-west-3)、欧洲(斯德哥尔摩)(eu-north-1)、欧洲(伦敦)(eu-west-2)
3 亚太地区 亚太地区(东京)(ap-northeast-1)、亚太地区(首尔)(ap-northeast-2)、亚太地区(孟买)(ap-southeast-1)

使用全球跨区域推理的区域

重要

以下 AWS 区域使用全球跨区域推理。当您在这些区域使用 Apache Spark Upgrade Agent 时,您的请求可能会在全球范围内传输到其他 AWS 区域进行推理处理,以优化性能和可用性:

  • 南美洲(圣保罗)(sa-east-1)

  • 亚太地区(新加坡)(ap-southeast-1)

  • 亚太地区(悉尼)(ap-southeast-2)

  • 加拿大(中部)(ca-central-1)