Apache Spark 故障排除代理的跨区域处理 - Amazon EMR

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

Apache Spark 故障排除代理的跨区域处理

Apache Spark 故障排除代理使用跨区域推理来处理自然语言请求并生成响应。通过跨区域推理,代理会自动路由您的推理请求以优化性能,最大限度地提高可用计算资源和模型可用性,并提供最佳的客户体验。使用的跨区域推断类型取决于您运行 Apache Spark 故障排除代理的区域。在大多数区域,代理会选择您所在地理区域内的最佳区域来处理您的推理请求。但是,在某些区域,代理发出的推理请求会安全地路由到所有全球商业 AWS 区域的所有可用计算资源。

跨区域推理

Apache Spark 故障排除代理由 Amazon Bedrock 提供支持,它使用跨区域推理将流量分配到不同的 AWS 区域,以增强大型语言模型 (LLM) 的推理性能和可靠性。

尽管跨区域推理不会改变 Spark 应用程序或故障排除体验的托管位置或数据的存储位置,但您的输入提示和输出结果可能会传输到不同的区域进行推理处理。所有数据均通过亚马逊的安全网络加密传输。

使用跨区域推理不会产生额外费用。

跨区域推理支持的区域

使用地理跨区域推理的区域

对于大多数区域,跨区域推理请求保存在运行 Apache Spark 故障排除代理的同一地理 AWS 区域内。例如,美国东部(弗吉尼亚北部)地区的代理发出的请求仅发送到美国地理 AWS 区域内的区域。下表描述了您的请求可能被路由到哪些区域,具体取决于请求发出的地理位置:

支持的地理位置 推理区域

美国

美国东部(弗吉尼亚北部)(us-east-1)、美国西部(俄勒冈)(us-west-2)、美国东部(俄亥俄州)(us-east-2)、美国西部(加利福尼亚北部)(us-west-1)

欧洲

欧洲(法兰克福)(eu-central-1)、欧洲(爱尔兰)(eu-west-1)、欧洲(巴黎)(eu-west-3)、欧洲(斯德哥尔摩)(eu-north-1)、欧洲(伦敦)(eu-west-2)

亚太地区

亚太地区(东京)(ap-northeast-1)、亚太地区(首尔)(ap-northeast-2)、亚太地区(孟买)(ap-southeast-1)

使用全球跨区域推理的区域

重要

以下 AWS 区域使用全球跨区域推理。当您在这些区域使用 Apache Spark 故障排除代理时,您的请求可能会在全球范围内传输到其他 AWS 区域进行推理处理,以优化性能和可用性:

  • 南美洲(圣保罗)(sa-east-1)

  • 亚太地区(新加坡)(ap-southeast-1)

  • 亚太地区(悉尼)(ap-southeast-2)

  • 加拿大(中部)(ca-central-1)