기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.
Apache Spark 업그레이드 에이전트에 대한 리전 간 처리
Apache Spark 업그레이드 에이전트는 리전 간 추론을 사용하여 자연어 요청을 처리하고 응답을 생성합니다. 교차 리전 추론을 사용하면 에이전트가 추론 요청을 자동으로 라우팅하여 성능을 최적화하고 사용 가능한 컴퓨팅 리소스와 모델 가용성을 극대화하며 최상의 고객 경험을 제공합니다. 사용되는 교차 리전 추론 유형은 Apache Spark 업그레이드 에이전트를 실행하는 리전에 따라 다릅니다. 대부분의 리전에서 에이전트는 추론 요청을 처리할 리전 내에서 최적의 리전을 선택합니다. 그러나 일부 리전에서는 에이전트의 추론 요청이 모든 글로벌 상용 AWS 리전에서 사용 가능한 모든 컴퓨팅 리소스로 안전하게 라우팅됩니다.
교차 리전 추론
Apache Spark 업그레이드 에이전트는 로 구동되며 교차 리전 추론을 사용하여 여러 AWS 리전에 트래픽을 분산하여 대규모 언어 모델(LLM) 추론 성능과 신뢰성을 향상시킵니다.
교차 리전 추론은 Spark 애플리케이션 또는 업그레이드 환경이 호스팅되거나 데이터가 저장되는 위치는 변경되지 않지만, 추론 처리를 위해 입력 프롬프트와 출력 결과가 다른 리전으로 전송될 수 있습니다. 모든 데이터는 Amazon의 보안 네트워크를 통해 암호화되어 전송됩니다.
교차 리전 추론을 사용하는 데 드는 추가 비용은 없습니다.
교차 리전 추론에 지원되는 리전
지리적 리전 간 추론을 사용하는 리전
대부분의 리전에서 교차 리전 추론 요청은 Apache Spark 업그레이드 에이전트를 실행하는 동일한 리전의 일부인 AWS 리전 내에 보관됩니다. 예를 들어 미국 동부(버지니아 북부) 리전의 에이전트로부터 이루어진 요청은 미국 리전 내의 AWS 리전으로만 라우팅됩니다. 다음 표에서는 요청이 시작된 리전에 따라 요청이 라우팅될 수 있는 리전을 설명합니다.
| 지원되는 지리 | 추론 리전 | |
|---|---|---|
| 1 | 미국 | 미국 동부(버지니아 북부)(us-east-1), 미국 서부(오레곤)(us-west-2), 미국 동부(오하이오)(us-east-2), 미국 서부(캘리포니아 북부)(us-west-2) |
| 2 | 유럽 | 유럽(프랑크푸르트)(eu-central-1), 유럽(아일랜드)(eu-west-1), 유럽(파리)(eu-west-3), 유럽(스톡홀름)(eu-north-1), 유럽(런던)(eu-west-2) |
| 3 | 아시아 태평양 | 아시아 태평양(도쿄)(ap-northeast-1), 아시아 태평양(서울)(ap-northeast-2), 아시아 태평양(뭄바이)(ap-south-1) |
글로벌 리전 간 추론을 사용하는 리전
중요
다음 AWS 리전은 글로벌 리전 간 추론을 사용합니다. 이러한 리전에서 Apache Spark 업그레이드 에이전트를 사용하는 경우 성능 및 가용성을 최적화하기 위해 추론 처리를 위해 요청이 전 세계 다른 AWS 리전으로 전송될 수 있습니다.
-
남아메리카(상파울루) (sa-east-1)
-
아시아 태평양(싱가포르)(ap-southeast-1)
-
아시아 태평양(시드니)(ap-southeast-2)
-
캐나다(중부)(ca-central-1)
