동적 디스패치 패턴 라우팅 - AWS 권장 가이드
동적 디스패치LLM 기반 라우팅에이전트 라우터요점

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

동적 디스패치 패턴 라우팅

태스크가 문서 구문 분석부터 자율 소프트웨어 생성에 이르기까지 다양한 최신 에이전트 시스템에서는 요청을 가장 유능한 대규모 언어 모델(LLM) 또는 에이전트로 동적으로 라우팅하는 기능이 중요합니다. 오케스트레이션 스크립트 또는 API 계층에 포함되는 정적 라우팅 로직에는 실시간, 다중 모델, 다중 기능 환경에 필요한 적응성이 부족합니다. 이를 해결하기 위해 LLM 라우팅 워크플로를 동적 디스패치 패턴을 활용하는 이벤트 기반 아키텍처로 변환하여 LLM 호출을 지능적으로 라우팅되는 컨텍스트 인식 이벤트로 전환할 수 있습니다.

다음 다이어그램은 LLM 라우팅의 예입니다.

LLM 라우팅.

동적 디스패치

기존 분산 시스템에서 동적 디스패치 패턴은 이벤트 유형, 소스 및 페이로드와 같은 수신 이벤트 속성을 기반으로 런타임 시 특정 서비스를 선택하고 호출합니다. 이는 일반적으로 수신 이벤트를 평가하고 적절한 대상(예: AWS Lambda 함수 AWS Step Functions또는 Amazon Elastic Container Service 작업)으로 라우팅할 수 있는 Amazon EventBridge를 사용하여 구현됩니다.

다음 다이어그램은 동적 디스패치의 예입니다.

동적 디스패치.

  1. 애플리케이션은 이벤트(예: {"type": "orderCreated", "priority": "high"})를 내보냅니다.

  2. Amazon EventBridge는 라우팅 규칙을 기준으로 이벤트를 평가합니다.

  3. 이벤트의 속성에 따라 시스템은 다음과 같이 동적으로 디스패치합니다.

    • HighPriorityOrderProcessor (서비스 A)

    • StandardOrderProcessor (서비스 B)

    • UpdateOrderProcessor (서비스 C)

이 패턴은 느슨한 결합, 도메인 기반 전문화 및 런타임 확장성을 지원합니다. 이를 통해 시스템은 변화하는 요구 사항 및 이벤트 의미에 지능적으로 대응할 수 있습니다.

LLM 기반 라우팅

에이전트 시스템에서 라우팅은 동적 작업 위임도 수행하지만, Amazon EventBridge 규칙 또는 메타데이터 필터 대신 LLM은 자연어를 통해 사용자의 의도를 분류하고 해석합니다. 그 결과 유연하고 의미 체계적이며 적응형 형태의 디스패치가 이루어집니다.

에이전트 라우터

이 아키텍처를 사용하면 사전 정의된 스키마 또는 이벤트 유형 없이 풍부한 의도 기반 디스패치가 가능하므로 비정형 입력 및 복잡한 쿼리에 적합합니다.

  1. 사용자가 "내 계약 조건을 검토할 수 있나요?" 요청을 제출합니다.

  2. LLM은 이를 법적 문서 작업으로 해석합니다.

  3. 에이전트는 작업을 다음 중 하나 이상으로 라우팅합니다.

    • 계약 검토 프롬프트 템플릿

    • 법적 추론 하위 에이전트

    • 문서 구문 분석 도구

다음 다이어그램은 에이전트 라우터의 예입니다.

에이전트 라우터.

  1. 사용자가 SDK를 통해 자연어 요청을 제출합니다.

  2. Amazon Bedrock 에이전트는 LLM을 사용하여 작업을 분류합니다(예: 법률, 기술 또는 일정).

  3. 에이전트는 작업 그룹을 통해 작업을 동적으로 라우팅하여 필요한 에이전트를 호출합니다.

    • 도메인별 에이전트

    • 전문화된 도구 체인

    • 사용자 지정 프롬프트 구성

  4. 선택한 핸들러가 작업을 처리하고 맞춤형 응답을 반환합니다.

요점

기존 동적 디스패치가 구조화된 이벤트 속성을 기반으로 라우팅하기 위해 Amazon EventBridge 규칙을 사용하는 경우 에이전트 라우팅은 LLMs 사용하여 의미와 의도를 기반으로 작업을 의미상 분류하고 라우팅합니다. 이렇게 하면 다음을 활성화하여 시스템의 유연성이 향상됩니다.

  • 더 광범위한 입력 이해

  • 지능형 대체 및 도구 선택

  • 새로운 에이전트 역할 또는 프롬프트 스타일을 통한 자연스러운 확장성

에이전트 라우팅은 엄격한 규칙을 동적 인지 디스패치로 대체하므로 시스템이 코드가 아닌 언어에 따라 발전할 수 있습니다.