패턴 4: 다단계 AI 워크플로 - AWS 권장 가이드
다단계 AI 워크플로 패턴: 모듈식, 관찰 가능한 서버리스 AI 파이프라인사용 사례: 법적 문서 수집 및 요약Step Functions가 다단계 AI 워크플로에 이상적인 이유보안 및 거버넌스 모범 사례다단계 AI 워크플로 패턴의 비즈니스 가치

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

패턴 4: 다단계 AI 워크플로

많은 실제 AI 애플리케이션은 단일 모델 또는 함수에서 제공되지 않습니다. 대신 비즈니스 로직, 검증 또는 타사 API 호출과 인터리브되는 일련의 AI 기반 작업이 필요합니다. 이러한 다단계 워크플로는 다음을 포함한 산업 및 사용 사례에서 일반적입니다.

  • OCR(광학 문자 인식)에서 분류, 인덱싱 요약에 이르는 문서 분석 파이프라인

  • 에스컬레이션 로직에 대한 기계 학습(ML) 점수에 대한 규칙 기반 검사와 같은 사기 탐지 시스템

  • 진단에 대한 이미징과 같은 의료 자동화를 통해 의사 검토에 생성 보고

  • 응답 생성에 대한 감성 분석에 대한 트랜스크립션과 같은 언어 처리 흐름

그러나 이러한 파이프라인은 다음과 관련된 경우가 많기 때문에 문제가 될 수 있습니다.

  • OCR, 자연어 처리(NLP), 벡터 검색 및 사용자 지정 ML과 같은 이기종 서비스

  • 기존 ML 및 생성형 AI와 같은 여러 모델 유형

  • 엄격한 감사 및 오류 처리 요구 사항

  • 데이터 과학, 엔지니어링 및 규정 준수와 같은 부서 간 소유권

일반적으로 이러한 워크플로는 취성 글루 코드 또는 정적 오케스트레이션 플랫폼으로 구현됩니다. 이 접근 방식은 관찰성 저하, 긴밀한 결합 및 민첩성 저하, 업데이트 및 오류 복구를 위한 높은 운영 오버헤드로 이어집니다.

다단계 AI 워크플로 패턴: 모듈식, 관찰 가능한 서버리스 AI 파이프라인

다단계 AI 워크플로 패턴은를 오케스트레이션 백본AWS Step Functions으로 사용합니다. 이 패턴을 사용하면 팀은 AI 작업 시퀀스를 각각 독립적으로 트리거되고 관리되는 모듈식 서버리스 함수로 조정할 수 있습니다. 워크플로의 각 단계는 관찰 가능하고 재시도를 지원하며 다른 단계와 완전히 분리됩니다. 다단계 AI 워크플로 패턴은 다음을 활성화합니다.

참조 아키텍처는 다음과 같이 각 계층을 구현합니다.

  • 이벤트 트리거 - Amazon S3 업로드(예: PDF 파일), API 호출 또는 예약된 작업을 통해 Step Functions 상태 시스템을 시작합니다.

  • 처리 - 메타데이터를 준비하고, 파일 유형을 분류하고, 입력을 보강하는 AWS Lambda 데 사용합니다(예: 문서 언어 감지).

  • 추론 - Amazon Textract to Amazon Amazon SageMaker classifier to Amazon Bedrock large language model(LLM) 요약기와 같은 여러 단계에서 발생하며, 모두 Step Functions를 사용하여 연결됩니다.

  • 사후 처리 - Lambda를 사용하여 검토자에게 전송, 법적으로 에스컬레이션 또는 자동 승인과 같은 라우팅을 결정합니다.

  • 출력 - Amazon OpenSearch Service의 Amazon S3 또는 인덱스에 결과를 저장합니다. OpenSearch 로깅 및 알림을 위해 감사 이벤트를 Amazon EventBridge로 내보냅니다.

법률 서비스 회사는 매일 다양한 형식으로 수백 개의 계약을 받습니다. 문서 유형을 추출 및 분류하고 위험 절을 식별해야 합니다. 또한 검색을 위해 문서를 요약 및 인덱싱하고 위험 점수 및 문서 유형에 따라 변호사에게 전달해야 합니다.

이 사용 사례에 대한 응답으로 다단계 AI 워크플로 솔루션은 다음 단계를 따릅니다.

  1. PDF 업로드는 Amazon S3를 EventBridge로 Step Functions로 트리거합니다.

  2. Amazon Textract는 PDF에서 원시 텍스트를 추출합니다.

  3. SageMaker 모델은 비공개 계약(NDA) 또는 마스터 서비스 계약(MSA)과 같은 문서 유형을 분류합니다.

  4. Amazon Bedrock은 자연어 요약 및 위험 설명을 생성합니다.

  5. Lambda는 검토 또는 자동 처리를 위한 플래그와 같은 다음 작업을 결정합니다.

  6. 출력은 Amazon S3에 기록됩니다. Amazon Simple Notification Service(Amazon SNS) 또는 EventBridge를 사용하여 알림을 내보냅니다.

Step Functions가 다단계 AI 워크플로에 이상적인 이유

Step Functions는 다음과 같은 기능과 이점을 제공합니다.

  • 시각적 워크플로 빌더 - 비즈니스 로직을 쉽게 매핑하고 반복할 수 있습니다.

  • 기본 제공 재시도 및 제한 시간 - 다운스트림 모델 실패를 정상적으로 처리합니다.

  • 병렬 실행 - 추론 모델에서 여러를 동시에 실행합니다(예: 다국어 번역).

  • 동적 분기 - 중간 추론 결과를 기반으로 하는 경로

  • 감사 가능성 - 각 단계의 로그 및 지표를 통해 세분화된 모니터링 및 규정 준수를 활성화합니다.

보안 및 거버넌스 모범 사례

안전하고 감사 가능하며 정책이 일치하는 AI 파이프라인을 보장하려면 조직은 다음 보안 및 거버넌스 모범 사례를 따라야 합니다.

  • 단계당 AWS Identity and Access Management (IAM)을 사용하여 모든 서비스 및 Lambda 함수에 최소 권한 원칙을 적용합니다.

  • 각 입력 및 출력을 Amazon CloudWatch Logs 또는 Amazon S3에 로깅하여 추적성, 디버깅 및 감사를 활성화합니다.

  • AWS CloudTrail를 통합하여 규정 준수 및 포렌식 분석을 위한 API 수준 액세스 및 호출 기록을 캡처합니다.

  • 단계 간에 스키마 검증을 적용하여 데이터 무결성을 보장하고, 주입 또는 프롬프트 드리프트를 방지하고, 장애 전파를 줄입니다.

다단계 AI 워크플로 패턴의 비즈니스 가치

다단계 AI 워크플로 패턴은 다음 영역에서 가치를 제공합니다.

  • 민첩성 - 파이프라인을 중단하지 않고 단계를 업데이트하거나 재정렬합니다.

  • 확장성 - 서버리스 아키텍처를 통해 문서 볼륨으로 자동으로 규모를 조정합니다.

  • 규정 준수 step-by-step 추적 가능성을 제공합니다.

  • 유지 관리 가능성 - 모듈식 및 팀 정렬 코드 기반을 제공합니다. (AI 로직을 정책 로직과 분리하면 동적 모델 동작과 결정적 비즈니스 규칙을 독립적으로 관리할 수 있으므로 유지 관리 가능성이 향상됩니다. 이 접근 방식은 위험을 줄이고 팀 소유권을 더 명확하게 합니다.)

  • 통합 - 결합 없이 기존 ML, LLMs 및 외부 APIs의 조합을 활성화합니다.

다단계 AI 워크플로 패턴은 조직이 서버리스 원칙 및 운영 모범 사례를 기반으로 복잡한 AI 파이프라인을 조합할 수 있는 구조화되고 확장 가능한 방법을 제공합니다.

이 패턴은 안전하고 관찰 가능하며 시간이 지남에 따라 진화하기 쉬운 엔터프라이즈급 AI 강화 워크플로를 구축하기 위한 백본을 제공합니다. 문서 수집, 온보딩 자동화, 위험 분석, 여러 모델의 컨텍스트 출력 작성 등 다양한 사용 사례를 지원합니다.