기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

테스트 및 검증

AI 기반 서버리스 아키텍처에서는 기존 단위 및 통합 테스트가 여전히 중요합니다. 그러나 대규모 언어 모델(LLM) 예측 불가능성, 서버리스 동시성 및 워크플로 오케스트레이션을 수용하려면 새로운 테스트 유형이 필요합니다.

엄격한 검증이 없으면 팀은 다음과 같은 문제를 겪을 위험이 있습니다.

이러한 문제를 방지하기 위해 최신 생성형 AI 시스템은 인프라, 로직 및 AI 동작에서 다계층 검증을 요구합니다.

서버리스 AI의 테스트 유형

서버리스 AI 애플리케이션을 테스트하려면 기존 애플리케이션 테스트 요구 사항과 AI 관련 문제를 모두 해결하는 포괄적인 접근 방식이 필요합니다. 이 섹션에서는 신뢰성, 보안 및 성능을 보장하는 데 필요한 테스트 유형에 대해 설명합니다.

유닛 테스트

단위 테스트는 원자성 로직(예: AWS Lambda 코드)을 검증합니다. 이러한 테스트는 변환, 형식 지정 및 사전/사후 처리 작업의 회귀를 포착하기 때문에 중요합니다.

다음 Lambda 변환 예제에서는 모델 프롬프트 구성이 올바른지 확인합니다.

def test_format_text_for_model():
    raw_input = {"name": "Aaron", "topic": "feature flag"}
    result = format_text_for_model(raw_input)
    assert "Aaron" in result and "feature flag" in result

프롬프트 테스트

프롬프트 테스트는 LLM 응답이 기대치를 따르는지 확인합니다. 프롬프트는 깨지기 쉽고 입력되지 않으므로 이러한 테스트가 중요합니다.이 경우 작은 변경으로 인해 출력 형식이나 의미가 손상될 수 있습니다.

골든 입력을 사용하는 다음 예제에서는 프롬프트 드리프트 또는 모델 성능 저하를 포착하는 방법을 보여줍니다.

Prompt:
"You are a helpful assistant. Summarize this paragraph: {{input}}"

Test Case:
Input: "AWS Lambda lets you run code without provisioning servers."
Expected Output: "AWS Lambda enables serverless execution."

Validation: Does response contain "serverless" and avoid hallucinations?

에이전트 도구 호출 테스트

에이전트 도구 호출 테스트agent-to-tool 로직 및 변수 매핑을 검증합니다. 이러한 테스트는 에이전트가 올바른 파라미터를 사용하여 올바른 도구를 호출하도록 하여 런타임 혼동을 방지하기 때문에 중요합니다.

다음 예제에서는 도구 호출 테스트를 보여줍니다.

Agent Input: "Where is my recent order?"
Expected Lambda Call: `getRecentOrderStatus(userId)`

워크플로 통합 테스트

워크플로 통합 테스트는 다단계 오케스트레이션(예: AWS Step Functions 워크플로)을 확인합니다. 이러한 테스트는 이벤트 흐름, 출력 핸드오프, 오류 경로 및 재시도 로직을 확인하기 때문에 중요합니다.

다음 Step Functions 예제에서는 실시간 워크플로가 end-to-end를 실행하고 제한 시간 및 재시도를 처리하도록 합니다.

Test Flow:
- Upload file to S3
- EventBridge triggers state machine
- Step 1: Textract
- Step 2: Classifier
- Step 3: Bedrock summary

Assert: Output file is created in S3, and summary includes key clause

스키마 검증 및 계약 테스트

스키마 검증 및 계약 테스트는 AI 출력 형식을 검증합니다. 이러한 테스트는 형식이 잘못된 AI 응답으로부터 다운스트림 소비자를 보호하기 때문에 중요합니다.

다음 예제에서는 형식이 잘못된 LLM 출력으로 인한 다운스트림 시스템 중단을 방지하는 방법을 보여줍니다.

Expected Output:
{
  "summary": "string",
  "risk_score": "number",
  "flags": ["array"]
}

Test: Validate response against schema using `jsonschema` in Lambda

Human-in-the-loop 평가

Human-in-the-loop(HITL) 평가는 근거, 톤 및 정책에 대한 정성적 검사를 제공합니다. 이러한 평가는 의료, 인사(HR), 법률 및 고객 지원과 같은 신뢰할 수 있는 도메인에 매우 중요합니다. 규제 대상 산업, 브랜드 경험 또는 공개 노출에 필요합니다.

다음 HITL 품질 보증(QA) 패널 예제에서는 평가 프로세스를 보여줍니다.

보안 및 경계 테스트

보안 및 경계 테스트는 도구와 에이전트가 범위를 초과하지 않도록 합니다. 이러한 테스트는 역할 기반 액세스 제어(RBAC), 프롬프트 주입 복원력 및 최소 권한 원칙을 확인하기 때문에 중요합니다. 이는 즉각적인 안전 및 에이전트 제어 경계를 보장하는 데 도움이 됩니다.

다음 예제에서는 보안 테스트를 보여줍니다.

지연 시간 및 비용 시뮬레이션 테스트

지연 시간 및 비용 시뮬레이션 테스트는 런타임 비용과 응답성을 추정합니다. 이러한 테스트는 모델 선택(예: Amazon Nova Micro와 Amazon Nova Premier 비교) 및 비동기 흐름 결정을 조정하는 데 도움이 되므로 중요합니다.

다음 예제에서는 계층형 모델 선택 및 비동기 오프로드에 대한 아키텍처 결정을 지원하는 테스트를 보여줍니다.

테스트 적용 범위 고려 사항

다음 테스트 적용 범위 영역과 관련 도구를 고려합니다.

테스트 및 검증 요약

AI 기반 서버리스 아키텍처의 테스트 및 검증은 기본입니다. LLMs의 확률적 특성과 서버리스 시스템의 분산 특성을 고려할 때 프롬프트, 도구, 워크플로 및 AI 동작에 대한 포괄적인 테스트 적용 범위는 다음을 지원합니다.