생성형 AI 관찰성 - Amazon CloudWatch

생성형 AI 관찰성

Amazon CloudWatch를 사용하면 Amazon Bedrock AgentCore 에이전트를 포함한 생성형 AI 워크로드를 관찰하고 AI 성능, 상태 및 정확도에 대한 인사이트를 얻을 수 있습니다. CloudWatch는 AI 워크로드의 지연 시간, 사용량 및 오류에 대해 미리 구성된 보기를 제공하므로 이를 통해 모델 및 에이전트와 같은 구성 요소에서 문제를 더 빠르게 감지할 수 있습니다. 포괄적인 프롬프트 추적을 사용하면 지식 기반, 도구 및 모델과 같은 구성 요소에서 문제를 빠르게 식별할 수 있습니다. CloudWatch의 AI 모니터링 기능은 AWS Strands, LangChain, LangGraph 같은 인기 있는 생성형 AI 오케스트레이션 프레임워크와 호환되므로 선택한 프레임워크에 유연성을 제공합니다.

CloudWatch 생성형 AI 관찰성을 통해 다음을 지원할 수 있습니다.

  • 자동 모니터링을 통해 대규모 AI 애플리케이션 품질 및 정확도를 평가하므로 모델 출력, 응답 품질 지표, 최종 사용자 상호 작용을 캡처하여 수동 검토 요구 사항을 줄임

  • 모델 간접 호출, 에이전트(관리형, 자체 호스팅 및 타사), 지식 기반, 가드레일 및 도구 모니터링

  • 우수한 품질, 성능 및 신뢰성을 보장하면서 에이전트 실험에서 혁신적인 GenAI 애플리케이션 제작까지 개발을 주도합니다. 자세한 내용은 What is Amazon Bedrock AgentCore?를 참조하세요.

  • 포괄적인 프롬프트 추적, 선별된 지표 및 로그를 사용하여 오류의 원인 빠르게 식별

  • Application Signals, 경보, 대시보드, 민감한 데이터 보호 및 Logs Insights와 같은 기존 CloudWatch 관찰성 도구를 활용하여 전체 GenAI 애플리케이션 및 기본 인프라에서 문제 해결

  • Amazon Bedrock을 사용하는 동안 프롬프트 트레이스에 액세스하고 ADOT SDK를 사용하여 타사 모델의 구조화된 트레이스를 CloudWatch로 전송합니다. Amazon Bedrock AgentCore 에이전트 또는 도구에 관찰성을 추가하는 방법에 대한 자세한 내용은 Amazon Bedrock AgentCore를 참조하세요.

CloudWatch 생성형 AI 관찰성은 2가지 사전 구축된 기능을 제공합니다.

참고

Amazon Bedrock에서 추론에 임의의 모델을 사용하여 모델 간접 호출 대시보드를 사용할 수 있습니다.

  • 모델 간접 호출 - 모델 사용량, 토큰 사용량, 모델 추론의 세부 입력 및 출력 콘텐츠를 볼 수 있는 큐레이팅된 간접 호출 로그 테이블에 대한 세부 지표 대시보드

  • Amazon Bedrock AgentCore 에이전트 - 에이전트, 메모리, 기본 제공 도구, 게이트웨이, ID 같은 Amazon Bedrock AgentCore의 기본 요소에 대한 성능 및 결정 지표

이러한 대시보드에서 사용할 수 있는 주요 지표로 다음이 포함됩니다.

  • 간접 호출 총계 및 평균

  • 토큰 사용량(총계, 쿼리당 평균, 입력, 출력)

  • 지연 시간(평균, P90, P99)

  • 오류 발생률 및 스로틀링 이벤트

  • 애플리케이션, 사용자 역할 또는 특정 사용자별 비용 어트리뷰션

주제