콘텐츠 도메인 4: ML 및 AI 솔루션 운영, 모니터링 및 보안

기술 4.1.1: Amazon CloudWatch 생성형 AI 관찰성, Amazon 기반 모델 평가 및 드리프트 감지 파이프라인을 사용하여 프로덕션 환경에서 모델 성능을 모니터링할 수 있습니다.

기술 4.1.2: 데이터 처리 또는 모델 추론의 이상 징후나 오류를 감지하기 위한 워크플로를 모니터링합니다.

기술 4.1.3: 모델 성능에 영향을 줄 수 있는 데이터 배포의 변화를 감지합니다.

기술 4.1.4: A/B 테스트를 사용하여 프로덕션 환경에서 모델 성능을 모니터링합니다.

기술 4.1.5: 에이전트 성능 및 조정 관리를 모니터링하고 자동화합니다(예: 조정 실패 감지, 잘린 스트리밍, 도구 실패).

기술 4.1.6: Amazon Bedrock 평가 도구 세트와 같은 파운데이션 모델(FM)에 대한 AI 관련 성능 모니터링을 구성합니다.

기술 4.2.1: 추론 인스턴스 패밀리를 선택하여 성능과 비용을 최적화합니다.

기술 4.2.2: 리소스의 문제를 해결하고 분석하기 위한 도구를 구성하고 사용합니다(예: Amazon CloudWatch, Amazon Bedrock AgentCore Observability, AWS X-Ray).

기술 4.2.3: 대시보드를 설정하여 성능 지표를 모니터링합니다.

기술 4.2.4: 비용, 성능 및 신뢰성을 위해 용량을 최적화합니다.

기술 4.2.5: 적절한 비용 관리 도구를 사용하여 비용을 최적화하고 비용 할당량을 설정합니다.

기술 4.2.6: 구매 옵션을 선택하여 인프라 비용을 최적화합니다.

기술 4.2.7: 프로덕션 환경에서 추론에 FM을 사용할 경우 비용에 미치는 영향을 평가합니다.

기술 4.2.8: 에이전트 리소스 사용 패턴을 모니터링합니다.

기술 4.2.9: 사용 최적화를 통해 FM 추론 비용을 관리합니다.

기술 4.2.10: AI 관련 비용 패턴을 모니터링합니다(예: 토큰 사용 최적화, 임베딩 계산 비용, 벡터 데이터베이스 스토리지 최적화).

기술 4.3.1: 코드 및 이미지 취약성을 검사하여 지속적 통합 및 지속적 전달(CI/CD) 파이프라인을 보호합니다(예: Amazon CodeGuru, Amazon Inspector 사용).

기술 4.3.2: ML 및 AI 아티팩트에 대한 최소 권한 액세스를 구성합니다.

기술 4.3.3: ML 및 AI 시스템의 사용자 및 애플리케이션에 대한 IAM 정책 및 역할을 구성합니다.

기술 4.3.4: ML 및 AI 시스템에 대한 포괄적인 모니터링, 감사, 규정 준수 및 로깅을 구성합니다(예: AWS CloudTrail, AWS Config).

기술 4.3.5: ML 및 AI 시스템의 보안 문제를 해결하고 디버깅합니다.

기술 4.3.6: ML 시스템을 안전하게 격리하기 위한 VPC, 서브넷 및 보안 그룹을 만듭니다.

기술 4.3.7: ML 및 AI 시스템의 보안 위험과 취약성을 식별하고 완화합니다.

기술 4.3.8: FM에 액세스하기 위한 적절한 자격 증명 유형을 선택합니다(예: Amazon Bedrock API 키, IAM 자격 증명).

기술 4.3.9: 애플리케이션 요구 사항 및 책임 있는 AI 정책을 충족하도록 보호 및 민감한 데이터 보호를 구현합니다(예: Amazon Bedrock Guardrails 사용).