콘텐츠 도메인 3: 데이터 운영 및 지원 - AWS Certified Data Engineer
작업 3.1: AWS 서비스를 사용하여 데이터 처리 자동화작업 3.2: AWS 서비스를 사용하여 데이터 분석작업 3.3: 데이터 파이프라인 유지 관리 및 모니터링작업 3.4: 데이터 품질 보장

콘텐츠 도메인 3: 데이터 운영 및 지원

작업 3.1: AWS 서비스를 사용하여 데이터 처리 자동화

  • 기술 3.1.1: 데이터 파이프라인 오케스트레이션(예: Amazon Managed Workflows for Apache Airflow(Amazon MWAA), AWS Step Functions)

  • 기술 3.1.2: Amazon 관리형 워크플로 문제 해결

  • 기술 3.1.3: SDK를 호출하여 코드로 Amazon 기능에 액세스

  • 기술 3.1.4: AWS 서비스의 기능을 사용하여 데이터 처리(예: Amazon EMR, Amazon Redshift, AWS Glue)

  • 기술 3.1.5: 데이터 API 사용 및 유지 관리

  • 기술 3.1.6: 변환을 위한 데이터 준비(예: AWS Glue DataBrew 및 Amazon SageMaker Unified Studio)

  • 기술 3.1.7: 데이터 쿼리(예: Amazon Athena)

  • 기술 3.1.8: AWS Lambda를 사용하여 데이터 처리 자동화

  • 기술 3.1.9: 이벤트 및 스케줄러 관리(예: Amazon EventBridge)

작업 3.2: AWS 서비스를 사용하여 데이터 분석

  • 기술 3.2.1: AWS 서비스와 도구를 사용하여 데이터 시각화(예: DataBrew, Amazon QuickSight)

  • 기술 3.2.2: 데이터 확인 및 정리(예: Lambda, Athena, QuickSight, Jupyter Notebooks, Amazon SageMaker Data Wrangler)

  • 기술 3.2.3: Amazon Redshift와 Athena의 SQL을 사용하여 데이터 쿼리 또는 뷰 만들기

  • 기술 3.2.4: Apache Spark를 사용하여 데이터를 탐색하는 Athena 노트북 사용

  • 기술 3.2.5: 프로비저닝된 서비스와 서버리스 서비스 간의 절충점 설명

  • 기술 3.2.6: 데이터 집계, 롤링 평균, 그룹화 및 피벗 정의

작업 3.3: 데이터 파이프라인 유지 관리 및 모니터링

  • 기술 3.3.1: 감사를 위해 로그 추출

  • 기술 3.3.2: 감사 및 추적을 지원하는 로깅 및 모니터링 솔루션 배포

  • 기술 3.3.3: 모니터링 중 알림 기능을 사용하여 경고 전송

  • 기술 3.3.4: 성능 문제 해결

  • 기술 3.3.5: AWS CloudTrail을 사용하여 API 호출 추적

  • 기술 3.3.6: 파이프라인 문제 해결 및 유지 관리(예: AWS Glue, Amazon EMR)

  • 기술 3.3.7: Amazon CloudWatch Logs를 사용하여 애플리케이션 데이터 로깅(구성 및 자동화에 중점을 둠)

  • 기술 3.3.8: AWS 서비스를 통해 로그 분석(예: Athena, Amazon EMR, Amazon OpenSearch Service, CloudWatch Logs Insights, 빅 데이터 애플리케이션 로그)

작업 3.4: 데이터 품질 보장

  • 기술 3.4.1: 데이터를 처리하는 동안 데이터 품질 검사 실행(예: 빈 필드 확인)

  • 기술 3.4.2: 데이터 품질 규칙 정의(예: DataBrew)

  • 기술 3.4.3: 데이터 일관성 조사(예: DataBrew)

  • 기술 3.4.4: 데이터 샘플링 기법 설명

  • 기술 3.4.5: 데이터 스큐 메커니즘 구현