콘텐츠 도메인 2: 데이터 스토어 관리 - AWS Certified Data Engineer

콘텐츠 도메인 2: 데이터 스토어 관리

작업 2.1: 데이터 스토어 선택

  • 기술 2.1.1: 특정 비용 및 성능 요구 사항에 따라 적합한 스토리지 서비스 구현(예: Amazon Redshift, Amazon EMR, AWS Lake Formation, Amazon RDS, Amazon DynamoDB, Amazon Kinesis Data Streams, Amazon Managed Streaming for Apache Kafka(Amazon MSK))

  • 기술 2.1.2: 특정 액세스 패턴 및 요구 사항에 따라 적합한 스토리지 서비스 구성(예: Amazon Redshift, Amazon EMR, Lake Formation, Amazon RDS, DynamoDB)

  • 기술 2.1.3: 스토리지 서비스를 적절한 사용 사례에 적용(예: Amazon Aurora PostgreSQL에서 HNSW(Hierarchical Navigable Small Worlds)와 같은 인덱싱 알고리즘을 사용하고, 빠른 키/값 페어 액세스를 위해 Amazon MemoryDB 사용)

  • 기술 2.1.4: 마이그레이션 도구를 데이터 처리 시스템에 통합(예: AWS Transfer Family)

  • 기술 2.1.5: 데이터 마이그레이션 또는 원격 액세스 방법 구현(예: Amazon Redshift 페더레이션 쿼리, Amazon Redshift 구체화된 뷰, Amazon Redshift Spectrum)

  • 기술 2.1.6: 데이터 액세스 방지하기 위해 잠금 관리(예: Amazon Redshift 및 Amazon RDS)

  • 기술 2.1.7: 오픈 테이블 형식 관리(예: Apache Iceberg)

  • 기술 2.1.8: 벡터 인덱스 유형 설명(예: HNSW, IVF)

작업 2.2: 데이터 카탈로그 시스템 이해

  • 기술 2.2.1: 데이터 카탈로그를 사용하여 데이터 소스의 데이터 사용

  • 기술 2.2.2: 기술 데이터 카탈로그 작성 및 참조(예: AWS Glue Data Catalog, Apache Hive 메타스토어)

  • 기술 2.2.3: 스키마를 검색하고 AWS Glue 크롤러를 사용하여 데이터 카탈로그 채우기

  • 기술 2.2.4: 파티션을 데이터 카탈로그와 동기화

  • 기술 2.2.5: 카탈로그 구축을 위한 새 소스 또는 대상 연결 만들기(예: AWS Glue)

  • 기술 2.2.6: 비즈니스 데이터 카탈로그 만들기 및 관리(예: Amazon SageMaker Catalog)

작업 2.3: 데이터의 수명 주기 관리

  • 기술 2.3.1: 로드 및 언로드 작업을 수행하여 Amazon S3와 Amazon Redshift 간에 데이터 마이그레이션

  • 기술 2.3.2: S3 수명 주기 정책을 관리하여 S3 데이터의 스토리지 계층 변경

  • 기술 2.3.3: S3 수명 주기 정책을 사용하여 데이터가 특정 기간에 도달하면 데이터 만료 설정

  • 기술 2.3.4: S3 버전 관리 및 DynamoDB TTL 관리

  • 기술 2.3.5: 비즈니스 및 법적 요구 사항을 충족하기 위해 데이터 삭제

  • 기술 2.3.6: 적절한 복원성 및 가용성으로 데이터 보호

작업 2.4: 데이터 모델 및 스키마 진화 설계

  • 기술 2.4.1: Amazon Redshift, DynamoDB, Lake Formation을 위한 스키마 설계

  • 기술 2.4.2: 데이터 특성에 대한 변경 사항 해결

  • 기술 2.4.3: 스키마 변환 수행(예: AWS 스키마 변환 도구(AWS SCT) 및 AWS Database Migration Service(AWS DMS) 스키마 변환 사용)

  • 기술 2.4.4: AWS 도구를 사용하여 데이터 계보 설정(예: Amazon SageMaker ML Lineage Tracking 및 Amazon SageMaker Catalog)

  • 기술 2.4.5: 인덱싱, 파티셔닝 전략, 압축 및 기타 데이터 최적화 기술에 대한 모범 사례 설명

  • 기술 2.4.6: 벡터화 개념 설명(예: Amazon Bedrock Knowledge Base)