기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

자동화 및 액세스 제어

자동화

파이프라인 자동화는 최신 데이터 중심 아키텍처 설계의 중요한 부분입니다. 프로덕션 시스템을 성공적으로 실행하려면 시작 트리거, 연결 단계 및 실패한 단계와 전달된 단계를 분리하는 메커니즘이 있는 데이터 파이프라인을 사용하는 것이 좋습니다. 나머지 ETL 프로세스를 방해하지 않으면서 실패를 기록하는 것도 중요합니다.

AWS Glue 워크플로를 사용하여 파이프라인을 생성할 수 있습니다. 파이프라인은 모든 AWS Glue 작업, Amazon EventBridge 트리거 및 크롤러를 지원합니다. 워크플로를 처음부터 생성하거나 AWS Glue 블루프린트를 사용하여 생성할 수도 있습니다. 블루프린트는 재사용 가능한 사용 사례를 시작하는 데 도움이 되는 프레임워크를 제공합니다. 예를 들어 Amazon S3에서 DynamoDB 테이블로 데이터를 가져오는 워크플로일 수 있습니다. 파라미터를 사용하여 블루프린트를 재사용할 수도 있습니다.

데이터 파이프라인에 AWS Glue 외부의 더 많은 서비스가 포함된 경우 AWS Step Functions를 오케스트레이터로 사용하는 것이 좋습니다. Step Functions는 보안 인시던트 대응을 위한 수동 승인 단계를 포함하여 자동화된 워크플로를 생성할 수 있습니다. 대규모 병렬 또는 순차 처리에 Step Functions를 사용할 수도 있습니다.

마지막으로 EventBridge를 사용하여 일정, 이벤트 또는 온디맨드에 트리거를 삽입하는 것이 좋습니다. EventBridge를 사용하여 필터가 있는 파이프라인을 생성할 수도 있습니다.

액세스 관리

액세스 제어를 위해 AWS Identity and Access Management(IAM)를 사용하는 것이 좋습니다. IAM을 사용하면 AWS의 서비스 및 리소스에 액세스할 수 있는 사용자 또는 대상을 지정하고 세분화된 권한을 중앙에서 관리할 수 있습니다. 스토리지부터 자동화, 처리 도구 사용에 이르기까지 수명 주기의 모든 단계에서 올바른 액세스 권한이 필요합니다. 데이터 중심 사용 사례로 작업하는 동안 AWS Lake Formation을 사용하여 광범위한 분석과 여러 계정에서 데이터를 사용할 수 있도록 하는 프로세스를 단순화할 수 있습니다.