원격 Iceberg 카탈로그에 대한 카탈로그 페더레이션 - AWS Lake Formation

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

원격 Iceberg 카탈로그에 대한 카탈로그 페더레이션

의 카탈로그 페더레이션은 AWS 분석 엔진을 사용하여 Amazon S3에 저장되고 원격 카탈로그에 카탈로그화된 Iceberg 테이블에 대한 직접적이고 안전한 액세스를 AWS Glue 제공합니다. 카탈로그 페더레이션은 원격 테이블에 액세스할 때 데이터 카탈로그와 원격 카탈로그 간에 메타데이터를 동기화합니다. Amazon Redshift, Amazon EMR, Amazon Athena, Apache Spark와 같은 AWS Glue타사 엔진 등 다양한 분석 엔진에서 지원됩니다.

카탈로그 페더레이션은 AWS Glue Data Catalog 를 사용하여 원격 카탈로그 시스템과 통신하여 테이블을 검색하고 Lake Formation을 사용하여 Amazon S3의 테이블 데이터에 대한 액세스를 승인합니다. 페더레이션 테이블을 쿼리하면 Data Catalog는 쿼리 시 원격 카탈로그에서 최신 테이블 정보를 검색하여 테이블의 Amazon S3 위치, 현재 스키마 및 파티션 정보를 가져옵니다. 그런 다음 분석 엔진(Amazon Athena, Amazon Redshift, Amazon EMR)은이 정보를 사용하여 Amazon S3에서 직접 Iceberg 데이터 파일에 액세스합니다. Lake Formation은 범위가 지정된 자격 증명을 Amazon S3에 저장된 테이블 데이터에 벤딩하여 테이블(들)에 대한 액세스를 관리하므로 엔진이 페더레이션 테이블(들)에 세분화된 권한을 적용할 수 있습니다.

카탈로그 페더레이션의 기능

Lake Formation을 사용하여 관리됨

데이터 카탈로그의 페더레이션된 Iceberg 카탈로그는 Lake Formation 등록 리소스이므로 Lake Formation 권한 부여를 사용하여 페더레이션된 Iceberg 카탈로그의 Iceberg 테이블에 세분화된 행, 열, 셀 수준 권한을 부여할 수 있습니다. 연동 Iceberg 카탈로그 및 관련 객체는 AWS 계정 간에 안전하게 공유할 수 있습니다. 페더레이션 Iceberg 카탈로그는 Lake Formation 태그 기반 액세스 제어와 함께 작동하므로 태그를 사용하여 거버넌스를 확장할 수 있습니다.

네트워킹 구성

카탈로그 페더레이션은 표준 HTTPS 연결을 사용하여 원격 카탈로그 소스에 대한 직접 연결을 지원합니다. 또한 조직 방화벽을 통한 보안 통신을 원하는 경우 프록시 지원을 사용하여 네트워크 격리 및 연결을 유지하려는 경우 Amazon VPC를 통한 연결을 지원합니다.