Amazon Data Firehose를 사용하여 Apache Iceberg 테이블에 데이터 전송
Apache Iceberg는 빅 데이터 분석을 수행하기 위한 고성능 오픈 소스 테이블 형식입니다. Apache Iceberg는 Amazon S3 데이터 레이크에 SQL 테이블의 신뢰성과 단순성을 제공하며 Spark, Flink, Trino, Hive, Impala 등의 오픈 소스 분석 엔진이 동일한 데이터를 이용해 동시에 작업할 수 있도록 합니다. 자세한 내용은 Apache Iceberg
Firehose를 사용하여 Amazon S3의 Apache Iceberg 테이블로 스트리밍 데이터를 전송할 수 있습니다. Apache Iceberg 테이블은 Amazon S3에서 자체 관리형이거나 Amazon S3 테이블에서 호스팅될 수 있습니다. 자체 관리형 Iceberg 테이블에서는 압축 및 스냅샷 만료와 같은 모든 테이블 최적화를 관리합니다. Amazon S3 Tables은 쿼리 성능을 지속적으로 개선하고 테이블 형식 데이터의 스토리지 비용을 절감하도록 설계된 기능이 내장되어 있으며 대규모 분석 워크로드에 최적화된 S3 스토리지를 제공합니다. Amazon S3 Tables에 대한 자세한 내용은 Amazon S3 Tables를 참조하세요.
이 기능을 사용하면 단일 스트림의 레코드를 다른 Apache Iceberg 테이블로 라우팅할 수 있습니다. 이러한 테이블의 레코드에 삽입, 업데이트 및 삭제 작업을 자동으로 적용할 수 있습니다. 또한 AWS Lake Formation을(를) 사용하여 Amazon S3의 Apache Iceberg 테이블에서 세분화된 데이터 액세스 제어를 지원합니다. AWS Lake Formation에서 중앙식으로 액세스 제어를 지정하고 Firehose에 대한 보다 세분화된 테이블 수준 및 열 수준 권한을 제공할 수 있습니다.
