View a markdown version of this page

串流資料表入門 - Amazon Kinesis Data Streams

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

串流資料表入門

本教學課程會逐步引導您建立第一個串流資料表交付,以將記錄從 Amazon Kinesis Data Streams 串流傳送至 Apache Iceberg 上的串流資料表、進行驗證和清理。

先決條件

開始之前,請確定符合下列先決條件:

  • 使用隨需標準或隨需優勢容量模式設定的 Kinesis Data Streams 串流。

  • IAM 服務執行角色,授予 Kinesis Data Streams 將記錄交付至目的地的許可。請參閱 資料交付的 IAM 許可。

  • 在結構描述登錄檔中註冊 AWS Glue 的結構描述。

  • 目的地 Iceberg 資料表的 S3 資料表儲存貯體。

  • 無效字母佇列的 Amazon S3 儲存貯體。

  • 如果您使用 , AWS CLI 已安裝並設定 AWS CLI。

步驟 1:建立交付

使用 AWS 管理主控台 或 建立串流資料表交付 AWS CLI。如需完整程序和所有組態選項,請參閱 建立串流資料表交付。

步驟 2:驗證交付

驗證交付是否達到 ACTIVE 狀態。如需此程序,請參閱 描述串流資料表交付。

步驟 3:監控交付

交付處於作用中狀態後,請使用 AWS/Kinesis 命名空間中發佈的 Amazon CloudWatch 指標,搭配維度 ChannelName和 來監控其運作狀態StreamName。串流資料表交付指標的字首為 DeliveryToIceberg。如需指標的完整清單,請參閱 監控資料交付。

步驟 4:清理

為了避免持續收費,請刪除您不再需要的資源。作用中交付會繼續處理記錄並產生交付費用,直到您刪除為止,而且任何已寫入目的地的資料都會繼續產生 Amazon S3 儲存費用。

  1. 刪除交付。請參閱 刪除串流資料表交付。

  2. 如果您不再需要 服務執行角色,例如,如果任何其他交付不使用它,請將其刪除。分離任何客戶受管政策、刪除任何內嵌政策,然後使用 IAM delete-role-policydetach-role-policy、 和 delete-role命令刪除角色。如需詳細資訊,請參閱《IAM 使用者指南》中的刪除角色或執行個體描述檔。

  3. 如果您不再需要目的地資料表儲存貯體或無效字母佇列儲存貯體,請在 Amazon S3 中刪除它們,以停止產生儲存費用。