AWS Glue 串流
AWS Glue 串流是 AWS Glue 的元件，可讓客戶以近乎即時的方式有效率地處理串流資料，讓他們能夠執行資料擷取、處理和機器學習等重要任務。AWS Glue 串流可透過 Apache Spark 串流框架，提供可大規模處理串流資料的無伺服器服務。除了 Apache Spark 之外，AWS Glue 還提供各種最佳化功能，例如無伺服器基礎設施、自動擴展、視覺化任務開發、串流任務的即時筆記本，以及其他效能改進。
串流使用案例
AWS Glue 串流的一些常用案例包括：
近乎即時的資料處理：AWS Glue 串流可讓組織以近乎即時的方式處理串流資料，從而衍生深入解析，並根據最新資訊及時做出決策。
詐騙偵測：您可以利用 AWS Glue 串流即時分析串流資料，這對偵測信用卡詐騙、網路入侵或線上詐騙等詐騙活動非常重要。持續處理和分析傳入的資料，可讓您快速找出可疑的模式或異常情況。
社交媒體分析：AWS Glue 串流可即時處理推文、貼文或評論等社交媒體資料，讓組織能夠即時監控趨勢、情緒分析，以及管理品牌聲譽。
物聯網 (IoT) 分析：AWS Glue 串流適用於處理和分析 IoT 裝置、感應器和連網機械所產生的高速資料串流。可進行即時監控、異常偵測、預測性維護和其他 IoT 分析使用案例。
點擊流分析：AWS Glue 串流可處理和分析來自網站或行動應用程式的即時點擊流資料。這可協助企業深入了解使用者行為、打造個人化使用者體驗，並根據即時點擊流資料將行銷活動最佳化。
日誌監控和分析：AWS Glue 串流可以持續地即時處理和分析來自伺服器、應用程式或網路裝置的日誌資料。這有助於偵測異常、疑難排解問題，以及監控系統運作狀態和效能。
建議系統：AWS Glue 串流可以即時處理使用者活動資料，並動態更新建議模組。這可讓系統根據使用者的行為和偏好即時提供個人化的建議。
以上範例說明可應用 AWS Glue 串流的各種使用案例。它與 AWS 生態系統和受管服務的整合，使其成為在雲端即時串流處理和分析的最便利選擇。
使用 AWS Glue 串流有哪些優點？
使用 AWS Glue 串流的優點包括：
無伺服器：AWS Glue 串流不使用伺服器，無需管理基礎設施。此設計可減少營運成本，讓使用者專注於資料處理和分析工作，無須分神管理基礎設施。
自動調整：AWS Glue 串流提供自動調整功能，可根據工作負載動態調整處理容量。此功能會自動擴展或縮減以應付資料量的波動，確保最佳效能和資源使用率。
視覺化開發：串流任務開發可能很複雜。AWS Glue串流可提供視覺化編寫工具 AWS Glue Studio 來解決這個難題。AWS GlueStudio 可簡化建立串流的工作流程，讓開發人員能以視覺化的方式設計和管理串流應用程式，以減少學習曲線並提高生產力。
符合成本效益：作為一項無伺服器服務，AWS Glue 串流可免除佈建和維護基礎設施的需求，進而提高成本效益。系統會根據執行串流任務期間所耗用的資源向使用者計費，以便根據實際使用情況進行成本最佳化和擴展。
處理複雜的工作負載：AWS Glue 串流專為處理複雜的串流工作負載而設計。它可以處理和分析大量即時資料、支援進階轉換，並與其他 AWS 服務整合，進而實現複雜的串流資料管道和分析工作流程。
不受限制：AWS Glue 串流提供了靈活彈性，可避免供應商鎖定。使用者可以利用 AWS Glue 串流作為更廣泛的 AWS 生態系統的一部分，與其他 AWS 服務無縫整合。這樣可以輕鬆地與現有的資料來源、應用程式和服務整合，而無須與特定技術或平台綁定在一起。
AWS Glue 串流的使用時機
說到串流使用案例，您可以有很多選擇。在下列情況中，我們會建議使用 AWS Glue 串流。
如果您已經在使用 AWS Glue 或 Spark 進行批次處理，則 AWS Glue 串流會是您的理想選擇。它可讓您順利轉換至建置串流任務，而無須學習新的語言或框架。AWS Glue 串流會運用您現有的知識和基礎設施，可簡化任務開發程序，讓您輕鬆將資料處理功能擴充至即時串流案例。
如果您需要統一的服務或產品來處理批次、串流和事件驅動的工作負載，AWS Glue 串流是最適合您的解決方案。透過 AWS Glue 串流，您可以將資料處理需求整合到單一框架中，免去管理多個系統的複雜性。這樣可讓您有效地開發和維護各種資料工作流程，同時確保不同工作負載類型的一致性和相容性。
AWS Glue 串流最適合用於涉及大量串流資料和複雜轉換的案例，例如串流或關聯式資料庫之間的聯結。它可以有效地處理和分析大量資料串流，讓您能夠輕鬆處理高需求的工作負載。無論是高速資料擷取還是複雜的資料操作，AWS Glue 串流的可擴展性和進階的處理功能都能確保最佳效能和準確的結果。
如果您偏好使用視覺化方法來建置串流任務，AWS Glue 也提供 AWS Glue Studio，此工具可讓您以視覺化的方式設計和管理串流應用程式，從而簡化開發程序。此工具的直覺式介面可讓開發人員使用視覺化介面來建立、設定和監控串流工作流程，進而減少學習曲線並提高生產力。
對於近乎即時的使用案例，AWS Glue 串流是最佳的選擇，因為這類案例對於 SLA (服務水準協議) 有大於 10 秒的嚴格要求。
如果您要使用 Apache Iceberg、Apache Hudi 或 Delta Lake 來建置交易資料湖，AWS Glue 串流會為這些開放資料表格式提供原生支援。這種無縫整合可讓您直接從這些交易資料湖處理串流資料，以確保資料的一致性、完整性和相容性。
需要擷取各種資料目標的串流資料時：AWS Glue 串流可為各種資料目標 (例如 Amazon Redshift、Amazon RDS、Amazon Aurora、Oracle、SQL 伺服器和其他目標) 提供原生目標。
支援的資料來源
AWS Glue 串流支援下列資料來源：
Amazon Kinesis
Amazon MSK (Managed Streaming for Apache Kafka)
自我管理的 Apache Kafka
支援的資料目標
AWS Glue 串流支援多種資料目標，例如：
AWS Glue 資料目錄支援的資料目標
Amazon S3
Amazon Redshift
MySQL
PostgreSQL
Oracle
Microsoft SQL Server
Snowflake
任何可使用 JDBC 連接的資料庫
Apache Iceberg、Delta 和 Apache Hudi
AWS Glue Marketplace 連接器
