AWS Glue Spark 和 PySpark 任務
AWS Glue 支援 Spark 和 PySpark 任務。Spark 任務在由 AWS Glue 管理的 Apache Spark 環境中執行。它會分批次處理資料。串流 ETL 任務類似 Spark 任務,不同之處在於它會在資料串流上執行 ETL。它使用 Apache Spark 結構化串流框架。某些 Spark 任務功能不適用於串流 ETL 任務。
以下章節將提供 AWS Glue Spark 和 PySpark 任務的資訊。
AWS Glue 支援 Spark 和 PySpark 任務。Spark 任務在由 AWS Glue 管理的 Apache Spark 環境中執行。它會分批次處理資料。串流 ETL 任務類似 Spark 任務,不同之處在於它會在資料串流上執行 ETL。它使用 Apache Spark 結構化串流框架。某些 Spark 任務功能不適用於串流 ETL 任務。
以下章節將提供 AWS Glue Spark 和 PySpark 任務的資訊。