本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

AWS Glue 串流

AWS Glue 串流是 的元件 AWS Glue，可讓您近乎即時地有效率地處理串流資料，讓您能夠執行關鍵任務，例如資料擷取、處理和機器學習。使用 Apache Spark 串流架構， AWS Glue 串流提供無伺服器服務，可大規模處理串流資料。 可在 Apache Spark 上 AWS Glue 提供各種最佳化，例如無伺服器基礎設施、自動擴展、視覺化任務開發、串流任務的即時筆記本，以及其他效能改善。

串流使用案例

AWS Glue 串流的一些常見使用案例包括：

Near-real-time的資料處理： AWS Glue 串流可讓組織近乎即時地處理串流資料，讓他們能夠衍生洞見，並根據最新資訊及時做出決策。

詐騙偵測：您可以使用 Streaming AWS Glue 進行串流資料的即時分析，這對於偵測信用卡詐騙、網路入侵或線上詐騙等詐騙活動很有價值。持續處理和分析傳入的資料，可讓您快速找出可疑的模式或異常情況。

社交媒體分析： AWS Glue 串流可以處理即時社交媒體資料，例如推文、文章或評論，讓組織能夠即時監控趨勢、情緒分析和管理品牌評價。

物聯網 (IoT) 分析： AWS Glue 串流適用於處理和分析 IoT 裝置、感應器和連線機器所產生的高速資料串流。可進行即時監控、異常偵測、預測性維護和其他 IoT 分析使用案例。

Clickstream 分析： AWS Glue 串流可以處理和分析來自網站或行動應用程式的即時 clickstream 資料。這可協助企業深入了解使用者行為、打造個人化使用者體驗，並根據即時點擊流資料將行銷活動最佳化。

日誌監控和分析： AWS Glue 串流可以持續即時處理和分析來自伺服器、應用程式或網路裝置的日誌資料。這有助於偵測異常、疑難排解問題，以及監控系統運作狀態和效能。

建議系統： AWS Glue 串流可以即時處理使用者活動資料，並動態更新建議模型。這可讓系統根據使用者的行為和偏好即時提供個人化的建議。

這些是可套用 AWS Glue 串流的各種使用案例範例。其與 AWS 生態系統和受管服務的整合，使其成為雲端中即時串流處理和分析的便利選擇。

使用 AWS Glue 串流有哪些好處？

使用 AWS Glue 串流的優點如下：

何時使用 AWS Glue 串流？

說到串流使用案例，您可以有很多選擇。我們建議在下列情況下 AWS Glue 進行串流。

支援的資料來源

AWS Glue 串流支援下列資料來源：

支援的資料目標

AWS Glue 串流支援各種資料目標，例如：

啟用串流任務的即時模式

即時模式 (RTM) 是 AWS Glue 6.0 版中提供 Spark 結構化串流的新執行模型。RTM end-to-end延遲從秒或分鐘減少到次秒。即時模式僅適用於 Spark 結構化串流任務。它不適用於舊版 Spark 串流 (DStreams) 或其他任務類型。

RTM 使用 Trigger.RealTime。任務會在批次時段 （預設 5 分鐘） 內持續執行，並在記錄到達時處理記錄，而不是跨間隔累積資料。這與預設微批次模型不同，其中 forEachBatch/Trigger.ProcessingTime 輪詢、處理、遞交和每個間隔重新啟動任務。

先決條件

啟用即時模式之前，請確認您的任務符合下列要求：

何時使用即時模式

即時模式是專為特定類別的串流工作負載所設計。在下列情況下，請考慮使用即時模式：

在下列情況下繼續使用微批次模式：

即時模式的運作方式

以下說明微型批次模型與即時模式之間的差異：

兩種模式都使用相同的檢查點格式和復原機制。關鍵差異是任務生命週期。Micro-batch 模式會每隔間隔終止和重新啟動任務。即時模式可讓任務在較長的批次時段內持續執行。

啟用即時模式

您可以將--enable-real-time-mode任務引數設定為 來啟用即時模式true。您可以在 AWS Glue 主控台或透過 API 設定此引數。

啟用即時模式 （主控台）

啟用即時模式 (API)

--enable-real-time-mode 旗標會存放在任務定義的DefaultArguments地圖中。您可以在建立或更新任務時加以設定。

建立新的任務 (AWS CLI)

執行以下命令：

aws glue create-job \
  --name my-rtm-job \
  --role arn:aws:iam::123456789012:role/MyGlueRole \
  --glue-version 6.0 \
  --worker-type G.1X --number-of-workers 4 \
  --command '{"Name":"gluestreaming","ScriptLocation":"s3://my-bucket/scripts/rtm-job.scala"}' \
  --default-arguments '{
      "--enable-real-time-mode": "true",
      "--job-language": "scala",
      "--class": "GlueApp",
      "--TempDir": "s3://my-bucket/tmp/"
  }' \
  --region us-east-2

建立新任務 (boto3)

使用下列程式碼：

import boto3

glue = boto3.client("glue", region_name="us-east-2")

glue.create_job(
    Name="my-rtm-job",
    Role="arn:aws:iam::123456789012:role/MyGlueRole",
    GlueVersion="6.0",
    WorkerType="G.1X",
    NumberOfWorkers=4,
    Command={
        "Name": "gluestreaming",
        "ScriptLocation": "s3://my-bucket/scripts/rtm-job.scala",
    },
    DefaultArguments={
        "--enable-real-time-mode": "true",
        "--job-language": "scala",
        "--class": "GlueApp",
        "--TempDir": "s3://my-bucket/tmp/",
    },
)

更新現有任務 (AWS CLI)

執行以下命令：

aws glue update-job \
  --job-name my-existing-job \
  --job-update '{
      "GlueVersion": "6.0",
      "DefaultArguments": {
          "--enable-real-time-mode": "true",
          "--job-language": "scala"
      }
  }'

撰寫串流指令碼

任務引數宣告使用即時模式的意圖。您的指令碼會選取觸發條件。

下列 Scala 範例顯示使用 的串流查詢Trigger.RealTime：

import org.apache.spark.sql.streaming.Trigger

val query = df.writeStream
  .format("kafka")
  .outputMode("update")
  .trigger(Trigger.RealTime(60000L))  // checkpoint interval in milliseconds
  .start()

query.awaitTermination()

Trigger.RealTime 需要以毫秒為單位的檢查點間隔。需要更新輸出模式。附加模式擲回 OUTPUT_MODE_NOT_SUPPORTED。

只要標記已設定，您就可以在一個指令碼中混合模式：

dfA.writeStream.outputMode("update").trigger(Trigger.RealTime(60000L)).start()
dfB.writeStream.outputMode("append").trigger(Trigger.ProcessingTime("30 seconds")).start()

缺少旗標時的行為

以下說明未設定--enable-real-time-mode旗標時任務的行為：

考量和限制

當您使用即時模式時，請考慮下列事項：