Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

AWS Glue Streaming

AWS Glue Streaming, eine Komponente von AWS Glue, ermöglicht es Ihnen, Streaming-Daten nahezu in Echtzeit effizient zu verarbeiten, sodass Sie wichtige Aufgaben wie Datenaufnahme, Verarbeitung und maschinelles Lernen ausführen können. Mithilfe des Apache Spark-Streaming-Frameworks bietet AWS Glue Streaming einen serverlosen Dienst, der Streaming-Daten in großem Umfang verarbeiten kann. AWS Glue bietet zusätzlich zu Apache Spark verschiedene Optimierungen wie serverlose Infrastruktur, automatische Skalierung, visuelle Auftragsentwicklung, Instant-On-Notebooks für Streaming-Jobs und andere Leistungsverbesserungen.

Anwendungsfälle für Streaming

Zu den häufigsten Anwendungsfällen für Streaming gehören: AWS Glue

Near-real-time Datenverarbeitung: AWS Glue Streaming ermöglicht es Unternehmen, Streaming-Daten nahezu in Echtzeit zu verarbeiten, sodass sie Erkenntnisse ableiten und zeitnahe Entscheidungen auf der Grundlage der neuesten Informationen treffen können.

Betrugserkennung: Sie können AWS Glue Streaming für die Echtzeitanalyse von Streaming-Daten verwenden. Dadurch ist es für die Erkennung betrügerischer Aktivitäten wie Kreditkartenbetrug, Netzwerkeinbrüche oder Online-Betrug von großem Nutzen. Durch die kontinuierliche Verarbeitung und Analyse der eingehenden Daten können Sie verdächtige Muster oder Anomalien schnell erkennen.

Social-Media-Analysen: AWS Glue Streaming kann Social-Media-Daten wie Tweets, Posts oder Kommentare in Echtzeit verarbeiten, sodass Unternehmen Trends verfolgen, Stimmungsanalysen durchführen und den Ruf ihrer Marke in Echtzeit verwalten können.

Analysen im Internet der Dinge (IoT): AWS Glue Streaming eignet sich für die Verarbeitung und Analyse von Datenströmen mit hoher Geschwindigkeit, die von IoT-Geräten, Sensoren und vernetzten Maschinen generiert werden. Es ermöglicht Echtzeit-Überwachung, Anomalie-Erkennung, prädiktive Wartung und andere IoT-Analytik-Anwendungen.

Clickstream-Analyse: AWS Glue Streaming kann Clickstream-Daten von Websites oder mobilen Anwendungen in Echtzeit verarbeiten und analysieren. Dies ermöglicht es Unternehmen, Einblicke in das Benutzerverhalten zu gewinnen, das Benutzererlebnis zu personalisieren und Marketingkampagnen auf der Grundlage von Clickstream-Daten in Echtzeit zu optimieren.

Protokollüberwachung und -analyse: AWS Glue Streaming kann Protokolldaten von Servern, Anwendungen oder Netzwerkgeräten kontinuierlich in Echtzeit verarbeiten und analysieren. Dies hilft bei der Erkennung von Anomalien, der Behebung von Problemen und der Überwachung von Systemzustand und Leistung.

Empfehlungssysteme: AWS Glue Streaming kann Benutzeraktivitätsdaten in Echtzeit verarbeiten und Empfehlungsmodelle dynamisch aktualisieren. Dies ermöglicht personalisierte Empfehlungen in Echtzeit, die auf dem Verhalten und den Vorlieben der Benutzer basieren.

Dies sind einige Beispiele für die vielfältigen Anwendungsfälle, in denen AWS Glue Streaming angewendet werden kann. Die Integration in das AWS Ökosystem und die verwalteten Dienste machen es zu einer bequemen Wahl für die Stream-Verarbeitung und -Analyse in Echtzeit in der Cloud.

Was sind die Vorteile der Verwendung AWS Glue Streamen?

Die Verwendung von AWS Glue Streaming bietet folgende Vorteile:

Wann sollte dies verwendet werden? AWS Glue Streaming?

Es gibt viele Optionen, wenn es um Streaming-Anwendungsfälle geht. Wir empfehlen, in den folgenden Szenarien zu AWS Glue streamen.

Unterstützte Datenquellen

AWS Glue Streaming unterstützt die folgenden Datenquellen:

Unterstützte Datenziele

AWS Glue Streaming unterstützt eine Vielzahl von Datenzielen wie:

Aktivierung des Echtzeitmodus für Streaming-Jobs

Real-time mode (RTM) ist ein neues Ausführungsmodell für Spark Structured Streaming, das in 6.0 verfügbar ist. AWS Glue RTM reduziert die Ende-zu-Ende-Latenz von Sekunden oder Minuten auf Sekundenbruchteile. Real-time Der Modus gilt nur für Spark Structured Streaming-Jobs. Er gilt nicht für ältere Spark Streaming (dStreams) oder andere Jobtypen.

RTM verwendet. Trigger.RealTime Aufgaben werden kontinuierlich innerhalb eines Batch-Fensters (standardmäßig 5 Minuten) ausgeführt und verarbeiten Datensätze, sobald sie eintreffen, anstatt Daten über Intervalle hinweg anzuhäufen. Dies unterscheidet sich vom Standard-Micro-Batch-Modell, bei dem forEachBatch /Aufgaben in jedem Intervall Trigger.ProcessingTime abfragt, verarbeitet, festschreibt und neu startet.

Voraussetzungen

Bevor Sie den Echtzeitmodus aktivieren, stellen Sie sicher, dass Ihr Job die folgenden Anforderungen erfüllt:

Wann sollte der Echtzeitmodus verwendet werden

Real-time Der Modus ist für eine bestimmte Klasse von Streaming-Workloads konzipiert. Erwägen Sie, den Echtzeitmodus zu verwenden, wenn:

Verwenden Sie den Micro-Batch-Modus weiterhin, wenn:

Wie funktioniert der Echtzeitmodus

Im Folgenden wird der Unterschied zwischen dem Micro-Batch-Modell und dem Echtzeitmodus beschrieben:

Beide Modi verwenden dasselbe Checkpoint-Format und denselben Wiederherstellungsmechanismus. Der entscheidende Unterschied ist die Lebensdauer der Aufgaben. Micro-batch Der Modus beendet die Aufgaben und startet sie in jedem Intervall neu. Real-time Der Modus sorgt dafür, dass Aufgaben innerhalb eines längeren Batch-Fensters kontinuierlich ausgeführt werden.

Um den Echtzeitmodus zu aktivieren

Sie aktivieren den Echtzeitmodus, indem Sie das --enable-real-time-mode Job-Argument auf setzentrue. Sie können dieses Argument in der AWS Glue Konsole oder über die API festlegen.

Um den Echtzeitmodus zu aktivieren (Konsole)

Um den Echtzeitmodus (API) zu aktivieren

Das --enable-real-time-mode Flag wird in der DefaultArguments Map der Jobdefinition gespeichert. Sie können es festlegen, wenn Sie einen Job erstellen oder aktualisieren.

Um einen neuen Job zu erstellen (AWS CLI)

Führen Sie den folgenden Befehl aus:

aws glue create-job \
  --name my-rtm-job \
  --role arn:aws:iam::123456789012:role/MyGlueRole \
  --glue-version 6.0 \
  --worker-type G.1X --number-of-workers 4 \
  --command '{"Name":"gluestreaming","ScriptLocation":"s3://my-bucket/scripts/rtm-job.scala"}' \
  --default-arguments '{
      "--enable-real-time-mode": "true",
      "--job-language": "scala",
      "--class": "GlueApp",
      "--TempDir": "s3://my-bucket/tmp/"
  }' \
  --region us-east-2

Um einen neuen Job zu erstellen (boto3)

Verwenden Sie folgenden Code:

import boto3

glue = boto3.client("glue", region_name="us-east-2")

glue.create_job(
    Name="my-rtm-job",
    Role="arn:aws:iam::123456789012:role/MyGlueRole",
    GlueVersion="6.0",
    WorkerType="G.1X",
    NumberOfWorkers=4,
    Command={
        "Name": "gluestreaming",
        "ScriptLocation": "s3://my-bucket/scripts/rtm-job.scala",
    },
    DefaultArguments={
        "--enable-real-time-mode": "true",
        "--job-language": "scala",
        "--class": "GlueApp",
        "--TempDir": "s3://my-bucket/tmp/",
    },
)

Um einen vorhandenen Job zu aktualisieren (AWS CLI)

Führen Sie den folgenden Befehl aus:

aws glue update-job \
  --job-name my-existing-job \
  --job-update '{
      "GlueVersion": "6.0",
      "DefaultArguments": {
          "--enable-real-time-mode": "true",
          "--job-language": "scala"
      }
  }'

Schreiben Sie Ihr Streaming-Skript

Das Job-Argument deklariert die Absicht, den Echtzeitmodus zu verwenden. Ihr Script wählt den Trigger aus.

Das folgende Scala-Beispiel zeigt eine Streaming-Abfrage, die Folgendes verwendetTrigger.RealTime:

import org.apache.spark.sql.streaming.Trigger

val query = df.writeStream
  .format("kafka")
  .outputMode("update")
  .trigger(Trigger.RealTime(60000L))  // checkpoint interval in milliseconds
  .start()

query.awaitTermination()

Trigger.RealTimebenötigt ein Checkpoint-Intervall in Millisekunden. Der Aktualisierungs-Ausgabemodus ist erforderlich. Der Modus „Anhängen“ wirft OUTPUT_MODE_NOT_SUPPORTED aus.

Sie können Modi in einem Skript mischen, solange das Flag gesetzt ist:

dfA.writeStream.outputMode("update").trigger(Trigger.RealTime(60000L)).start()
dfB.writeStream.outputMode("append").trigger(Trigger.ProcessingTime("30 seconds")).start()

Verhalten, wenn das Flag fehlt

Im Folgenden wird beschrieben, wie sich der Job verhält, wenn das --enable-real-time-mode Flag nicht gesetzt ist:

Überlegungen und Einschränkungen

Beachten Sie Folgendes, wenn Sie den Echtzeitmodus verwenden: