Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

AWS Glue Streaming

AWS Glue Lo streaming, un componente di AWS Glue, consente di gestire in modo efficiente i dati in streaming quasi in tempo reale, consentendoti di svolgere attività cruciali come l'acquisizione, l'elaborazione e l'apprendimento automatico dei dati. Utilizzando il framework Apache Spark Streaming, Streaming fornisce un servizio serverless in grado di gestire AWS Glue lo streaming di dati su larga scala. AWS Glue offre diverse ottimizzazioni in aggiunta ad Apache Spark, come l'infrastruttura serverless, il ridimensionamento automatico, lo sviluppo di processi visivi, notebook istantanei per lo streaming e altri miglioramenti delle prestazioni.

Casi d'uso per lo streaming

Alcuni casi d'uso comuni dello streaming includono: AWS Glue

Near-real-time elaborazione dati: AWS Glue lo streaming consente alle organizzazioni di elaborare i dati in streaming quasi in tempo reale, consentendo loro di ricavare informazioni e prendere decisioni tempestive sulla base delle informazioni più recenti.

Rilevamento delle frodi: puoi utilizzare AWS Glue lo streaming per l'analisi in tempo reale dei dati in streaming, rendendolo utile per rilevare attività fraudolente, come frodi con carta di credito, intrusioni nella rete o truffe online. Elaborando e analizzando continuamente i dati in entrata, è possibile identificare rapidamente anomalie o sequenze sospette.

Analisi dei social media: AWS Glue lo streaming può elaborare dati sui social media in tempo reale, come tweet, post o commenti, consentendo alle organizzazioni di monitorare le tendenze, analizzare il sentiment e gestire la reputazione del marchio in tempo reale.

Analisi dell'Internet of Things (IoT): AWS Glue lo streaming è adatto per la gestione e l'analisi di flussi di dati ad alta velocità generati da dispositivi IoT, sensori e macchinari connessi. Consente il monitoraggio in tempo reale, il rilevamento delle anomalie, la manutenzione predittiva e altri casi d'uso di analisi IoT.

Analisi clickstream: lo AWS Glue streaming può elaborare e analizzare i dati clickstream in tempo reale provenienti da siti Web o applicazioni mobili. In tal modo, le aziende possono ottenere approfondimenti sul comportamento degli utenti, personalizzare le loro esperienze e ottimizzare le campagne di marketing sulla base di dati di clickstream in tempo reale.

Monitoraggio e analisi dei log: AWS Glue lo streaming può elaborare e analizzare continuamente i dati di registro provenienti da server, applicazioni o dispositivi di rete in tempo reale. Ciò contribuisce a rilevare le anomalie, risolvere i problemi e monitorare lo stato e le prestazioni del sistema.

Sistemi di raccomandazione: AWS Glue lo streaming può elaborare i dati sulle attività degli utenti in tempo reale e aggiornare i modelli di raccomandazione in modo dinamico. Ciò consente di fornire consigli personalizzati e in tempo reale in base al comportamento e alle preferenze degli utenti.

Questi sono alcuni esempi della vasta gamma di casi d'uso in cui è possibile applicare AWS Glue lo streaming. La sua integrazione con l' AWS ecosistema e i servizi gestiti lo rendono una scelta conveniente per l'elaborazione e l'analisi dei flussi in tempo reale nel cloud.

Quali sono i vantaggi dell'utilizzo AWS Glue Streaming?

I vantaggi dell'utilizzo AWS Glue dello streaming sono i seguenti:

Quando utilizzarlo AWS Glue Streaming?

I casi d'uso dello streaming includono numerose opzioni. Consigliamo AWS Glue lo streaming nei seguenti scenari.

Origini dati supportate

AWS Glue Lo streaming supporta le seguenti fonti di dati:

Destinazioni di dati supportate

AWS Glue Lo streaming supporta una varietà di obiettivi di dati come:

Attivazione della modalità in tempo reale per i lavori in streaming

Real-time mode (RTM) è un nuovo modello di esecuzione per Spark Structured Streaming disponibile nella versione 6.0. AWS Glue RTM riduce la latenza end-to-end da secondi o minuti a meno di secondi. Real-time la modalità si applica solo ai job di Spark Structured Streaming. Non si applica ai precedenti Spark Streaming (DStreams) o ad altri tipi di job.

RTM utilizza. Trigger.RealTime Le attività vengono eseguite continuamente all'interno di una finestra batch (impostazione predefinita 5 minuti) ed elaborano i record man mano che arrivano, anziché accumulare dati a intervalli. Questo è diverso dal modello microbatch predefinito, in cuiforEachBatch/esegue Trigger.ProcessingTime polling, elabora, esegue il commit e riavvia le attività a ogni intervallo.

Prerequisiti

Prima di attivare la modalità in tempo reale, verificate che il lavoro soddisfi i seguenti requisiti:

Quando usare la modalità in tempo reale

Real-time la modalità è progettata per una classe specifica di carichi di lavoro di streaming. Prendi in considerazione l'utilizzo della modalità in tempo reale quando:

Continua a utilizzare la modalità micro-batch quando:

Come funziona la modalità in tempo reale

Quanto segue descrive la differenza tra il modello microbatch e la modalità in tempo reale:

Entrambe le modalità utilizzano lo stesso formato di checkpoint e lo stesso meccanismo di ripristino. La differenza fondamentale è la durata dell'attività. Micro-batch la modalità termina e riavvia le attività a ogni intervallo. Real-time la modalità mantiene le attività in esecuzione continua all'interno di una finestra batch più lunga.

Per abilitare la modalità in tempo reale

È possibile abilitare la modalità in tempo reale impostando l'argomento --enable-real-time-mode job sutrue. Puoi impostare questo argomento nella AWS Glue console o tramite l'API.

Per abilitare la modalità in tempo reale (console)

Per abilitare la modalità in tempo reale (API)

Il --enable-real-time-mode flag è memorizzato nella DefaultArguments mappa della definizione del lavoro. È possibile impostarlo quando si crea o si aggiorna un lavoro.

Per creare un nuovo lavoro (AWS CLI)

Esegui il comando seguente:

aws glue create-job \
  --name my-rtm-job \
  --role arn:aws:iam::123456789012:role/MyGlueRole \
  --glue-version 6.0 \
  --worker-type G.1X --number-of-workers 4 \
  --command '{"Name":"gluestreaming","ScriptLocation":"s3://my-bucket/scripts/rtm-job.scala"}' \
  --default-arguments '{
      "--enable-real-time-mode": "true",
      "--job-language": "scala",
      "--class": "GlueApp",
      "--TempDir": "s3://my-bucket/tmp/"
  }' \
  --region us-east-2

Per creare un nuovo lavoro (boto3)

Eseguire il seguente codice:

import boto3

glue = boto3.client("glue", region_name="us-east-2")

glue.create_job(
    Name="my-rtm-job",
    Role="arn:aws:iam::123456789012:role/MyGlueRole",
    GlueVersion="6.0",
    WorkerType="G.1X",
    NumberOfWorkers=4,
    Command={
        "Name": "gluestreaming",
        "ScriptLocation": "s3://my-bucket/scripts/rtm-job.scala",
    },
    DefaultArguments={
        "--enable-real-time-mode": "true",
        "--job-language": "scala",
        "--class": "GlueApp",
        "--TempDir": "s3://my-bucket/tmp/",
    },
)

Per aggiornare un lavoro esistente (AWS CLI)

Esegui il comando seguente:

aws glue update-job \
  --job-name my-existing-job \
  --job-update '{
      "GlueVersion": "6.0",
      "DefaultArguments": {
          "--enable-real-time-mode": "true",
          "--job-language": "scala"
      }
  }'

Scrivere il tuo script di streaming

L'argomento job dichiara l'intenzione di utilizzare la modalità in tempo reale. Lo script seleziona il trigger.

Il seguente esempio di Scala mostra una query di streaming che utilizzaTrigger.RealTime:

import org.apache.spark.sql.streaming.Trigger

val query = df.writeStream
  .format("kafka")
  .outputMode("update")
  .trigger(Trigger.RealTime(60000L))  // checkpoint interval in milliseconds
  .start()

query.awaitTermination()

Trigger.RealTimerichiede un intervallo di checkpoint in millisecondi. È richiesta la modalità di output dell'aggiornamento. Aggiungi OUTPUT_MODE_NOT_SUPPORTED lanci in modalità.

È possibile combinare le modalità in uno script purché sia impostato il flag:

dfA.writeStream.outputMode("update").trigger(Trigger.RealTime(60000L)).start()
dfB.writeStream.outputMode("append").trigger(Trigger.ProcessingTime("30 seconds")).start()

Comportamento quando manca la bandiera

Quanto segue descrive come si comporta il lavoro quando il --enable-real-time-mode flag non è impostato:

Considerazioni e limitazioni

Quando utilizzate la modalità in tempo reale, tenete presente quanto segue: