Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

AWS Glue Streaming

AWS Glue Le streaming, un composant de AWS Glue, vous permet de gérer efficacement les données de streaming en temps quasi réel, ce qui vous permet d'effectuer des tâches cruciales telles que l'ingestion, le traitement et l'apprentissage automatique des données. Grâce au framework Apache Spark Streaming, AWS Glue Streaming fournit un service sans serveur capable de gérer les données de streaming à grande échelle. AWS Glue fournit diverses optimisations en plus d'Apache Spark, telles qu'une infrastructure sans serveur, une mise à l'échelle automatique, le développement visuel de tâches, des blocs-notes instantanés pour les tâches de streaming et d'autres améliorations de performances.

Cas d’utilisation pour le streaming

Parmi les cas d'utilisation courants du AWS Glue streaming, citons :

Near-real-time traitement des données  : le AWS Glue streaming permet aux organisations de traiter les données de streaming en temps quasi réel, ce qui leur permet d'en tirer des informations et de prendre des décisions en temps opportun sur la base des informations les plus récentes.

Détection des fraudes  : vous pouvez utiliser le AWS Glue streaming pour analyser en temps réel les données de streaming, ce qui en fait un outil précieux pour détecter les activités frauduleuses, telles que les fraudes par carte de crédit, les intrusions sur le réseau ou les escroqueries en ligne. En traitant et en analysant en permanence les données entrantes, vous pouvez rapidement identifier les schémas suspects ou les anomalies.

Analyse des réseaux sociaux  : le AWS Glue streaming peut traiter les données des réseaux sociaux en temps réel, telles que les tweets, les publications ou les commentaires, ce qui permet aux organisations de suivre les tendances, d'analyser les sentiments et de gérer la réputation de la marque en temps réel.

Analyse de l'Internet des objets (IoT)  : le AWS Glue streaming convient à la gestion et à l'analyse de flux de données à haute vitesse générés par des appareils IoT, des capteurs et des machines connectées. Il permet le suivi en temps réel, la détection des anomalies, la maintenance prédictive et d’autres cas d’utilisation de l’analytique IoT.

Analyse du flux de clics  : le AWS Glue streaming peut traiter et analyser les données de flux de clics en temps réel provenant de sites Web ou d'applications mobiles. Cela permet aux entreprises de mieux comprendre le comportement des utilisateurs, de personnaliser les expériences utilisateur et d’optimiser les campagnes marketing en fonction des données du flux de clics en temps réel.

Surveillance et analyse des journaux  : le AWS Glue streaming permet de traiter et d'analyser en continu et en temps réel les données des journaux provenant de serveurs, d'applications ou de périphériques réseau. Cela permet de détecter les anomalies, de résoudre les problèmes et de surveiller l’état et les performances du système.

Systèmes de recommandation  : le AWS Glue streaming peut traiter les données d'activité des utilisateurs en temps réel et mettre à jour les modèles de recommandation de manière dynamique. Cela permet des recommandations personnalisées et en temps réel basées sur le comportement et les préférences des utilisateurs.

Voici quelques exemples de la diversité des cas d'utilisation dans lesquels le AWS Glue streaming peut être appliqué. Son intégration à l' AWS écosystème et aux services gérés en fait un choix pratique pour le traitement et l'analyse des flux en temps réel dans le cloud.

Quels sont les avantages de l'utilisation AWS Glue Diffusion ?

Les avantages de l'utilisation du AWS Glue streaming sont les suivants :

Quand l’utiliser AWS Glue Diffusion ?

Il existe de nombreuses options en ce qui concerne les cas d’utilisation du streaming. Nous recommandons le AWS Glue streaming dans les scénarios suivants.

Sources de données prises en charge

AWS Glue Le streaming prend en charge les sources de données suivantes :

Cibles de données prises en charge

AWS Glue Le streaming prend en charge une variété de cibles de données telles que :

Activation du mode temps réel pour les tâches de streaming

Real-time mode (RTM) est un nouveau modèle d'exécution pour Spark Structured Streaming disponible dans la AWS Glue version 6.0. Le RTM réduit la latence de bout en bout de quelques secondes ou minutes à moins d'une seconde. Real-time le mode s'applique uniquement aux jobs Spark Structured Streaming. Elle ne s'applique pas à l'ancienne version de Spark Streaming (DStreams) ni à d'autres types de tâches.

Utilisations Trigger.RealTime RTM. Les tâches s'exécutent en continu dans une fenêtre de traitement par lots (5 minutes par défaut) et traitent les enregistrements au fur et à mesure de leur arrivée, au lieu d'accumuler des données sur plusieurs intervalles. Cela diffère du modèle de micro-batch par défaut, oùforEachBatch/Trigger.ProcessingTimeinterroge, traite, valide et redémarre les tâches à chaque intervalle.

Conditions préalables

Avant d'activer le mode temps réel, vérifiez que votre tâche répond aux exigences suivantes :

Quand utiliser le mode temps réel

Real-time le mode est conçu pour une classe spécifique de charges de travail de streaming. Envisagez d'utiliser le mode temps réel lorsque :

Continuez à utiliser le mode micro-batch lorsque :

Comment fonctionne le mode temps réel

Ce qui suit décrit la différence entre le modèle de micro-lots et le mode temps réel :

Les deux modes utilisent le même format de point de contrôle et le même mécanisme de restauration. La principale différence réside dans la durée de vie des tâches. Micro-batch le mode arrête et relance les tâches à chaque intervalle. Real-time le mode permet aux tâches de s'exécuter en continu dans une fenêtre de traitement par lots plus longue.

Pour activer le mode temps réel

Vous activez le mode temps réel en définissant l'argument de la --enable-real-time-mode tâche surtrue. Vous pouvez définir cet argument dans la AWS Glue console ou via l'API.

Pour activer le mode temps réel (console)

Pour activer le mode temps réel (API)

Le --enable-real-time-mode drapeau est enregistré sur la DefaultArguments carte de la définition du poste. Vous pouvez le définir lors de la création ou de la mise à jour d'une tâche.

Pour créer un nouvel emploi (AWS CLI)

Exécutez la commande suivante :

aws glue create-job \
  --name my-rtm-job \
  --role arn:aws:iam::123456789012:role/MyGlueRole \
  --glue-version 6.0 \
  --worker-type G.1X --number-of-workers 4 \
  --command '{"Name":"gluestreaming","ScriptLocation":"s3://my-bucket/scripts/rtm-job.scala"}' \
  --default-arguments '{
      "--enable-real-time-mode": "true",
      "--job-language": "scala",
      "--class": "GlueApp",
      "--TempDir": "s3://my-bucket/tmp/"
  }' \
  --region us-east-2

Pour créer une nouvelle tâche (boto3)

Utilisez le code suivant :

import boto3

glue = boto3.client("glue", region_name="us-east-2")

glue.create_job(
    Name="my-rtm-job",
    Role="arn:aws:iam::123456789012:role/MyGlueRole",
    GlueVersion="6.0",
    WorkerType="G.1X",
    NumberOfWorkers=4,
    Command={
        "Name": "gluestreaming",
        "ScriptLocation": "s3://my-bucket/scripts/rtm-job.scala",
    },
    DefaultArguments={
        "--enable-real-time-mode": "true",
        "--job-language": "scala",
        "--class": "GlueApp",
        "--TempDir": "s3://my-bucket/tmp/",
    },
)

Pour mettre à jour une tâche existante (AWS CLI)

Exécutez la commande suivante :

aws glue update-job \
  --job-name my-existing-job \
  --job-update '{
      "GlueVersion": "6.0",
      "DefaultArguments": {
          "--enable-real-time-mode": "true",
          "--job-language": "scala"
      }
  }'

Rédaction de votre script de streaming

L'argument job déclare l'intention d'utiliser le mode temps réel. Votre script sélectionne le déclencheur.

L'exemple Scala suivant montre une requête de streaming qui utilise Trigger.RealTime :

import org.apache.spark.sql.streaming.Trigger

val query = df.writeStream
  .format("kafka")
  .outputMode("update")
  .trigger(Trigger.RealTime(60000L))  // checkpoint interval in milliseconds
  .start()

query.awaitTermination()

Trigger.RealTimeprend un intervalle de point de contrôle en millisecondes. Le mode de sortie de mise à jour est requis. Le mode Ajouter lanceOUTPUT_MODE_NOT_SUPPORTED.

Vous pouvez mélanger les modes dans un seul script tant que le drapeau est activé :

dfA.writeStream.outputMode("update").trigger(Trigger.RealTime(60000L)).start()
dfB.writeStream.outputMode("append").trigger(Trigger.ProcessingTime("30 seconds")).start()

Comportement lorsque le drapeau est absent

Ce qui suit décrit le comportement de la tâche lorsque l'--enable-real-time-modeindicateur n'est pas défini :

Considérations et restrictions

Lorsque vous utilisez le mode temps réel, tenez compte des points suivants :