Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

AWS Glue Streaming

AWS Glue Streaming, komponen dari AWS Glue, memungkinkan Anda menangani data streaming secara efisien hampir real-time, memberdayakan Anda untuk melakukan tugas-tugas penting seperti konsumsi data, pemrosesan, dan pembelajaran mesin. Menggunakan kerangka kerja Apache Spark Stre AWS Glue aming, Streaming menyediakan layanan tanpa server yang dapat menangani data streaming dalam skala besar. AWS Glue menyediakan berbagai pengoptimalan di atas Apache Spark seperti infrastruktur tanpa server, penskalaan otomatis, pengembangan pekerjaan visual, notebook instant-on untuk pekerjaan streaming, dan peningkatan kinerja lainnya.

Kasus penggunaan untuk streaming

Beberapa kasus penggunaan umum untuk AWS Glue Streaming meliputi:

Near-real-time pemrosesan data: AWS Glue Streaming memungkinkan organisasi untuk memproses data streaming hampir secara real-time, memungkinkan mereka memperoleh wawasan dan membuat keputusan tepat waktu berdasarkan informasi terbaru.

Deteksi penipuan: Anda dapat menggunakan AWS Glue Streaming untuk analisis real-time data streaming, membuatnya berharga untuk mendeteksi aktivitas penipuan, seperti penipuan kartu kredit, intrusi jaringan, atau penipuan online. Dengan terus memproses dan menganalisis data yang masuk, Anda dapat dengan cepat mengidentifikasi pola atau anomali yang mencurigakan.

Analisis media sosial: AWS Glue Streaming dapat memproses data media sosial real-time, seperti tweet, posting, atau komentar, memungkinkan organisasi untuk memantau tren, analisis sentimen, dan mengelola reputasi merek secara real-time.

Analisis Internet of Things (IoT): AWS Glue Streaming cocok untuk menangani dan menganalisis aliran data berkecepatan tinggi yang dihasilkan oleh perangkat IoT, sensor, dan mesin yang terhubung. Ini memungkinkan pemantauan waktu nyata, deteksi anomali, pemeliharaan prediktif, dan kasus penggunaan analitik IoT lainnya.

Analisis clickstream: Stre AWS Glue aming dapat memproses dan menganalisis data clickstream real-time dari situs web atau aplikasi seluler. Hal ini memungkinkan bisnis untuk mendapatkan wawasan tentang perilaku pengguna, mempersonalisasi pengalaman pengguna, dan mengoptimalkan kampanye pemasaran berdasarkan data clickstream real-time.

Pemantauan dan analisis log: AWS Glue Streaming dapat terus memproses dan menganalisis data log dari server, aplikasi, atau perangkat jaringan secara real-time. Ini membantu dalam mendeteksi anomali, memecahkan masalah, dan memantau kesehatan dan kinerja sistem.

Sistem rekomendasi: AWS Glue Streaming dapat memproses data aktivitas pengguna secara real-time dan memperbarui model rekomendasi secara dinamis. Hal ini memungkinkan rekomendasi yang dipersonalisasi dan real-time berdasarkan perilaku dan preferensi pengguna.

Ini adalah beberapa contoh dari beragam kasus penggunaan di mana AWS Glue Streaming dapat diterapkan. Integrasinya dengan AWS ekosistem dan layanan terkelola menjadikannya pilihan yang nyaman untuk pemrosesan aliran waktu nyata dan analitik di cloud.

Apa manfaat menggunakan AWS Glue Streaming?

Manfaat menggunakan AWS Glue Streaming adalah sebagai berikut:

Kapan harus digunakan AWS Glue Streaming?

Ada banyak opsi dalam hal kasus penggunaan streaming. Kami merekomendasikan AWS Glue streaming dalam skenario berikut.

Sumber data yang didukung

AWS Glue Streaming mendukung sumber data berikut:

Target data yang didukung

AWS Glue Streaming mendukung berbagai target data seperti:

Mengaktifkan mode real-time untuk pekerjaan streaming

Real-time mode (RTM) adalah model eksekusi baru untuk Spark Structured Streaming tersedia di AWS Glue 6.0. RTM mengurangi latensi ujung ke ujung dari detik atau menit menjadi sub-detik. Real-time mode hanya berlaku untuk pekerjaan Streaming Terstruktur Spark. Ini tidak berlaku untuk Spark Streaming lama (DStreams) atau jenis pekerjaan lainnya.

RTM menggunakanTrigger.RealTime. Tugas berjalan terus menerus dalam jendela batch (default 5 menit) dan memproses catatan saat tiba, daripada mengumpulkan data lintas interval. Ini berbeda dari model batch mikro default, di manaforEachBatch/melakukan pollingTrigger.ProcessingTime, memproses, komit, dan memulai ulang tugas setiap interval.

Prasyarat

Sebelum mengaktifkan mode real-time, konfirmasikan bahwa pekerjaan Anda memenuhi persyaratan berikut:

Kapan menggunakan mode real-time

Real-time mode dirancang untuk kelas tertentu dari beban kerja streaming. Pertimbangkan untuk menggunakan mode real-time saat:

Lanjutkan menggunakan mode mikro-batch ketika:

Cara kerja mode waktu nyata

Berikut ini menjelaskan perbedaan antara model batch mikro dan mode real-time:

Kedua mode menggunakan format pos pemeriksaan dan mekanisme pemulihan yang sama. Perbedaan utamanya adalah masa pakai tugas. Micro-batch mode mengakhiri dan meluncurkan kembali tugas setiap interval. Real-time mode membuat tugas berjalan terus menerus dalam jendela batch yang lebih lama.

Untuk mengaktifkan mode real-time

Anda mengaktifkan mode waktu nyata dengan menyetel argumen --enable-real-time-mode pekerjaan ketrue. Anda dapat mengatur argumen ini di AWS Glue konsol atau melalui API.

Untuk mengaktifkan mode real-time (konsol)

Untuk mengaktifkan mode waktu nyata (API)

--enable-real-time-modeBendera disimpan dalam DefaultArguments peta definisi pekerjaan. Anda dapat mengaturnya saat membuat atau memperbarui pekerjaan.

Untuk membuat pekerjaan baru (AWS CLI)

Jalankan perintah berikut:

aws glue create-job \
  --name my-rtm-job \
  --role arn:aws:iam::123456789012:role/MyGlueRole \
  --glue-version 6.0 \
  --worker-type G.1X --number-of-workers 4 \
  --command '{"Name":"gluestreaming","ScriptLocation":"s3://my-bucket/scripts/rtm-job.scala"}' \
  --default-arguments '{
      "--enable-real-time-mode": "true",
      "--job-language": "scala",
      "--class": "GlueApp",
      "--TempDir": "s3://my-bucket/tmp/"
  }' \
  --region us-east-2

Untuk membuat pekerjaan baru (boto3)

Gunakan kode berikut:

import boto3

glue = boto3.client("glue", region_name="us-east-2")

glue.create_job(
    Name="my-rtm-job",
    Role="arn:aws:iam::123456789012:role/MyGlueRole",
    GlueVersion="6.0",
    WorkerType="G.1X",
    NumberOfWorkers=4,
    Command={
        "Name": "gluestreaming",
        "ScriptLocation": "s3://my-bucket/scripts/rtm-job.scala",
    },
    DefaultArguments={
        "--enable-real-time-mode": "true",
        "--job-language": "scala",
        "--class": "GlueApp",
        "--TempDir": "s3://my-bucket/tmp/",
    },
)

Untuk memperbarui pekerjaan yang ada (AWS CLI)

Jalankan perintah berikut:

aws glue update-job \
  --job-name my-existing-job \
  --job-update '{
      "GlueVersion": "6.0",
      "DefaultArguments": {
          "--enable-real-time-mode": "true",
          "--job-language": "scala"
      }
  }'

Menulis skrip streaming Anda

Argumen pekerjaan menyatakan maksud untuk menggunakan mode real-time. Script Anda memilih pemicu.

Contoh Scala berikut menunjukkan kueri streaming yang menggunakan: Trigger.RealTime

import org.apache.spark.sql.streaming.Trigger

val query = df.writeStream
  .format("kafka")
  .outputMode("update")
  .trigger(Trigger.RealTime(60000L))  // checkpoint interval in milliseconds
  .start()

query.awaitTermination()

Trigger.RealTimemengambil interval pos pemeriksaan dalam milidetik. Diperlukan mode keluaran pembaruan. Tambahkan lemparan mode. OUTPUT_MODE_NOT_SUPPORTED

Anda dapat mencampur mode dalam satu skrip selama bendera diatur:

dfA.writeStream.outputMode("update").trigger(Trigger.RealTime(60000L)).start()
dfB.writeStream.outputMode("append").trigger(Trigger.ProcessingTime("30 seconds")).start()

Perilaku saat bendera hilang

Berikut ini menjelaskan bagaimana pekerjaan berperilaku saat --enable-real-time-mode flag tidak disetel:

Pertimbangan dan batasan

Pertimbangkan hal berikut saat Anda menggunakan mode real-time: