Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Pola 3: Inferensi waktu nyata di tepi
Banyak kasus penggunaan perusahaan menuntut pengambilan keputusan yang cerdas pada titik interaksi, apakah interaksi itu dengan pelanggan, mesin, kendaraan, atau perangkat IoT. Dalam skenario ini, inferensi khusus cloud tidak cukup karena masalah berikut:
-
Kendala latensi — Milidetik penting dalam pengalaman pengguna seperti personalisasi, rekomendasi, dan pemeriksaan penipuan.
-
Konektivitas intermiten atau tidak ada - Lingkungan terpencil seperti industri, pertanian, dan perawatan kesehatan seringkali tidak memiliki akses yang konsisten ke cloud. APIs
-
Volume data tinggi — Mengirim sensor besar atau muatan gambar ke cloud untuk inferensi tidak efisien dan mahal.
-
Persyaratan peraturan — Di beberapa yurisdiksi, data sensitif harus tetap lokal.
Arsitektur tradisional yang hanya mengandalkan inferensi ML terpusat memperkenalkan penundaan, meningkatkan biaya, dan dapat gagal melayani pengguna atau sistem secara efektif di lingkungan edge-first.
Pola inferensi tepi: Kecerdasan waktu nyata di tepi
Pola inferensi tepi waktu nyata memungkinkan organisasi menjalankan beban kerja inferensi lebih dekat ke pengguna atau perangkat, menggunakan layanan yang dikelola oleh. AWS Layanan ini termasuk AWS IoT Greengrass, yang memungkinkan inferensi lokal yang mampu offline pada perangkat tepi fisik. Selain itu, Lambda @Edge memungkinkan eksekusi logika AI ringan di lokasi Amazon CloudFront edge
Layanan tanpa server ini memungkinkan pengalaman AI terdistribusi yang instan, tahan terhadap masalah konektivitas, dan sesuai dengan persyaratan regional dan sensitif latensi.
Arsitektur referensi mengimplementasikan setiap lapisan sebagai berikut:
-
Pemicu peristiwa - Menggunakan peristiwa tepi (seperti pembacaan sensor dan perubahan status perangkat) atau permintaan penampil melalui CloudFront.
-
Pemrosesan - Menerapkan fungsi AWS IoT Greengrass Lambda lokal untuk memformat input, mengekstrak metadata, atau kebisingan filter. Menggunakan Lambda @Edge untuk memeriksa header atau geolokasi.
-
Inferensi — Menerapkan model ML melalui AWS IoT Greengrass komponen (misalnya, PyTorch atauONNX) atau membuat panggilan API jarak jauh ke Amazon Bedrock atau Amazon SageMaker Serverless Inference melalui Lambda @Edge.
-
Post-processing — Menggunakan AWS IoT Greengrass untuk mempublikasikan deteksi anomali ke bayangan perangkat MQTT atau IoT.AWS Menggunakan Lambda @Edge untuk mempersonalisasi tanggapan dan mengatur cookie.
-
Output - Menyinkronkan ke AWS IoT Core, Amazon S3, atau Amazon. EventBridge Menyajikan tanggapan melalui CloudFront browser atau dasbor perangkat.
catatan
Setiap tingkatan berperan dalam mengurangi waktu respons, mengoptimalkan bandwidth, dan melokalisasi kecerdasan.
Gunakan kasus untuk pola inferensi tepi
Inferensi real-time pada pola edge mendukung berbagai implementasi di berbagai industri. Berikut adalah dua contoh representatif:
-
Pemantauan peralatan pabrik dan AWS IoT Greengrass — Sebuah pabrik menyebarkan gateway yang diaktifkan oleh AWS IoT Greengrass untuk mendeteksi anomali dalam getaran peralatan. Model berjalan secara lokal, memperingatkan operator secara real time dan hanya mengirim data ringkasan ke cloud.
-
Konten web yang dipersonalisasi dan Lambda @Edge — Situs e-commerce menggunakan Lambda @Edge untuk menganalisis cookie dan header pada permintaan yang masuk. Lambda @Edge membantu situs untuk memberikan rekomendasi dan gambar produk yang dipersonalisasi dalam waktu kurang dari 50 ms, tanpa backend pulang-pergi.
Praktik terbaik keamanan dan manajemen di edge
Baik IoT Greengrass dan Lambda @Edge terintegrasi penuh dengan (IAM),, dan Amazon. AWS Identity and Access ManagementAWS IoT Core CloudWatch Praktik terbaik utama meliputi:
-
Penandatanganan kode dan verifikasi untuk AWS IoT Greengrass komponen
-
Inspeksi lalu lintas regional dan pencatatan untuk Lambda @Edge
-
Pembaruan model aman over-the-air (OTA) menggunakan bucket Amazon S3 dan pipeline integrasi berkelanjutan dan penerapan berkelanjutan (CI/CD)
-
Peran IAM berbutir halus untuk membatasi akses data di tepi
Membandingkan AWS IoT Greengrass dan Lambda @Edge
Tabel berikut membandingkan aspek operasional utama AWS IoT Greengrass dan Lambda @Edge dalam konteks inferensi tepi.
Pertimbangan |
AWS IoT Greengrass |
Lambda@Edge |
|---|---|---|
Bekerja offline |
Ya |
Tidak |
Menangani data sensor dan aktuator lokal |
Ya |
Tidak |
Baik untuk personalisasi web global |
Tidak |
Ya |
Mendukung model AI |
Inferensi lokal penuh |
Logika ringan dan panggilan API cloud |
Integrasi dengan Amazon Bedrock atau Inferensi Tanpa SageMaker Server |
Melalui sinkronisasi asinkron dan pencatatan |
Melalui fallback atau caching Amazon API Gateway |
Dengan menggunakan pola ini, perusahaan dapat menanamkan AI di tempat yang paling dibutuhkan, di lantai toko, di lapangan, di browser, atau di seluruh dunia. Inferensi waktu nyata pada pola tepi sangat penting untuk:
-
Aplikasi dengan latensi rendah, persyaratan ketersediaan tinggi
-
Perangkat tepi di lingkungan jarak jauh atau throughput tinggi
-
Pengalaman konsumen global di mana lokasi penting
Dengan menggabungkan AWS IoT Greengrass kecerdasan di perangkat dengan Lambda @Edge untuk kedekatan dengan pengguna AWS , memungkinkan pendekatan yang kuat dan tanpa server untuk AI edge yang dapat diskalakan, tangguh, dan hemat biaya.
Nilai bisnis dari pola inferensi tepi
Pola inferensi tepi memberikan nilai di bidang berikut:
-
Kinerja - Mencapai inferensi sub-100ms untuk aplikasi yang dihadapi pengguna atau otomatisasi kritis waktu
-
Keandalan — Bekerja tanpa konektivitas, yang sangat penting untuk IoT atau penerapan jarak jauh
-
Penghematan bandwidth - Menyimpan data mentah tetap lokal dan hanya mendorong peristiwa yang berarti ke cloud
-
Kepatuhan - Mempertahankan inferensi dan data secara lokal untuk mematuhi tata kelola regional seperti Peraturan Perlindungan Data Umum (GDPR) dan Undang-Undang Portabilitas dan Akuntabilitas Asuransi Kesehatan tahun 1996 (HIPAA)
-
Kontrol biaya — Meminimalkan penggunaan sumber daya cloud dan lalu lintas jaringan jika tidak penting
