Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
Muster 3: Inferenz in Echtzeit am Rand
Viele Anwendungsfälle in Unternehmen erfordern intelligente Entscheidungen am Interaktionspunkt, unabhängig davon, ob es sich um eine Interaktion mit einem Kunden, einer Maschine, einem Fahrzeug oder einem IoT-Gerät handelt. In diesen Szenarien reicht eine reine Cloud-Inferenz aufgrund der folgenden Probleme nicht aus:
-
Latenzbeschränkungen — Millisekunden sind wichtig für Benutzererlebnisse wie Personalisierung, Empfehlungen und Betrugskontrollen.
-
Intermittierende oder keine Konnektivität — Remote-Umgebungen wie Industrie, Landwirtschaft und Gesundheitswesen haben oft keinen konsistenten Zugriff auf die Cloud. APIs
-
Hohes Datenvolumen — Das Senden großer Sensor- oder Bilddaten zur Inferenz in die Cloud ist ineffizient und kostspielig.
-
Regulatorische Anforderungen — In einigen Ländern müssen sensible Daten lokal bleiben.
Herkömmliche Architekturen, die ausschließlich auf zentralisierter ML-Inferenz basieren, führen zu Verzögerungen, erhöhen die Kosten und können Benutzern oder Systemen in Edge-First-Umgebungen möglicherweise nicht effektiv dienen.
Das Edge-Inferenzmuster: Echtzeitinformationen am Netzwerkrand
Das Edge-Inferenzmuster in Echtzeit ermöglicht es Unternehmen, Inferenz-Workloads näher am Benutzer oder Gerät auszuführen und dabei Dienste zu nutzen, die von verwaltet werden. AWS Zu diesen Diensten gehören u. a. lokalisierte AWS IoT Greengrass, offlinefähige Inferenzen auf physischen Edge-Geräten. Darüber hinaus ermöglicht Lambda @Edge die Ausführung leichter KI-Logik an CloudFront Amazon-Edge-Standorten
Diese serverlosen Dienste ermöglichen verteilte KI-Erlebnisse, die sofort zur Verfügung stehen, Verbindungsproblemen standhalten und regionalen und latenzsensitiven Anforderungen entsprechen.
Die Referenzarchitektur implementiert jede Ebene wie folgt:
-
Event-Trigger — Verwendet Edge-Ereignisse (wie Sensormesswerte und Gerätestatusänderungen) oder Viewer-Anfragen durch CloudFront.
-
Verarbeitung — Implementiert eine lokale Lambda-Funktion, um Eingaben AWS IoT Greengrass zu formatieren, Metadaten zu extrahieren oder Rauschen zu filtern. Verwendet Lambda @Edge, um Header oder Geolocation zu überprüfen.
-
Inferenz — Stellt ein ML-Modell über eine AWS IoT Greengrass Komponente bereit (z. B. PyTorch oderONNX) oder führt über Lambda @Edge Remote-API-Aufrufe an Amazon Bedrock oder Amazon SageMaker Serverless Inference durch.
-
Nachbearbeitung — Wird verwendet, AWS IoT Greengrass um die Anomalieerkennung in MQTT- oder AWS IoT-Geräteschatten zu veröffentlichen. Verwendet Lambda @Edge, um Antworten zu personalisieren und Cookies zu setzen.
-
Ausgabe — Synchronisiert mit AWS IoT CoreAmazon S3 oder Amazon EventBridge. Sendet Antworten entweder CloudFront im Browser oder im Geräte-Dashboard.
Anmerkung
Jede Stufe trägt dazu bei, die Reaktionszeit zu verkürzen, die Bandbreite zu optimieren und Informationen zu lokalisieren.
Anwendungsfälle für das Edge-Inferenzmuster
Die Echtzeit-Inferenz am Edge-Muster unterstützt verschiedene Implementierungen in verschiedenen Branchen. Hier sind zwei repräsentative Beispiele:
-
Überwachung der Fabrikausrüstung und AWS IoT Greengrass — Eine Produktionsanlage setzt Gateways ein, die es ermöglichen, Anomalien bei Gerätevibrationen AWS IoT Greengrass zu erkennen. Das Modell läuft lokal, alarmiert den Bediener in Echtzeit und sendet nur zusammenfassende Daten an die Cloud.
-
Personalisierte Webinhalte und Lambda @Edge — Eine E-Commerce-Site verwendet Lambda @Edge, um Cookies und Header bei eingehenden Anfragen zu analysieren. Lambda @Edge hilft der Website, personalisierte Empfehlungen und Produktbilder in weniger als 50 ms bereitzustellen, ohne dass Backend-Roundtrips erforderlich sind.
Bewährte Methoden für Sicherheit und Verwaltung am Netzwerkrand
Sowohl IoT Greengrass als auch Lambda @Edge sind vollständig in AWS Identity and Access Management(IAM) AWS IoT Core, und Amazon integriert. CloudWatch Zu den wichtigsten bewährten Methoden gehören die folgenden:
-
Codesignatur und -verifizierung für AWS IoT Greengrass Komponenten
-
Regionale Verkehrsinspektion und Protokollierung für Lambda @Edge
-
Sichere over-the-air (OTA) -Modellaktualisierungen mithilfe von Amazon S3 S3-Buckets und Pipelines für kontinuierliche Integration und kontinuierliche Bereitstellung (CI/CD)
-
Fein abgestufte IAM-Rollen zur Beschränkung des Datenzugriffs am Netzwerkrand
Vergleichen AWS IoT Greengrass und Lambda @Edge
In der folgenden Tabelle werden die wichtigsten betrieblichen Aspekte von AWS IoT Greengrass und Lambda @Edge im Kontext der Edge-Inferenz verglichen.
Überlegung |
AWS IoT Greengrass |
Lambda@Edge |
|---|---|---|
Funktioniert offline |
Ja |
Nein |
Verarbeitet lokale Sensor- und Aktuatordaten |
Ja |
Nein |
Gut für die globale Web-Personalisierung |
Nein |
Ja |
Unterstützt KI-Modelle |
Vollständige lokale Inferenz |
Einfache Logik und Cloud-API-Aufrufe |
Integration mit Amazon Bedrock oder SageMaker Serverless Inference |
Durch asynchrone Synchronisierung und Protokollierung |
Durch Amazon API Gateway Gateway-Fallback oder Caching |
Mithilfe dieses Musters können Unternehmen KI dort einbetten, wo sie am dringendsten benötigt wird, in der Werkstatt, vor Ort, im Browser oder auf der ganzen Welt. Die Inferenz am Kantenmuster in Echtzeit ist unverzichtbar für:
-
Anwendungen mit Anforderungen an niedrige Latenz und hohe Verfügbarkeit
-
Edge-Geräte in Remote-Umgebungen oder Umgebungen mit hohem Durchsatz
-
Weltweite Kundenerlebnisse, bei denen es auf den Standort ankommt
Die Kombination AWS IoT Greengrass von On-Device-Intelligence mit Lambda @Edge für Benutzernähe AWS ermöglicht einen leistungsstarken, serverlosen Ansatz für skalierbare, belastbare und kostengünstige Edge-KI.
Geschäftlicher Nutzen des Edge-Inferenzmusters
Das Edge-Inferenzmuster bietet in den folgenden Bereichen einen Mehrwert:
-
Leistung — Erreicht eine Inferenz von unter 100 ms für benutzerorientierte Apps oder zeitkritische Automatisierung
-
Zuverlässigkeit — Funktioniert ohne Konnektivität, was besonders für IoT- oder Remote-Bereitstellungen wichtig ist
-
Bandbreiteneinsparungen — Behält Rohdaten lokal und überträgt nur wichtige Ereignisse in die Cloud
-
Einhaltung der Vorschriften — Behält Schlussfolgerungen und Daten vor Ort bei, um regionalen Regelungen wie der Allgemeinen Datenschutzverordnung (DSGVO) und dem Health Insurance Portability and Accountability Act von 1996 (HIPAA) zu entsprechen
-
Kostenkontrolle — Minimiert die Nutzung von Cloud-Ressourcen und den Netzwerkverkehr, wo dies nicht unbedingt erforderlich ist
