Bereitstellen von Modellen

Sie können das Rechenmodul auf Edge-Geräten mit begrenzten Ressourcen bereitstellen, indem Sie: das kompilierte Modell von Amazon S3 auf Ihr Gerät herunterladen und DLR verwenden, oder Sie können AWS IoT Greengrass verwenden.

Bevor Sie fortfahren, stellen Sie sicher, dass Ihr Edge-Gerät von SageMaker Neo unterstützt werden muss. Unter Unterstützte Frameworks, Geräte, Systeme und Architekturen erfahren Sie, welche Edge-Geräte unterstützt werden. Stellen Sie sicher, dass Sie Ihr Ziel-Edge-Gerät angegeben haben, als Sie den Kompilierungsauftrag eingereicht haben. Weitere Informationen finden Sie unter Verwenden von Neo zum Kompilieren eines Modells.

Bereitstellen eines mit Neo kompilierten Modells (DLR)

DLR ist eine kompakte, gemeinsame Laufzeit für Deep-Learning-Modelle und Entscheidungsbaummodelle. DLR verwendet die TVM Runtime, Treelite Runtime und NVIDIA TensorRT™ und kann auch andere hardwarespezifische Laufzeiten enthalten. Das DLR bietet vereinheitlichte Python/C++-APIs zum Laden und Ausführen kompilierter Modelle auf verschiedenen Geräten.

Sie können die neueste Version des DLR-Pakets mit dem folgenden Pip-Befehl installieren:

pip install dlr

Informationen zur Installation von DLR auf GPU-Zielen oder Nicht-x86-Edge-Geräten finden Sie unter Versionen für vorgefertigte Binärdateien oder DLR installieren um DLR aus der Quelle zu erstellen. Um beispielsweise DLR für Raspberry Pi 3 zu installieren, können Sie Folgendes verwenden:

pip install https://neo-ai-dlr-release.s3-us-west-2.amazonaws.com/v1.3.0/pi-armv7l-raspbian4.14.71-glibc2_24-libstdcpp3_4/dlr-1.3.0-py3-none-any.whl

Ein Modell bereitstellen (AWS IoT Greengrass)

Mit AWS IoT Greengrass werden Cloudfunktionen auf lokale Geräte ausgedehnt. Greengrass ermöglicht es Geräten, Daten näher an der Informationsquelle zu erfassen und zu analysieren, selbstständig auf lokale Ereignisse zu reagieren und in lokalen Netzwerken sicher untereinander zu kommunizieren. Mit AWS IoT Greengrass können Sie in der Cloud trainierte Modelle für die ML-Inferenz am Edge mit lokal generierten Daten verwenden. Aktuell können Sie Modelle auf allen AWS IoT Greengrass-Geräten bereitstellen, die auf Prozessoren der ARM Cortex-A-, Intel Atom- und Nvidia Jetson-Serie basieren. Weitere Informationen zum Bereitstellen einer Lambda-Inferenzanwendung für ML-Inferenzen mit AWS IoT Greengrass finden Sie in AWS Durchführen von Machine-Learning-Inferenzen.