Déployez des modèles

Vous pouvez déployer le module de calcul sur des appareils en périphérie à ressources limitées en téléchargeant le modèle compilé depuis Amazon S3 sur votre périphérique, et en utilisant DLR ou AWS IoT Greengrass.

Avant de continuer, assurez-vous que votre appareil en périphérie doit être pris en charge par SageMaker Neo. Veuillez consulter Supported Frameworks, Devices, Systems, and Architectures (Cadres, périphériques, systèmes et architectures pris en charge) pour connaître les appareils en périphérie pris en charge. Assurez-vous d'avoir spécifié votre appareil en périphérie cible lors de l'envoi de la tâche de compilation. Veuillez consulter Use Neo to Compile a Model (Utiliser Neo pour compiler un modèle).

Déploiement d'un modèle compilé (DLR)

DLR est un environnement d'exécution courant compact, pour les modèles de deep learning et d'arbres de décision. DLR utilise le runtime TVM, le runtime Treelite, et NVIDIA TensorRT™, et peut inclure d'autres runtimes spécifiques au matériel. DLR fournit des API Python/C++ unifiées pour le chargement et l'exécution des modèles compilés sur divers périphériques.

Vous pouvez installer la dernière version du package DLR à l'aide de la commande pip suivante :

pip install dlr

Pour installer DLR sur des cibles GPU ou des appareils en périphérie non x86, veuillez consulter Releases (Versions) pour les binaires préconçus, ou Installing DLR (Installation de DLR) pour créer DLR à partir d'une source. Par exemple, pour installer un DLR pour Raspberry Pi 3, vous pouvez utiliser :

pip install https://neo-ai-dlr-release.s3-us-west-2.amazonaws.com/v1.3.0/pi-armv7l-raspbian4.14.71-glibc2_24-libstdcpp3_4/dlr-1.3.0-py3-none-any.whl

Déploiement d'un modèle (AWS IoT Greengrass)

AWS IoT Greengrass étend les capacités du cloud aux périphériques locaux. Il permet aux appareils de collecter et d'analyser les données plus près de la source des informations, de réagir de manière autonome aux événements locaux et de communiquer en toute sécurité sur les réseaux locaux. AWS IoT Greengrass vous permet d'exécuter l'inférence de machine learning en périphérie sur des données générées localement à l'aide de modèles entraînés dans le cloud. Actuellement, vous pouvez déployer des modèles sur tous les périphériques AWS IoT Greengrass basés sur les processeurs ARM Cortex-A, Intel Atom et Nvidia Jetson. Pour de plus amples informations sur le déploiement d'une application d'inférence Lambda pour exécuter des inférences de machine learning avec AWS IoT Greengrass, veuillez consulter How to configure optimized machine learning inference using the AWS Management Console.