모델 배포

Amazon S3에서 컴파일된 모델을 디바이스로 다운로드하고 DLR을 사용하여 리소스가 제한된 엣지 디바이스에 컴퓨팅 모듈을 배포하거나, AWS IoT Greengrass를 사용할 수 있습니다.

계속 진행하기 전에 SageMaker Neo가 엣지 디바이스를 지원해야 하는지 확인하세요. 지원되는 엣지 디바이스를 알아보려면 지원되는 프레임워크, 디바이스, 시스템, 아키텍처를 참고하세요. 컴파일 작업을 제출했을 때 대상 엣지 디바이스를 지정했는지 확인하세요. Neo를 사용하여 모델 컴파일하기를 참고하세요.

컴파일된 모델 배포(DLR)

DLR은 딥 러닝 모델 및 의사결정 트리 모델을 위한 작고 일반적인 런타임입니다. DLR은 TVM 런타임, Treelite 런타임, NVIDIA TensorRT™를 사용하며 다른 하드웨어별 런타임을 포함할 수 있습니다. DLR은 다양한 디바이스에서 컴파일된 모델을 로드하고 실행하기 위한 통합 Python/C++ API를 제공합니다.

다음 pip 명령을 사용하여 DLR 패키지의 최신 릴리스를 설치할 수 있습니다.

pip install dlr

GPU 대상 또는 x86이 아닌 엣지 디바이스에 DLR을 설치하려면 사전 빌드된 바이너리에 대한 릴리스 또는 소스에서 DLR을 빌드하기 위한 DLR 설치를 참고하세요. 예를 들어, Raspberry Pi 3용 DLR을 설치하려면 다음을 사용할 수 있습니다.

pip install https://neo-ai-dlr-release.s3-us-west-2.amazonaws.com/v1.3.0/pi-armv7l-raspbian4.14.71-glibc2_24-libstdcpp3_4/dlr-1.3.0-py3-none-any.whl

모델 배포(AWS IoT Greengrass)

AWS IoT Greengrass는 클라우드 기능을 로컬 디바이스로 확장합니다. 이를 통해 디바이스는 정보 소스에 더 가까운 데이터를 수집 및 분석하고, 로컬 이벤트에 자율적으로 반응하고, 로컬 네트워크에서 서로 안전하게 통신할 수 있습니다. AWS IoT Greengrass를 사용하면 클라우드 훈련 모델을 사용하여 로컬 방식으로 생성된 데이터의 엣지에서 ML(Machine Learning) 추론을 수행할 수 있습니다. 현재 ARM Cortex-A, 인텔 Atom 및 Nvidia Jetson 시리즈 프로세서 기반의 모든 AWS IoT Greengrass 디바이스에 모델을 배포할 수 있습니다. AWS IoT Greengrass를 사용하여 기계 학습 추론을 수행하기 위해 Lambda 추론 애플리케이션 배포하는 방법에 대한 자세한 정보는 AWS 관리 콘솔을 사용한 최적화된 기계 학습 추론을 구성하는 방법을 참고하세요.