クラウドインスタンス

Amazon SageMaker Neo は、TensorFlow、PyTorch、MXNet などの一般的な機械学習フレームワークのコンパイルをサポートしています。コンパイルしたモデルは、クラウドインスタンスと AWS Inferentia インスタンスにデプロイできます。サポートされているフレームワークとインスタンスタイプの完全なリストについては、「サポートされるインスタンスタイプとフレームワーク」を参照してください。

モデルは、AWS CLI、SageMaker AI コンソール、または SageMaker AI SDK for Python を使う 3 つの方法のいずれかでコンパイルできます。詳細については、「Neo を使ってモデルをコンパイル」を参照してください。コンパイル後、モデルアーティファクトは、コンパイルジョブ中に指定した Amazon S3 バケット URI に保存されます。コンパイルしたモデルは、SageMaker AI SDK for Python、AWS SDK for Python (Boto3)、AWS CLI、または AWS コンソールを使って、クラウドインスタンスと AWS Inferentia インスタンスにデプロイできます。

AWS CLI、コンソール、または Boto3 を使ってモデルをデプロイする場合、プライマリコンテナの Docker イメージの Amazon ECR URI を選択する必要があります。Amazon ECR URI のリストについては、「Neo の推論コンテナイメージ」を参照してください。