部署模型

若要將使用 Amazon SageMaker Neo 編譯的模型部署到 HTTPS 端點，您必須使用 Amazon SageMaker AI 託管服務設定並建立模型的端點。開發人員目前可以使用 Amazon SageMaker API，將模組部署至 ml.c5、ml.c4、ml.m5、ml.m4、ml.p3、ml.p2 和 ml.inf1 執行個體。

如果是 Inferentia 和 Trainium 執行個體，則需要特別針對那些執行個體編譯模型。針對其他執行個體類型編譯的模型，不保證適用於 Inferentia 或 Trainium 執行個體。

當您部署已編譯的模型時，目標使用的執行個體需要和編譯使用的執行個體相同。這會建立可用來執行推論的 SageMaker AI 端點。您可以使用下列任何一種方式部署 Neo 編譯的模型：Amazon SageMaker AI 適用於 Python 的 SDK、適用於 Python 的 SDK (Boto3)、AWS Command Line Interface，以及 SageMaker AI 主控台。