如何建立非同步推論端點 - Amazon SageMaker AI

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

如何建立非同步推論端點

以使用 SageMaker AI 託管服務建立端點的相同方式,來建立一個非同步端點:

  • 使用 CreateModel 在 SageMaker AI 中建立模型。

  • 使用 CreateEndpointConfig 建立一個端點組態。

  • 使用 CreateEndpoint 建立一個 HTTPS 端點。

若要建立端點,請先以 CreateModel 建立模型,指向模型成品和 Docker 登錄檔路徑 (映像)。然後,您可以使用 CreateEndpointConfig 建立組態,在其中指定使用 CreateModel API 建立的一個或多個要部署的模型,以及您希望 SageMaker AI 佈建的資源。以 CreateEndpoint 使用請求中指定的端點組態來建立端點。您可以使用 UpdateEndpoint API 更新非同步端點。用 InvokeEndpointAsync 從端點上託管的模型傳送和接收推論請求。您可以使用 DeleteEndpoint API 刪除端點。

有關可用 SageMaker 映像的完整清單,請參閱可用的深度學習容器映像。請參閱具有自訂推論程式碼的容器,瞭解有關如何建立 Docker 映像的資訊。