非同期推論エンドポイントを作成する方法

SageMaker AI ホスティングサービスを使用してエンドポイントを作成するのと同じ方法で、非同期エンドポイントを作成します。

エンドポイントを作成するには、まず、CreateModel を使用してモデルアーティファクトと Docker レジストリパス (イメージ) をポイントする、モデルを作成します。次に、 を使用して設定を作成し、CreateModelAPI を使用して作成された 1 つ以上のモデルを指定してデプロイし、SageMaker AI でプロビジョニングするリソースCreateEndpointConfigを指定します。リクエストで指定したエンドポイント設定を使用して CreateEndpoint でエンドポイントを作成します。非同期エンドポイントは、UpdateEndpoint API を使用して更新できます。InvokeEndpointAsync を使って、エンドポイント ホストされているモデルとの間で推論リクエストを送受信します。エンドポイントは DeleteEndpoint API を使用して削除できます。

使用可能な SageMaker イメージの完全なリストについては、「使用可能な Deep Learning Containers イメージ」を参照してください。Docker イメージの作成方法の詳細については、「カスタム推論コードを持つコンテナ」を参照してください。