部署 Autopilot 模型以進行即時推論 - Amazon SageMaker AI
即時推論

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

部署 Autopilot 模型以進行即時推論

訓練 Amazon SageMaker Autopilot 模型後，您可以設定端點並以互動方式取得預測。下一節說明將模型部署到 SageMaker AI 即時推論端點的步驟，以從您的模型取得預測。

即時推論

即時推論非常適合您具有即時、互動、低延遲需求的推論工作負載。本節說明如何使用即時推論，以互動方式從模型取得預測。

您可以使用 SageMaker API 手動部署在 Autopilot 實驗中產生最佳驗證指標的模型，如下所示。

或者，您也可以在建立 Autopilot 實驗時選擇自動部署選項。如需設定自動部署模型的相關資訊，請參閱 CreateAutoMLJobV2 請求參數中的 ModelDeployConfig。這會自動建立端點。

注意

若要避免產生不必要的費用，您可以刪除不需要的端點和從模型部署建立的資源。如需有關依區域劃分之執行個體定價的資訊，請參閱 Amazon SageMaker 定價。

  1. 取得候選項目容器定義

    從 InferenceContainers 取得候選容器定義。推論的容器定義是指為部署和執行訓練有素的 SageMaker AI 模型以進行預測而設計的容器化環境。

    下列 AWS CLI 命令範例使用 DescribeAutoMLJobV2 API 取得最佳候選模型的候選定義。

    aws sagemaker describe-auto-ml-job-v2 --auto-ml-job-name job-name --region region

  2. 列出候選

    下列 AWS CLI 命令範例使用 ListCandidatesForAutoMLJob API 列出所有候選模型。

    aws sagemaker list-candidates-for-auto-ml-job --auto-ml-job-name <job-name> --region <region>

  3. 建立 SageMaker AI 模型

    使用先前步驟中的容器定義和您選擇的候選容器定義，透過 CreateModel API 建立 SageMaker AI 模型。請參閱下列 AWS CLI 命令作為範例。

    aws sagemaker create-model --model-name '<your-candidate-name>' \
                    --containers ['<container-definition1>, <container-definition2>, <container-definition3>]' \
                    --execution-role-arn '<execution-role-arn>' --region '<region>

  4. 建立一個端點組態

    下列 AWS CLI 命令範例使用 CreateEndpointConfig API 來建立一個端點組態。

    aws sagemaker create-endpoint-config --endpoint-config-name '<your-endpoint-config-name>' \
                    --production-variants '<list-of-production-variants>' \
                    --region '<region>'

  5. 建立端點

    下列 AWS CLI 範例會使用 CreateEndpointConfig API 來建立端點。

    aws sagemaker create-endpoint --endpoint-name '<your-endpoint-name>' \
                    --endpoint-config-name '<endpoint-config-name-you-just-created>' \
                    --region '<region>'

    使用 DescribeEndpoint API來檢查端點部署的進度。請參閱 AWS CLI 命令作為範例。

    aws sagemaker describe-endpoint —endpoint-name '<endpoint-name>' —region <region>

    EndpointStatus變更為後InService，端點即可用於即時推論。

  6. 調用端點

    下列命令結構會調用端點以進行即時推論。

    aws sagemaker invoke-endpoint --endpoint-name '<endpoint-name>' \ 
                  --region '<region>' --body '<your-data>' [--content-type] '<content-type>' <outfile>