本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

Amazon SageMaker AI 中的推論管道

推論管道是一種由兩個到十五個直線順序容器構成的 Amazon SageMaker AI 模型，可處理資料推論的請求。您可以使用推論管道定義和部署任意的演算法組合，包括預先訓練的 SageMaker AI 內建演算法。以及您自己封裝在 Docker 容器中的自訂演算法。您可以使用推論管道來合併預先處理、預測及後續處理資料科學任務。推論管道是全受管。

您可以新增 SageMaker AI Spark ML Serving 和 scikit-learn 容器，重複使用針對訓練模型開發的資料轉換器。整個組合的推論管道可視為 SageMaker AI 模型，可用來進行即時預測或直接處理批次轉換，完全不需要任何外部預先處理。

在推論管道模型內，SageMaker AI 會將調用當成一系列 HTTP 請求來處理。管道中的第一個容器處理最初的請求，然後將中間的回應當作請求傳送給第二個容器，以此類推，遍及管道中的每個容器。SageMaker AI 會將最終回應傳回用戶端。

您部署管道模型時，SageMaker AI 會在端點或轉換任務中，於每個 Amazon Elastic Compute Cloud (Amazon EC2) 執行個體安裝和執行所有容器。特徵處理和推論以低延遲執行，因為容器共置於同一個 EC2 執行個體。您可以使用 CreateModel 操作或從主控台，定義適用於管道模型的容器。您可以使用 Containers 參數來設定構成管道的容器，而不是設定一個 PrimaryContainer。您也可以指定容器執行的順序。

管道模型是不可變的，但您可以使用 UpdateEndpoint 操作來開發新的模型，以更新推論管道。本模組化在試驗期間支援更大的靈活性。

如需有關如何使用 SageMaker 模型註冊庫建立推論管道的資訊，請參閱使用模型註冊庫進行模型註冊部署。

使用這項功能無須額外成本。您只需為端點上執行的執行個體付費。

推論管道的範例筆記本

如需示範如何建立和部署推論管道的範例，請參閱具有 Scikit-learn 和線性學習程式的推論管道範例筆記本。如需建立和存取您可以用來在 SageMaker AI 執行範例的 Jupyter 筆記本執行個體說明，請參閱Amazon SageMaker 筆記本執行個體。

若要查看所有 SageMaker AI 範例的清單，請在建立並開啟筆記本執行個體後，選擇 SageMaker AI 範例標籤。有三個推論管道筆記本。剛說明的前兩個推論管道筆記本位於 advanced_functionality 資料夾，第三個筆記本則位於 sagemaker-python-sdk 資料夾。若要開啟筆記本，請選擇其使用標籤，然後選擇建立複本。