Hosting 模式推斷裝載類型使用 config.pbtxt 設定模型組態將預設的 Triton 指標發布至 Amazon CloudWatch 環境變數

使用 Triton Inference Server 進行模型部署

Triton Inference Server 是一種開放原始碼推斷服務軟體，可簡化 AI 推斷。透過 Triton，您可以部署任何以多種深度學習及機器學習架構建立的模型，包括 TensorRT、TensorFlow、PyTorch、ONNX、OpenVINO、Python、RAPIDS FIL 等。

SageMaker AI Triton 容器可協助您在 SageMaker AI Hosting 平台部署 Triton Inference Server，以便在生產環境中為受過訓練的模型提供服務。它支援 SageMaker AI 操作的不同模式。如需 SageMaker AI 上可用的 Triton Inference Server 容器清單，請參閱 NVIDIA Triton Inference Containers (僅限 SM 支援)。

對於端對端筆記本範例，我們建議查看 amazon-sagemaker-examples 儲存庫。

Hosting 模式

Triton 容器支援下列 SageMaker AI Hosting 模式：

單一模型端點
- 這是 SageMaker AI 的預設操作模式。在此模式下，Triton 容器可以載入單一模型或單一整合模型。
- 模型的名稱必須作為容器環境的屬性傳遞，這是 CreateModel SageMaker AI API 呼叫的一部分。用來傳遞模型名稱的環境變數為 SAGEMAKER_TRITON_DEFAULT_MODEL_NAME。
具有整合的單一模型端點
- Triton Inference Server 支援整合，這是一個管線，或模型的 DAG (有向非循環圖)。雖然整合在技術上由多個模型組成，但在預設的單一模型端點模式，SageMaker AI 可以將整合本身 (代表管線的中繼模型) 視為要載入的主要模型，並隨後可以載入關聯的模型。
- 必須使用整合適當的模型名稱來載入模型。它必須作為容器環境的屬性傳遞，這是 CreateModel SageMaker API 呼叫的一部分。用來傳遞模型名稱的環境變數為 SAGEMAKER_TRITON_DEFAULT_MODEL_NAME。
多模型端點
- 在此模式下，SageMaker AI 可以在單一端點提供多個模型。您可以透過將環境變數 ‘MultiModel’: true 指定為容器環境的屬性 (屬於 CreateModel SageMaker API 呼叫的一部分) 來使用此模式。
- 依預設，執行個體啟動時不會載入任何模型。若要針對特定模型執行推斷請求，請將對應模型的 *.tar.gz 檔案指定為 InvokeEndpoint SageMaker API 呼叫 TargetModel 屬性的引數。
具有整合的多模型端點
- 在此模式下，SageMaker AI 的功能如多模型端點所述。不過，SageMaker AI Triton 容器可以載入多個整合模型，這表示多個模型管線可以在相同的執行個體執行。SageMaker AI 會將每個整合視為一個模型，並且可以透過將對應的 *.tar.gz 封存指定為 TargetModel 來調用每個模型的整合。
- 為了在動態記憶體 LOAD 及 UNLOAD 期間實現更好的記憶體管理，我們建議您將整合大小保持較小。

推斷裝載類型

Triton 支援兩種透過網路傳送推斷負載的方法–json 及 binary+json (或二進制編碼的 json)。在這兩種情況下，JSON 有效負載都包括資料類型、形狀和實際推斷請求張量。要求張量必須是二進位張量。

使用 binary+json 格式，您必須在標題指定請求中繼資料的長度，以允許 Triton 正確解析二進制有效負載。在 SageMaker AI Triton 容器中，這是使用自訂 Content-Type 標題所完成：application/vnd.sagemaker-triton.binary+json;json-header-size={}。這與在獨立的 Triton Inference Server 使用 Inference-Header-Content-Length 標題不同，因為 SageMaker AI 不允許自訂標題。

使用 config.pbtxt 設定模型組態

對於 SageMaker AI 的 Triton Inference Server ，每個模型都必須包含一個 config.pbtxt 檔案，該檔案至少必須為模型指定下列組態：

name：雖然這對於在 SageMaker AI 以外執行的模型而言是選用的，但我們建議您始終為要在 SageMaker AI 上的 Triton 執行的模型提供名稱。
platform 和/或 backend：設置後端對於指定模型的類型非常重要。某些後端有進一步的分類，例如 tensorflow_savedmodel 或 tensorflow_graphdef。除了 backend 金鑰之外，這些選項也可以指定為金鑰 platform 的一部分。最常見的後端是 tensorrt、onnxruntime、tensorflow、pytorch、python、dali、fil、以及 openvino。
input：為輸入指定三個屬性：name、data_type 及 dims (形狀)。
output：為輸出指定三個屬性：name、data_type 及 dims (形狀)。
max_batch_size：將批次大小設定為大於或等於 1 的值，表示 Triton 應與模型搭配使用的最大批次大小。

有關組態 config.pbtxt 的更多詳細資訊，請參閱 Triton 的 GitHub 儲存庫。Triton 提供了幾種用於調整模型行為的組態。一些最常見及最重要的組態選項包括：

instance_groups：執行個體群組有助於指定特定模型的數量與位置。它們具有屬性 count、kind、及 gpus (當 kind 為 KIND_GPU 時使用)。count 屬性相當於工作者數量。對於一般模型服務，每個工作者都有自己的模型副本。同樣，在 Triton 中，count 指定每個裝置的模型副本數量。例如，如果 instance_group 類型為 KIND_CPU，則 CPU 有 count 個型號副本。

注意
在 GPU 執行個體上，instance_group 組態適用於每個 GPU 裝置。例如，除非您明確指定哪些 GPU 裝置應載入模型，否則每個 GPU 裝置都會放置 count 個模型副本。
dynamic_batching 及 sequence_batching：動態批處理用於無狀態模型，序列批處理用於有狀態模型 (您希望每次都將請求路由到相同的模型執行個體)。批次處理排程器會啟用每個模型的佇列，這有助於提高輸送量，具體取決於批次設定。
ensemble：整合模型表示一個或多個模型的管線以及這些模型之間輸入和輸出張量的連接。可以透過將 platform 指定為 ensemble 來設定。整合組態只是模型管線的表示。在 SageMaker AI 上，整合下的所有模型都會被視為整合模型的相依物件，並被視為 SageMaker AI 指標 (例如 LoadedModelCount) 的單一模型。

將預設的 Triton 指標發布至 Amazon CloudWatch

NVIDIA Triton Inference Container 在連接埠 8002 (可設定) 公開 Triton Inference Server 使用的不同模型及 GPU 指標。如需可用預設指標的完整詳細資訊，請參閱 Triton Inference Server 指標的 GitHub 頁面。這些指標採用 Prometheus 格式，可以使用 Prometheus 抓取器組態進行抓取。

從版本 v23.07 開始，SageMaker AI Triton 容器支援透過指定一些環境變數將這些指標發布到 Amazon CloudWatch。為了抓取 Prometheus 指標，SageMaker AI Triton 容器利用 Amazon CloudWatch 代理程式。

您必須指定收集指標所需的環境變數如下：

環境變數	描述	範例值
`SAGEMAKER_TRITON_ALLOW_METRICS`	指定此選項可允許 Triton 將指標發布至其 Prometheus 端點。	“true”
`SAGEMAKER_TRITON_PUBLISH_METRICS_TO_CLOUDWATCH`	指定此選項以啟動將指標發布到 Amazon CloudWatch 所需的預先檢查。	“true”
`SAGEMAKER_TRITON_CLOUDWATCH_LOG_GROUP`	指定此選項可指向要寫入測量結果的日誌群組。	"/aws/SageMaker AI/Endpoints/TritonMetrics/SageMakerTwoEnsemblesTest"
`SAGEMAKER_TRITON_CLOUDWATCH_METRIC_NAMESPACE`	指定此選項可指向您要查看並繪製指標的指標命名空間。	"/aws/SageMaker AI/Endpoints/TritonMetrics/SageMakerTwoEnsemblesPublicTest"
`SAGEMAKER_TRITON_METRICS_PORT`	將此連接埠指定為 8002 或任何其他連接埠。如果 SageMaker AI 尚未封鎖指定的連接埠，則會使用該連接埠。否則，會自動選擇另一個未封鎖的連接埠。	“8002”

使用 Triton 在 SageMaker AI 上發布指標時，請記住下列限制：

雖然您可以透過 C-API 與 Python 後端 (v23.05 版以後) 產生自訂指標，但目前不支援將這些指標發布到 Amazon CloudWatch。
在 SageMaker AI 多模型端點 (MME) 模式中，Triton 在需要啟用模型命名空間的環境中執行，因為每個模型 (整合模型除外) 都被視為位於自己的模型儲存庫中。目前，這對指標造成了限制。啟用模型命名空間時，Triton 不會區分屬於不同整合的兩個具有相同名稱的模型之間的指標。因應措施是確保所部署的每個模型都有唯一的名稱。這也使得您可以更輕鬆地在 CloudWatch 找到指標。

環境變數

下表列出 SageMaker AI 上 Triton 支援的環境變數。

環境變數	描述	類型	可能的值
`SAGEMAKER_MULTI_MODEL`	允許 Triton 在 SageMaker AI 多模型端點模式下操作。	Boolean	`true`, `false`
`SAGEMAKER_TRITON_DEFAULT_MODEL_NAME`	指定要在 SageMaker AI 單一模型 (預設) 模式中載入的模型。對於整合模式，請指定適當的整合名稱。	字串	config.pbtxt 中指定的 `<model_name>`
`SAGEMAKER_TRITON_PING_MODE`	`'ready'` 是 SageMaker AI 單一模型模式的預設模式，且 `'live'` 是 SageMaker AI 的多模型端點模式的預設模式。	字串	`ready`, `live`
`SAGEMAKER_TRITON_DISABLE_MODEL_NAMESPACING`	在 SageMaker AI Triton 容器，預設為 `true`。	Boolean	`true`, `false`
`SAGEMAKER_BIND_TO_PORT`	在 SageMaker AI 上時，預設連接埠為 8080。您可以在多容器案例中自訂不同的連接埠。	字串	`<port_number>`
`SAGEMAKER_SAFE_PORT_RANGE`	這是使用多容器模式時由 SageMaker AI 平台所設定。	字串	`<port_1>`–`<port_2>`
`SAGEMAKER_TRITON_ALLOW_GRPC`	雖然 SageMaker AI 目前不支援 GRPC，但如果您在自訂反向代理伺服器之前使用 Triton，您可以選擇啟用 GRPC。	Boolean	`true`, `false`
`SAGEMAKER_TRITON_GRPC_PORT`	GRPC 的預設連接埠是 8001，但您可以變更它。	字串	`<port_number>`
`SAGEMAKER_TRITON_THREAD_COUNT`	您可以設定預設 HTTP 請求處理常式執行緒的數量。	字串	`<number>`
`SAGEMAKER_TRITON_LOG_VERBOSE`	SageMaker AI 依預設為 `true`，但您可以選擇性關閉此選項。	Boolean	`true`, `false`
`SAGEMAKER_TRITON_LOG_INFO`	SageMaker AI 預設為 `false`。	Boolean	`true`, `false`
`SAGEMAKER_TRITON_LOG_WARNING`	SageMaker AI 預設為 `false`。	Boolean	`true`, `false`
`SAGEMAKER_TRITON_LOG_ERROR`	SageMaker AI 預設為 `false`。	Boolean	`true`, `false`
`SAGEMAKER_TRITON_SHM_DEFAULT_BYTE_SIZE`	指定 Python 後端的 shm 大小 (以位元組為單位)。預設值為 16 MB，但可以增加。	字串	`<number>`
`SAGEMAKER_TRITON_SHM_GROWTH_BYTE_SIZE`	指定 Python 後端的 shm 增長大小 (以位元組為單位)。預設值為 1 MB，但可增加以允許更大的增量。	字串	`<number>`
`SAGEMAKER_TRITON_TENSORFLOW_VERSION`	預設值為 `2`。從 Triton v23.04 開始，Triton 不再支援 Tensorflow 2。您可以為舊版本設定此變數。	字串	`<number>`
`SAGEMAKER_TRITON_MODEL_LOAD_GPU_LIMIT`	限制用於模型載入的 GPU 記憶體百分比上限，允許其餘部分用於推斷請求。	字串	`<number>`
`SAGEMAKER_TRITON_ALLOW_METRICS`	SageMaker AI 預設為 `false`。	Boolean	`true`, `false`
`SAGEMAKER_TRITON_METRICS_PORT`	預設連接埠為 8002。	字串	`<number>`
`SAGEMAKER_TRITON_PUBLISH_METRICS_TO_CLOUDWATCH`	SageMaker AI 預設為 `false`。將此變數設為 `true` 以允許將 Triton 預設指標推送至 Amazon CloudWatch。如果啟用此選項，則當指標發布到您的帳戶時，您需負擔 CloudWatch 費用。	Boolean	`true`, `false`
`SAGEMAKER_TRITON_CLOUDWATCH_LOG_GROUP`	如果您已啟用指標發布到 CloudWatch，則需要此選項。	字串	`<cloudwatch_log_group_name>`
`SAGEMAKER_TRITON_CLOUDWATCH_METRIC_NAMESPACE`	如果您已啟用指標發布到 CloudWatch，則需要此選項。	字串	`<cloudwatch_metric_namespace>`
`SAGEMAKER_TRITON_ADDITIONAL_ARGS`	在啟動 Triton Server 時附加的任何其他引數。	字串	`<additional_args>`

您的瀏覽器已停用或無法使用 Javascript。

您必須啟用 Javascript，才能使用 AWS 文件。請參閱您的瀏覽器說明頁以取得說明。

文件慣用形式

使用 DJL Serving 部署模型

在邊緣部署模型