本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

# 支持多模型终端节点的算法、框架和实例
<a name="multi-model-support"></a>

有关可用于多模型端点的算法、框架和实例类型的信息，请参阅以下各部分。

## 使用 CPU 支持的实例的多模型端点所支持的算法、框架和实例
<a name="multi-model-support-cpu"></a>

以下算法和框架的推理容器支持多模型端点：
+ [使用亚马逊 AI 的 xgBoost 算法 SageMaker](xgboost.md)
+ [K-Nearest 邻居 (k-nn) 算法](k-nearest-neighbors.md)
+ [线性学习器算法](linear-learner.md)
+ [Random Cut Forest (RCF) 算法](randomcutforest.md)
+ [TensorFlow 与 Amazon A SageMaker I 配合使用的资源](tf.md)
+ [Scikit-learn 与 Amazon A SageMaker I 配合使用的资源](sklearn.md)
+ [将 Apache MXNet 与亚马逊 AI 配合使用的资源 SageMaker](mxnet.md)
+ [PyTorch 与 Amazon A SageMaker I 配合使用的资源](pytorch.md)

要使用任何其他框架或算法，请使用 SageMaker AI 推理工具包构建支持多模型端点的容器。有关信息，请参阅[为 SageMaker AI Multi-Model 终端节点构建自己的容器](build-multi-model-build-container.md)。

Multi-model 端点支持所有 CPU 实例类型。

## 使用 GPU 支持的实例的多模型端点所支持的算法、框架和实例
<a name="multi-model-support-gpu"></a>

[SageMaker AI Triton 推](https://docs.aws.amazon.com/sagemaker/latest/dg/triton.html)理服务器支持在多模型端点上托管多个 GPU 支持的模型。它支持所有主要的推理框架，例如 NVIDIA® Tensorrt™、 PyTorch MxNet、Python、ONNX、xgBoost、scikit-learn、OpenVino、自定义 C\+\+ 等。 RandomForest

要使用任何其他框架或算法，可以使用适用于 Python 或 C\+\+ 的 Triton 后端来编写模型逻辑并提供任何自定义模型。服务器准备就绪后，可以开始在一个端点后部署数以百计的深度学习模型。

Multi-model 终端节点支持以下 GPU 实例类型：


| 实例系列 | 实例类型 | vCPUs | 每个 vCPU 的内存 GiB 数量 | GPU | GPU 内存 | 
| --- | --- | --- | --- | --- | --- | 
| p2 | ml.p2.xlarge | 4 | 15.25 | 1 | 12 | 
| p3 | ml.p3.2xlarge | 8 | 7.62 | 1 | 16 | 
| g5 | ml.g5.xlarge | 4 | 4 | 1 | 24 | 
| g5 | ml.g5.2xlarge | 8 | 4 | 1 | 24 | 
| g5 | ml.g5.4xlarge | 16 | 4 | 1 | 24 | 
| g5 | ml.g5.8xlarge | 32 | 4 | 1 | 24 | 
| g5 | ml.g5.16xlarge | 64 | 4 | 1 | 24 | 
| g4dn | ml.g4dn.xlarge | 4 | 4 | 1 | 16 | 
| g4dn | ml.g4dn.2xlarge | 8 | 4 | 1 | 16 | 
| g4dn | ml.g4dn.4xlarge | 16 | 4 | 1 | 16 | 
| g4dn | ml.g4dn.8xlarge | 32 | 4 | 1 | 16 | 
| g4dn | ml.g4dn.16xlarge | 64 | 4 | 1 | 16 |