

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

# マルチモデルエンドポイントでサポートされるアルゴリズム、フレームワーク、インスタンス
<a name="multi-model-support"></a>

マルチモデルエンドポイントで使用できるアルゴリズム、フレームワーク、インスタンスタイプについては、以下のセクションを参照してください。

## CPU ベースのインスタンスを使用するマルチモデルエンドポイントでサポートされるアルゴリズム、フレームワーク、インスタンス
<a name="multi-model-support-cpu"></a>

次のアルゴリズムおよびフレームワークの推論コンテナは、マルチモデルエンドポイントをサポートしています。
+ [Amazon SageMaker AI の XGBoost アルゴリズム](xgboost.md)
+ [K 最近傍 (k-NN) アルゴリズム](k-nearest-neighbors.md)
+ [線形学習アルゴリズム](linear-learner.md)
+ [ランダムカットフォレスト (RCF) アルゴリズム](randomcutforest.md)
+ [Amazon SageMaker AI で TensorFlow を使用するためのリソース](tf.md)
+ [Amazon SageMaker AI で Scikit-learn を使用するためのリソース](sklearn.md)
+ [Amazon SageMaker AI で Apache MXNet を使用するためのリソース](mxnet.md)
+ [Amazon SageMaker AI で PyTorch を使用するためのリソース](pytorch.md)

他のフレームワークまたはアルゴリズムを使うには、SageMaker AI 推論ツールキットを使って、マルチモデルエンドポイントをサポートするコンテナを構築します。詳細については、「[SageMaker AI マルチモデルエンドポイント用の独自のコンテナを構築する](build-multi-model-build-container.md)」を参照してください。

マルチモデルエンドポイントはすべての CPU インスタンスタイプをサポートします。

## GPU ベースのインスタンスを使用するマルチモデルエンドポイントでサポートされるアルゴリズム、フレームワーク、インスタンス
<a name="multi-model-support-gpu"></a>

[SageMaker AI Triton Inference Server](https://docs.aws.amazon.com/sagemaker/latest/dg/triton.html) では、複数の GPU ベースのモデルのマルチモデルエンドポイントでのホスティングがサポートされています。これは、NVIDIA® TensorRT™、PyTorch、MXNet、Python、ONNX、XGBoost、scikit-learn、RandomForest、OpenVino、カスタムの C\$1\$1 など、すべての主要な推論フレームワークをサポートします。

他のフレームワークやアルゴリズムを使用するには、Python または C\$1\$1 用の Triton バックエンドを使用してモデルロジックを記述し、任意のカスタムモデルを提供できます。サーバーの準備が整ったら、1 つのエンドポイントに何百ものディープラーニングモデルのデプロイを開始できます。

マルチモデルエンドポイントは次の GPU インスタンスタイプをサポートします。


| インスタンスファミリー | インスタンスタイプ | vCPU | vCPU あたりのメモリ (GiB) | GPUs | GPU メモリ | 
| --- | --- | --- | --- | --- | --- | 
| p2 | ml.p2.xlarge | 4 | 15.25 | 1 | 12 | 
| p3 | ml.p3.2xlarge | 8 | 7.62 | 1 | 16 | 
| g5 | ml.g5.xlarge | 4 | 4 | 1 | 24 | 
| g5 | ml.g5.2xlarge | 8 | 4 | 1 | 24 | 
| g5 | ml.g5.4xlarge | 16 | 4 | 1 | 24 | 
| g5 | ml.g5.8xlarge | 32 | 4 | 1 | 24 | 
| g5 | ml.g5.16xlarge | 64 | 4 | 1 | 24 | 
| g4dn | ml.g4dn.xlarge | 4 | 4 | 1 | 16 | 
| g4dn | ml.g4dn.2xlarge | 8 | 4 | 1 | 16 | 
| g4dn | ml.g4dn.4xlarge | 16 | 4 | 1 | 16 | 
| g4dn | ml.g4dn.8xlarge | 32 | 4 | 1 | 16 | 
| g4dn | ml.g4dn.16xlarge | 64 | 4 | 1 | 16 | 