Neptune ML ステージのインスタンス選択

Neptune ML 処理のさまざまなステージでは、異なる SageMaker AI インスタンスが使用されます。ここでは、ステージごとに適切なインスタンスタイプを選択する方法について説明します。SageMaker AI インスタンスタイプと価格については、「Amazon SageMaker の料金」を参照してください。

データ処理用のインスタンスの選択

SageMaker AI データ処理ステップには入力、中間、および出力データを格納するための十分なメモリとディスクストレージがある処理インスタンスを要します。必要なメモリとディスクストレージの特定の量は、Neptune ML グラフの特性とエクスポートされた機能によって異なります。

デフォルトでは、Neptune ML は、ディスク上にエクスポートされたグラフデータのサイズの 10 倍のメモリを持つ最も小さい ml.r5 インスタンスを選択します。。

モデルトレーニングとモデル変換のインスタンスの選択

タスクタイプ、グラフサイズ、およびターンアラウンド要件によって異なる、モデルトレーニングまたはモデルの変換の適切なインスタンスタイプの選択。GPU インスタンスは、最高のパフォーマンスを提供します。一般的に p3 および g4dn シリアルインスタンスを推奨します。また、p2 または p4d インスタンスもご使用いただけます。

デフォルトでは、Neptune ML はモデルトレーニングとモデル変換が必要とするよりも多くのメモリを持つ最小の GPU インスタンスを選択します。その選択内容については、Amazon S3 データ処理の出力場所に格納されている train_instance_recommendation.json ファイルに説明されています。この train_instance_recommendation.json ファイルの内容の例を示します。

{ 
  "instance":     "(the recommended instance type for model training and transform)",
  "cpu_instance": "(the recommended instance type for base processing instance)", 
  "disk_size":    "(the estimated disk space required)",
  "mem_size":     "(the estimated memory required)"
}

推論エンドポイントのインスタンスを選択する

タスクタイプ、グラフサイズ、予算に応じた推論エンドポイントに適切なインスタンスタイプの選択。デフォルトでは、Neptune ML は推論エンドポイントが必要とするメモリが多い最小の ml.m5d インスタンスを選択します。

Neptune ML が推奨するインスタンスタイプは、モデルトレーニングに使用している Amazon S3 の場所にある infer_instance_recommendation.json ファイルに記載されています。このファイルの内容例を示します。

{ 
  "instance" :   "(the recommended instance type for an inference endpoint)",
  "disk_size" :  "(the estimated disk space required)",
  "mem_size" :   "(the estimated memory required)"
}