翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

Amazon SageMaker AI がトレーニング情報を提供する方法

このセクションでは、SageMaker AI がトレーニングデータ、ハイパーパラメータ、その他の設定情報などのトレーニング情報を Docker コンテナで利用できるようにする方法について説明します。

SageMaker AI にモデルトレーニングを開始するCreateTrainingJobリクエストを送信するときは、トレーニングアルゴリズムを含む Docker イメージの Amazon Elastic Container Registry (Amazon ECR) パスを指定します。トレーニングデータが保存される Amazon Simple Storage Service (Amazon S3) の場所とアルゴリズム固有のパラメータも指定します。SageMaker AI は、トレーニングアルゴリズムがこの情報を使用できるように、この情報を Docker コンテナで利用できるようにします。このセクションでは、この情報を Docker コンテナで利用できるようにする方法を説明します。トレーニングジョブの作成方法については、「CreateTrainingJob」を参照してください。SageMaker AI コンテナが情報を整理する方法の詳細については、「」を参照してくださいSageMaker トレーニングおよび推論ツールキット。

ハイパーパラメータ

SageMaker AI は、CreateTrainingJobリクエスト内のハイパーパラメータを /opt/ml/input/config/hyperparameters.jsonファイルの Docker コンテナで利用できるようにします。

以下は、XGBoost の CreateTrainingJob 操作で num_round と eta ハイパーパラメータを指定するための hyperparameters.json のハイパーパラメータ設定の例です。

{
    "num_round": "128",
    "eta": "0.001"
}            

SageMaker AI 組み込み XGBoost アルゴリズムに使用できるハイパーパラメータの完全なリストについては、XGBoost ハイパーパラメータ」を参照してください。

調整できるハイパーパラメータは、トレーニングするアルゴリズムによって異なります。SageMaker AI 組み込みアルゴリズムで使用できるハイパーパラメータのリストについては、「Amazon SageMaker AI 組み込みアルゴリズムまたは事前トレーニング済みモデルを使用する」のアルゴリズムリンクの下にあるハイパーパラメータにリストされているハイパーパラメータを見つけます Amazon SageMaker。

環境可変

SageMaker AI は、コンテナに次の環境変数を設定します。

入力データ設定

SageMaker AI は、CreateTrainingJobリクエストの InputDataConfigパラメータのデータチャネル情報を Docker コンテナの /opt/ml/input/config/inputdataconfig.json ファイルで利用できるようにします。

例えば、3 つのデータチャネル (train、evaluation、validation) をリクエストで指定するとします。SageMaker AI には次の JSON が用意されています。

{
  "train" : {"ContentType":  "trainingContentType",
             "TrainingInputMode": "File",
             "S3DistributionType": "FullyReplicated",
             "RecordWrapperType": "None"},
  "evaluation" : {"ContentType":  "evalContentType",
                  "TrainingInputMode": "File",
                  "S3DistributionType": "FullyReplicated",
                  "RecordWrapperType": "None"},
  "validation" : {"TrainingInputMode": "File",
                  "S3DistributionType": "FullyReplicated",
                  "RecordWrapperType": "None"}
} 

トレーニングデータ

CreateTrainingJob リクエストの AlgorithmSpecification にある TrainingInputMode パラメータでトレーニングのデータセットを使用可能にする方法を指定します。次の入力モードを使用できます。

SageMaker AI モデルトレーニングは、ファイルモード、高速ファイルモード、パイプモードのデータ入力場所として、高性能な S3 Express One Zone ディレクトリバケットをサポートします。S3 Express One Zone を使用するには、Amazon S3 汎用バケットの代わりに、S3 Express One Zone ディレクトリバケットの場所を入力します。IAM ロールの ARN に、必要なアクセスコントロールとアクセス許可ポリシーを指定します。詳細については、「AmazonSageMakerFullAccesspolicy」を参照してください。SageMaker AI 出力データは、Amazon S3 マネージドキー (SSE-S3) によるサーバー側の暗号化でのみディレクトリバケットで暗号化できます。 AWS KMS キーによるサーバー側の暗号化 (SSE-KMS) は現在、SageMaker AI 出力データをディレクトリバケットに保存するためにサポートされていません。詳細については、「S3 Express One Zone」を参照してください。

分散型トレーニング設定

複数のコンテナで分散トレーニングを実行する場合、SageMaker AI はすべてのコンテナに関する情報を /opt/ml/input/config/resourceconfig.json ファイルで利用できるようにします。

コンテナ間通信を有効にするために、この JSON ファイルにはすべてのコンテナに関する情報が含まれます。SageMaker AI は、このファイルを Fileと Pipe モードアルゴリズムの両方で利用できるようにします。ファイルは以下の情報を提供します。

3 ノードクラスターのノード 1 のファイル例を次に示します。

{
    "current_host": "algo-1",
    "hosts": ["algo-1","algo-2","algo-3"],
    "network_interface_name":"eth1"
}