Amazon SageMaker HyperPod Essential コマンドガイド

Amazon SageMaker HyperPod は、トレーニングワークフローを管理するための広範なコマンドライン機能を提供します。このガイドでは、クラスターへの接続からジョブの進行状況のモニタリングまで、一般的なオペレーションに不可欠なコマンドについて説明します。

前提条件

これらのコマンドを使用する前に、以下のセットアップが完了していることを確認してください。

レシピ CLI をインストールする

インストールコマンドを実行する前に、レシピリポジトリのルートに移動します。

Non Forge カスタマイズ手法を使用する場合は、Hyperpodrecipes リポジトリを使用します。Forge ベースのカスタマイズについては、Forge 固有のレシピリポジトリを参照してください。

以下のコマンドを実行して、SageMaker HyperPod CLI をインストールします。

Non Forge カスタマイズ手法を使用している場合は、以下のように sagemaker-hyperpod-recipes をダウンロードします。

git clone -b release_v2 https://github.com/aws/sagemaker-hyperpod-cli.git
cd sagemaker-hyperpod-cli
pip install -e .
cd ..
root_dir=$(pwd)
export PYTHONPATH=${root_dir}/sagemaker-hyperpod-cli/src/hyperpod_cli/sagemaker_hyperpod_recipes/launcher/nemo/nemo_framework_launcher/launcher_scripts:$PYTHONPATH
curl -fsSL -o get_helm.sh https://raw.githubusercontent.com/helm/helm/main/scripts/get-helm-3
chmod 700 get_helm.sh
./get_helm.sh
rm -f ./get_helm.sh

Forge サブスクライバーの場合は、以下のプロセスを使用してレシピをダウンロードする必要があります。

mkdir NovaForgeHyperpodCLI
cd NovaForgeHyperpodCLI
aws s3 cp s3://nova-forge-c7363-206080352451-us-east-1/v1/ ./ --recursive
pip install -e .

curl -fsSL -o get_helm.sh https://raw.githubusercontent.com/helm/helm/main/scripts/get-helm-3
chmod 700 get_helm.sh
./get_helm.sh
rm -f ./get_helm.sh

目的: pip install -e . を実行する理由

このコマンドは SageMaker HyperPod CLI を編集可能モードでインストールするため、毎回再インストールすることなく更新されたレシピを使用できます。また、CLI が自動的に取得できる新しいレシピを追加することもできます。

クラスターへの接続

ジョブを実行する前に、SageMaker HyperPod CLI をクラスターに接続します。

export AWS_REGION=us-east-1 &&  SageMaker HyperPod  connect-cluster --cluster-name <your-cluster-name> --region us-east-1

プロヒント: 以下のようにコマンドに --namespace kubeflow 引数を追加することで、常に kubeflow 名前空間を使用するようにクラスターをさらに設定できます。

export AWS_REGION=us-east-1 && \
hyperpod connect-cluster \
--cluster-name <your-cluster-name> \
--region us-east-1 \
--namespace kubeflow

これにより、ジョブを操作するときにすべてのコマンドに -n kubeflow を追加する手間が省けます。

トレーニングジョブを開始する

label_selector:
  required:
    sagemaker.amazonaws.com/instance-group-name:
      - <rig_group>

オプションのパラメータオーバーライドを持つレシピを使用してトレーニングジョブを起動します。

hyperpod start-job -n kubeflow \
--recipe fine-tuning/nova/nova_1_0/nova_micro/SFT/nova_micro_1_0_p5_p4d_gpu_lora_sft \
--override-parameters '{
"instance_type": "ml.p5.48xlarge",
    "container": "708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-HP-SFT-latest"
  }'

正常な出力:

Final command: python3 <path_to_your_installation>/NovaForgeHyperpodCLI/src/hyperpod_cli/sagemaker_hyperpod_recipes/main.py recipes=fine-tuning/nova/nova_micro_p5_gpu_sft cluster_type=k8s cluster=k8s base_results_dir=/local/home/<username>/results cluster.pullPolicy="IfNotPresent" cluster.restartPolicy="OnFailure" cluster.namespace="kubeflow" container="708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:HP-SFT-DATAMIX-latest"

Prepared output directory at /local/home/<username>/results/<job-name>/k8s_templates
Found credentials in shared credentials file: ~/.aws/credentials
Helm script created at /local/home/<username>/results/<job-name>/<job-name>_launch.sh
Running Helm script: /local/home/<username>/results/<job-name>/<job-name>_launch.sh

NAME: <job-name>
LAST DEPLOYED: Mon Sep 15 20:56:50 2025
NAMESPACE: kubeflow
STATUS: deployed
REVISION: 1
TEST SUITE: None
Launcher successfully generated: <path_to_your_installation>/NovaForgeHyperpodCLI/src/hyperpod_cli/sagemaker_hyperpod_recipes/launcher/nova/k8s_templates/SFT

{
 "Console URL": "https://us-east-1.console.aws.amazon.com/sagemaker/home?region=us-east-1#/cluster-management/<your-cluster-name>"
}

ジョブステータスを確認する

kubectl を使用して実行中のジョブをモニタリングします。

kubectl get pods -o wide -w -n kubeflow | (head -n1 ; grep <your-job-name>)

ポッドのステータスについて

以下の表に、一般的なポッドのステータスを示します。

ジョブログをモニタリングする

ログは、以下の 3 つの方法のいずれかで表示できます。

CloudWatch の使用

ログは、CloudWatch の下の Hyperpodcluster を含む AWS アカウントで使用できます。ブラウザで表示するには、アカウントの CloudWatch ホームページに移動し、クラスター名を検索します。例えば、クラスターの名前が my-hyperpod-rig の場合、ロググループのプレフィックスは以下のようになります。

CloudWatch Insights を使用する

ジョブ名が手元にあり、上記のすべてのステップを実行したくない場合は、/aws/sagemaker/Clusters/my-hyperpod-rig/{UUID} のすべてのログをクエリするだけで、個々のログを検索できます。

CPT:

fields @timestamp, @message, @logStream, @log
| filter @message like /(?i)Starting CPT Job/
| sort @timestamp desc
| limit 100

ジョブ完了の場合は、Starting CPT Job を CPT Job completed に置き換えます。

次に、結果をクリックし、「Epoch 0」と表示されているものを選択できます。これがマスターノードになります。

AWSAWS CLI を使用する場合

AWS CLI を使用してログをテーリングすることもできます。これを行う前に、aws --version を使用して aws cli のバージョンを確認してください。また、ターミナルでのライブログ追跡に役立つこのユーティリティスクリプトを使用することをお勧めします

V1 の場合:

aws logs get-log-events \
--log-group-name /aws/sagemaker/YourLogGroupName \
--log-stream-name YourLogStream \
--start-from-head | jq -r '.events[].message'

V2 の場合:

aws logs tail /aws/sagemaker/YourLogGroupName \
 --log-stream-name YourLogStream \
--since 10m \
--follow

アクティブなジョブを一覧表示する

クラスターで実行されているすべてのジョブを表示します。

hyperpod list-jobs -n kubeflow

出力例:

{
  "jobs": [
    {
      "Name": "test-run-nhgza",
      "Namespace": "kubeflow",
      "CreationTime": "2025-10-29T16:50:57Z",
      "State": "Running"
    }
  ]
}

ジョブのキャンセル

実行中のジョブは、いつでも以下のコマンドで停止できます。

hyperpod cancel-job --job-name <job-name> -n kubeflow

ジョブ名を検索する

オプション 1: レシピから

ジョブ名はレシピの run ブロックで指定されます。

run:
  name: "my-test-run"                        # This is your job name
  model_type: "amazon.nova-micro-v1:0:128k"
  ...

オプション 2: list-jobs コマンドから

hyperpod list-jobs -n kubeflow を使用して、出力から Name フィールドをコピーします。

評価ジョブを実行する

評価レシピを使用して、トレーニング済みモデルまたはベースモデルを評価します。

前提条件

評価ジョブを実行する前に、以下を確認してください。

コマンド

以下のコマンドを実行して、評価ジョブを開始します。

hyperpod start-job -n kubeflow \
  --recipe evaluation/nova/nova_2_0/nova_lite/nova_lite_2_0_p5_48xl_gpu_bring_your_own_dataset_eval \
  --override-parameters '{
    "instance_type": "p5.48xlarge",
    "container": "708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-HP-Eval-latest",
    "recipes.run.name": "<your-eval-job-name>",
    "recipes.run.model_name_or_path": "<checkpoint-s3-uri>",
    "recipes.run.output_s3_path": "s3://<your-bucket>/eval-results/",
    "recipes.run.data_s3_path": "s3://<your-bucket>/eval-data.jsonl"
  }'

パラメータの説明:

ヒント:

評価データ形式

入力形式 (JSONL):

{
  "metadata": "{key:4, category:'apple'}",
  "system": "arithmetic-patterns, please answer the following with no other words: ",
  "query": "What is the next number in this series? 1, 2, 4, 8, 16, ?",
  "response": "32"
}

出力形式:

{
  "prompt": "[{'role': 'system', 'content': 'arithmetic-patterns, please answer the following with no other words: '}, {'role': 'user', 'content': 'What is the next number in this series? 1, 2, 4, 8, 16, ?'}]",
  "inference": "['32']",
  "gold": "32",
  "metadata": "{key:4, category:'apple'}"
}

フィールドの説明:

一般的な問題