翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

SageMaker HyperPod クラスターで AMI バージョンを更新する

Amazon SageMaker HyperPod Amazon マシンイメージ (AMI) は、分散機械学習ワークロードと高パフォーマンスコンピューティング専用のマシンイメージです。各 AMI には、ドライバー、機械学習フレームワーク、トレーニングライブラリ、パフォーマンスモニタリングツールがプリロードされています。クラスター内の AMI バージョンを更新することで、トレーニングジョブやワークフローでこれらのコンポーネントとパッケージの最新バージョンを使用できます。

クラスター内の AMI バージョンを更新する場合、更新をすぐに処理するか、1 回限りの更新をスケジュールするか、cron 式を使用して定期的なスケジュールを作成するかを選択できます。インスタンスグループ内のすべてのインスタンスを更新するか、インスタンスのバッチのみを更新するかを選択することもできます。バッチ更新を選択した場合は、SageMaker AI が一度にアップグレードするインスタンスの割合または量を設定します。この更新方法を使用する場合は、SageMaker AI がバッチ間で待機する間隔を設定します。

バッチで更新することを選択した場合は、アラームとメトリクスのリストを含めることもできます。待機間隔中、SageMaker AI はこれらのメトリクスを監視し、しきい値を超えた場合、対応するアラームは ALARM 状態になり、SageMaker AI は AMI の更新をロールバックします。自動ロールバックを使用するには、IAM 実行ロールに cloudwatch:DescribeAlarms アクセス許可が必要です。

HyperPod クラスターの各 AMI リリースの詳細については、「Amazon SageMaker HyperPod AMI」を参照してください。HyperPod リリースの全般的な詳細については、「Amazon SageMaker HyperPod リリースノート」を参照してください。

SageMaker AI API または CLI オペレーションを使用して、クラスターを更新したり、特定のクラスターのスケジュールされた更新を確認したりできます。 AWS コンソールを使用している場合は、次の手順に従います。

更新スケジュールをプログラムで作成および管理するには、次の API オペレーションを使用します。

必要なアクセス許可

Amazon EKS クラスターで Pod Disruption Budget をどのように設定したかに応じて、HyperPod はポッドをエビクションし、ノードをリリースして、AMI 更新プロセス中の更新スケジューリングをブロックします。中断量の制約に違反した場合、HyperPod は AMI 更新中にそのノードをスキップします。SageMaker HyperPod がポッドを適切にエビクションするには、HyperPod サービスにリンクされたロールに必要なアクセス許可を追加する必要があります。次の yaml ファイルには、必要なアクセス許可があります。

apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRole
metadata:
  name: hyperpod-patching
rules:
- apiGroups: [""]
  resources: ["pods"]
  verbs: ["list"]
- apiGroups: [""]
  resources: ["pods/eviction"]
  verbs: ["create"]
---
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRoleBinding
metadata:
  name: hyperpod-patching
subjects:
- kind: User
  name: hyperpod-service-linked-role
roleRef:
  kind: ClusterRole
  name: hyperpod-patching
  apiGroup: rbac.authorization.k8s.io

アクセス許可を適用するには、以下のコマンドを使用します。

git clone https://github.com/aws/sagemaker-hyperpod-cli.git 

cd sagemaker-hyperpod-cli/helm_chart

helm upgrade hyperpod-dependencies HyperPodHelmChart --namespace kube-system --install

cron 式

1 回限りの更新や、特定の時刻または定期的なスケジュールで更新を設定するには、cron 式を使用します。Cron 式では、空白文字区切りの 6 つのフィールドをサポートします。6 つすべてのフィールドは必須項目です。

cron(Minutes Hours Day-of-month Month Day-of-week Year)

以下のシナリオで cron 式を使用できます。