このページの改善にご協力ください

このユーザーガイドに貢献するには、すべてのページの右側のペインにある「GitHub でこのページを編集する」リンクを選択してください。

Amazon EKS で Neuron デバイスを管理する

AWS Trainium と AWS Inferentia は、AWS によって設計された専用の機械学習チップです。Amazon EKS は、EKS クラスターで Neuron デバイスを管理できるように 2 つのメカニズムをサポートしています。Neuron DRA ドライバーと Neuron Kubernetes デバイスプラグインです。

Kubernetes バージョン 1.34 以降を実行している EKS クラスターで新たにデプロイする場合は、Neuron DRA ドライバーを使用することをお勧めします。Neuron DRA ドライバーは、トポロジ認識割り当て、コネクテッドデバイスサブセットスケジューリング、Logical NeuronCore (LNC) 設定、UltraServer マルチノード割り当ての機能を備えています。カスタムスケジューラ拡張機能は必要ありません。Neuron デバイスプラグインは、引き続きサポートされます。

Neuron DRA ドライバーと Neuron デバイスプラグインの比較

Neuron DRA ドライバーをインストールする

Neuron DRA ドライバーは、DeviceClass 名が neuron.aws.com である ResourceSlice オブジェクトとして Neuron デバイスをアドバタイズします。DaemonSet として実行されたこのドライバーは、Neuron デバイスとそのトポロジ属性を自動的に検出します。

Neuron DRA ドライバーの詳細については、Neuron DRA のドキュメントを参照してください。

Bottlerocket で Neuron DRA ドライバーを使用する機能は、現時点ではサポートされていません。

前提条件

手順

使用可能な ResourceSlice オブジェクト属性については、Neuron DRA のドキュメントを参照してください。

ポッドで Neuron デバイスをリクエストする

DRA ドライバーを使用して Neuron デバイスをリクエストするには、neuron.aws.com DeviceClass を参照する ResourceClaimTemplate を作成し、それをポッド仕様で参照します。

次の例では、trn2.48xlarge インスタンス上のすべての Neuron デバイスをリクエストしています。

apiVersion: resource.k8s.io/v1
kind: ResourceClaimTemplate
metadata:
  name: all-neurons
spec:
  spec:
    devices:
      requests:
      - name: neurons
        exactly:
          deviceClassName: neuron.aws.com
          selectors:
          - cel:
              expression: "device.attributes['neuron.aws.com'].instanceType == 'trn2.48xlarge'"
          allocationMode: All
---
apiVersion: v1
kind: Pod
metadata:
  name: neuron-workload
spec:
  containers:
  - name: app
    ...
    resources:
      claims:
      - name: neurons
  resourceClaims:
  - name: neurons
    resourceClaimTemplateName: all-neurons

コネクテッドデバイスサブセットを割り当てる

Neuron DRA ドライバーは、コネクテッド Neuron デバイスサブセットを割り当てることができます。Neuron スケジューラ拡張機能は必要ありません。サポートされているサブセットサイズは、1、4、8、または 16 台のデバイスです。matchAttribute 制約とトポロジグループ ID を使用して、デバイスが接続されていることを確認します。

次の例では、4 台のコネクテッド Neuron デバイスをリクエストしています。

apiVersion: resource.k8s.io/v1
kind: ResourceClaimTemplate
metadata:
  name: 1x4-connected-neurons
spec:
  spec:
    devices:
      requests:
      - name: neurons
        exactly:
          deviceClassName: neuron.aws.com
          allocationMode: ExactCount
          count: 4
          selectors:
          - cel:
              expression: "device.attributes['neuron.aws.com'].instanceType == 'trn2.48xlarge'"
      constraints:
      - requests: ["neurons"]
        matchAttribute: "resource.aws.com/devicegroup4_id"

コネクテッドサブセットにサポートされている matchAttribute 値は、resource.aws.com/devicegroup1_id、resource.aws.com/devicegroup4_id、resource.aws.com/devicegroup8_id、および resource.aws.com/devicegroup16_id です。

Logical NeuronCores (LNC) を設定する

Neuron DRA ドライバーにより、ResourceClaimTemplate パラメータを使用してワークロードごとに Logical NeuronCore を設定できます。これにより、EC2 起動テンプレートで LNC を事前設定する必要がなくなります。

次の例では、LNC が 1 に設定されているすべての Neuron デバイスをリクエストしています。

apiVersion: resource.k8s.io/v1
kind: ResourceClaimTemplate
metadata:
  name: all-neurons-lnc-1
spec:
  spec:
    devices:
      requests:
      - name: neurons
        exactly:
          deviceClassName: neuron.aws.com
          selectors:
          - cel:
              expression: "device.attributes['neuron.aws.com'].instanceType == 'trn2.48xlarge'"
          allocationMode: All
      config:
      - requests: ["neurons"]
        opaque:
          driver: neuron.aws.com
          parameters:
            apiVersion: neuron.aws.com/v1
            kind: NeuronConfig
            logicalNeuronCore: 1

Neuron Kubernetes デバイスプラグインをインストールする

Neuron Kubernetes デバイスプラグインは、Neuron デバイスを aws.amazon.com/neuron としてアドバタイズし、NeuronCores を aws.amazon.com/neuroncore 拡張リソースとしてアドバタイズします。コンテナリソースのリクエストや制限の際に Neuron デバイスをリクエストします。

前提条件

手順

テストポッドを使用して Neuron デバイスを確認する

Neuron デバイスがアクセス可能であることを確認するには、テストポッドで neuron-ls ツールを実行します。

Amazon EKS で Neuron デバイスを使用する方法の詳細については、EKS 上で実行するための Neuron のドキュメントを参照してください。