Bantu meningkatkan halaman ini

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Untuk berkontribusi pada panduan pengguna ini, pilih GitHub tautan Edit halaman ini di yang terletak di panel kanan setiap halaman.

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Kelola perangkat Neuron di Amazon EKS

AWS Trainium dan AWS Inferentia adalah chip pembelajaran mesin yang dibuat khusus yang dirancang oleh. AWS Amazon EKS mendukung dua mekanisme untuk mengelola perangkat Neuron di cluster EKS: driver Neuron DRA dan plugin perangkat Neuron Kubernetes.

Sebaiknya gunakan driver DRA untuk penerapan baru dengan Kubernetes versi 1.34 dan yang lebih baru saat menggunakan penyediaan kapasitas statis di Karpenter, grup node terkelola EKS, atau node yang dikelola sendiri. DRA saat ini tidak didukung dengan Mode Otomatis EKS. Driver Neuron DRA menyediakan alokasi sadar topologi, penjadwalan subset perangkat yang terhubung, konfigurasi Logis NeuronCore (LNC), dan alokasi UltraServer multi-node tanpa memerlukan ekstensi penjadwal khusus.

Driver Neuron DRA vs plugin perangkat Neuron

Instal driver Neuron DRA

Driver Neuron DRA mengiklankan perangkat Neuron sebagai ResourceSlice objek dengan DeviceClass namaneuron.aws.com. Driver berjalan sebagai DaemonSet a dan secara otomatis menemukan perangkat Neuron dan atribut topologinya.

Informasi terperinci tentang driver Neuron DRA tersedia di dokumentasi Neuron DRA.

Prasyarat

Prosedur

Lihat dokumentasi Neuron DRA untuk informasi tentang atribut ResourceSlice objek yang tersedia.

Minta perangkat Neuron di Pod

Untuk meminta perangkat Neuron menggunakan driver DRA, buat ResourceClaimTemplate yang mereferensikan neuron.aws.com DeviceClass dan mereferensikannya dalam spesifikasi Pod Anda.

Contoh berikut meminta semua perangkat Neuron pada sebuah trn2.48xlarge instance:

apiVersion: resource.k8s.io/v1
kind: ResourceClaimTemplate
metadata:
  name: all-neurons
spec:
  spec:
    devices:
      requests:
      - name: neurons
        exactly:
          deviceClassName: neuron.aws.com
          selectors:
          - cel:
              expression: "device.attributes['neuron.aws.com'].instanceType == 'trn2.48xlarge'"
          allocationMode: All
---
apiVersion: v1
kind: Pod
metadata:
  name: neuron-workload
spec:
  containers:
  - name: app
    ...
    resources:
      claims:
      - name: neurons
  resourceClaims:
  - name: neurons
    resourceClaimTemplateName: all-neurons

Alokasikan subset perangkat yang terhubung

Driver Neuron DRA dapat mengalokasikan subset perangkat Neuron yang terhubung tanpa memerlukan ekstensi penjadwal Neuron. Ukuran subset yang didukung adalah 1, 4, 8, atau 16 perangkat. Gunakan batasan matchAttribute dengan ID grup topologi untuk memastikan perangkat terhubung.

Contoh berikut meminta 4 perangkat Neuron yang terhubung:

apiVersion: resource.k8s.io/v1
kind: ResourceClaimTemplate
metadata:
  name: 1x4-connected-neurons
spec:
  spec:
    devices:
      requests:
      - name: neurons
        exactly:
          deviceClassName: neuron.aws.com
          allocationMode: ExactCount
          count: 4
          selectors:
          - cel:
              expression: "device.attributes['neuron.aws.com'].instanceType == 'trn2.48xlarge'"
      constraints:
      - requests: ["neurons"]
        matchAttribute: "resource.aws.com/devicegroup4_id"

Nilai yang didukung matchAttribute untuk himpunan bagian yang terhubung adalahresource.aws.com/devicegroup1_id,resource.aws.com/devicegroup4_id,resource.aws.com/devicegroup8_id, danresource.aws.com/devicegroup16_id. Angka dalam nama devicegroup atribut sesuai dengan jumlah perangkat Neuron dalam grup topologi yang terhubung. Misalnya, resource.aws.com/devicegroup1_id mengidentifikasi satu perangkat Neuron, resource.aws.com/devicegroup4_id mengidentifikasi sekelompok 4 perangkat yang terhubung, resource.aws.com/devicegroup8_id dan resource.aws.com/devicegroup16_id mengidentifikasi kelompok 8 dan 16 perangkat yang terhubung masing-masing. Pilih matchAttribute yang cocok dengan perangkat count dalam permintaan Anda sehingga perangkat yang dialokasikan milik grup topologi terhubung yang sama. Untuk informasi lebih lanjut tentang atribut ini, lihat dokumentasi driver Neuron DRA.

Konfigurasikan Logis NeuronCores (LNC)

Driver Neuron DRA memungkinkan NeuronCore konfigurasi Logis per beban kerja melalui ResourceClaimTemplate parameter. Ini menghilangkan kebutuhan untuk pra-mengkonfigurasi LNC di Template Peluncuran EC2.

Contoh berikut meminta semua perangkat Neuron dengan LNC disetel ke 1:

apiVersion: resource.k8s.io/v1
kind: ResourceClaimTemplate
metadata:
  name: all-neurons-lnc-1
spec:
  spec:
    devices:
      requests:
      - name: neurons
        exactly:
          deviceClassName: neuron.aws.com
          selectors:
          - cel:
              expression: "device.attributes['neuron.aws.com'].instanceType == 'trn2.48xlarge'"
          allocationMode: All
      config:
      - requests: ["neurons"]
        opaque:
          driver: neuron.aws.com
          parameters:
            apiVersion: neuron.aws.com/v1
            kind: NeuronConfig
            logicalNeuronCore: 1

Alokasikan perangkat Neuron dengan antarmuka EFA yang selaras

Lihat Topology-aware EFA dan alokasi GPU/Neuron perangkat

Instal plugin perangkat Neuron Kubernetes

Plugin perangkat Neuron Kubernetes mengiklankan perangkat Neuron sebagai aws.amazon.com/neuron dan NeuronCores sebagai sumber daya yang diperluas. aws.amazon.com/neuroncore Anda meminta perangkat Neuron dalam permintaan dan batasan sumber daya kontainer.

Prasyarat

Prosedur

Verifikasi perangkat Neuron dengan Pod uji

Anda dapat memverifikasi bahwa perangkat Neuron dapat diakses dengan menjalankan neuron-ls alat di Pod uji.

Untuk informasi selengkapnya tentang menggunakan perangkat Neuron dengan Amazon EKS, lihat dokumentasi Neuron untuk menjalankan EKS.