Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Menggunakan pelatihan elastis di Amazon SageMaker HyperPod

Pelatihan elastis adalah SageMaker HyperPod kemampuan Amazon baru yang secara otomatis menskalakan pekerjaan pelatihan berdasarkan ketersediaan sumber daya komputasi dan prioritas beban kerja. Pekerjaan pelatihan elastis dapat dimulai dengan sumber daya komputasi minimum yang diperlukan untuk pelatihan model dan secara dinamis menskalakan naik atau turun melalui pos pemeriksaan otomatis dan dimulainya kembali di berbagai konfigurasi node (ukuran dunia). Penskalaan dicapai dengan secara otomatis menyesuaikan jumlah replika data-paralel. Selama periode pemanfaatan klaster yang tinggi, pekerjaan pelatihan elastis dapat dikonfigurasi untuk secara otomatis menurunkan skala sebagai respons terhadap permintaan sumber daya dari pekerjaan dengan prioritas lebih tinggi, membebaskan komputasi untuk beban kerja kritis. Ketika sumber daya habis selama periode di luar puncak, pekerjaan pelatihan elastis secara otomatis menskalakan kembali untuk mempercepat pelatihan, lalu turunkan kembali ketika beban kerja dengan prioritas lebih tinggi membutuhkan sumber daya lagi.

Pelatihan elastis dibangun di atas operator HyperPod pelatihan dan mengintegrasikan komponen-komponen berikut:

Kerangka kerja yang didukung

Prasyarat

SageMaker HyperPod Kluster EKS

Anda harus memiliki SageMaker HyperPod cluster yang berjalan dengan orkestrasi Amazon EKS. Untuk informasi tentang membuat kluster HyperPod EKS, lihat:

SageMaker HyperPod Operator Pelatihan

Pelatihan Elastis didukung dalam pelatihan operator v. 1.2 dan di atas.

Untuk menginstal operator pelatihan sebagai add-on EKS, lihat: https://docs.aws.amazon.com/sagemaker/latest/dg/sagemaker- .html eks-operator-install

(Disarankan) Instal dan konfigurasikan Task Governance dan Kueue

Kami merekomendasikan menginstal dan mengonfigurasi Kueue melalui HyperPod Tata Kelola Tugas untuk menentukan prioritas beban kerja dengan pelatihan elastis. Kueue menyediakan manajemen beban kerja yang lebih kuat dengan antrian, prioritas, penjadwalan geng, pelacakan sumber daya, dan preemption yang anggun yang penting untuk beroperasi di lingkungan pelatihan multi-penyewa.

Sebaiknya konfigurasi komponen Kueue berikut:

Untuk pengaturan yang lebih lanjut, Anda juga dapat memasukkan:

Silakan merujuk ke:

(Disarankan) Siapkan ruang nama pengguna dan kuota sumber daya

Saat menerapkan fitur ini di Amazon EKS, kami sarankan untuk menerapkan serangkaian konfigurasi tingkat klaster dasar untuk memastikan isolasi, keadilan sumber daya, dan konsistensi operasional di seluruh tim.

Namespace dan Konfigurasi Akses

Atur beban kerja Anda menggunakan ruang nama terpisah untuk setiap tim atau proyek. Ini memungkinkan Anda untuk menerapkan isolasi dan tata kelola yang halus. Kami juga merekomendasikan untuk mengonfigurasi pemetaan AWS IAM ke Kubernetes RBAC untuk mengaitkan pengguna atau peran IAM individu dengan ruang nama yang sesuai.

Praktik utama meliputi:

Kendala Sumber Daya dan Komputasi

Untuk mencegah perselisihan sumber daya dan memastikan penjadwalan yang adil di seluruh tim, terapkan kuota dan batasan di tingkat namespace:

Kendala ini membantu menjaga stabilitas klaster dan mendukung penjadwalan yang dapat diprediksi untuk beban kerja pelatihan terdistribusi.

Penskalaan otomatis

SageMaker HyperPod pada EKS mendukung penskalaan otomatis cluster melalui Karpenter. Ketika Karpenter atau penyedia sumber daya serupa digunakan bersama dengan pelatihan elastis, cluster serta pekerjaan pelatihan elastis dapat ditingkatkan secara otomatis setelah pekerjaan pelatihan elastis diserahkan. Ini karena operator pelatihan elastis mengambil pendekatan serakah, selalu meminta lebih dari sumber daya komputasi yang tersedia hingga mencapai batas maksimum yang ditetapkan oleh pekerjaan. Hal ini terjadi karena operator pelatihan elastis terus meminta sumber daya tambahan sebagai bagian dari eksekusi pekerjaan elastis, yang dapat memicu penyediaan node. Penyedia sumber daya berkelanjutan seperti Karpenter akan melayani permintaan dengan meningkatkan cluster komputasi.

Agar peningkatan skala ini dapat diprediksi dan terkendali, kami sarankan untuk mengonfigurasi tingkat ruang nama ResourceQuotas di ruang nama tempat pekerjaan pelatihan elastis dibuat. ResourceQuotas membantu membatasi sumber daya maksimum yang dapat diminta pekerjaan, mencegah pertumbuhan klaster yang tidak terbatas sambil tetap mengizinkan perilaku elastis dalam batas yang ditentukan.

Misalnya, ResourceQuota untuk 8 ml.p5.48xlarge instance akan memiliki bentuk berikut:

apiVersion: v1
kind: ResourceQuota
metadata:
  name: <quota-name>
  namespace: <namespace-name>
spec:
  hard:
    nvidia.com/gpu: "64"
    vpc.amazonaws.com/efa: "256"
    requests.cpu: "1536"
    requests.memory: "5120Gi"
    limits.cpu: "1536"
    limits.memory: "5120Gi"
      

Bangun Wadah Pelatihan

HyperPod operator pelatihan bekerja dengan PyTorch peluncur khusus yang disediakan melalui paket python Agen HyperPod Elastis (https://www.piwheels. org/project/hyperpod-agen-elastis/). Pelanggan harus menginstal agen elastis dan mengganti torchrun perintah dengan hyperpodrun untuk meluncurkan pelatihan. Untuk lebih jelasnya, silakan lihat:

https://docs.aws.amazon.com/sagemaker/latest/dg/sagemaker- eks-operator-install .html# sagemaker-eks-operator-elastic -agen

Contoh wadah pelatihan:

FROM ...

...

RUN pip install hyperpod-elastic-agent
ENTRYPOINT ["entrypoint.sh"]

# entrypoint.sh ...
hyperpodrun --nnodes=node_count --nproc-per-node=proc_count \
  --rdzv-backend hyperpod \
 # Optional ...
 # Other torchrun args
 # pre-traing arg_group
 --pre-train-script pre.sh --pre-train-args "pre_1 pre_2 pre_3" \
 # post-train arg_group
 --post-train-script post.sh --post-train-args "post_1 post_2 post_3" \
 training.py --script-args
  

Modifikasi kode pelatihan

SageMaker HyperPod menyediakan satu set resep yang sudah dikonfigurasi untuk dijalankan dengan Kebijakan Elastis.

Untuk mengaktifkan pelatihan elastis untuk skrip PyTorch pelatihan khusus, Anda perlu melakukan modifikasi kecil pada loop pelatihan Anda. Panduan ini memandu Anda melalui modifikasi yang diperlukan untuk memastikan pekerjaan pelatihan Anda merespons peristiwa penskalaan elastis yang terjadi saat ketersediaan sumber daya komputasi berubah. Selama semua peristiwa elastis (misalnya, node tersedia, atau node didahului), pekerjaan pelatihan menerima sinyal peristiwa elastis yang digunakan untuk mengoordinasikan shutdown yang anggun dengan menyimpan pos pemeriksaan, dan melanjutkan pelatihan dengan memulai kembali dari pos pemeriksaan yang disimpan dengan konfigurasi dunia baru. Untuk mengaktifkan pelatihan elastis dengan skrip pelatihan khusus, Anda perlu:

Mendeteksi Peristiwa Penskalaan Elastis

Dalam loop pelatihan Anda, periksa peristiwa elastis selama setiap iterasi:

from hyperpod_elastic_agent.elastic_event_handler import elastic_event_detected

def train_epoch(model, dataloader, optimizer, args):
    for batch_idx, batch_data in enumerate(dataloader):
        # Forward and backward pass
        loss = model(batch_data).loss
        loss.backward()
        optimizer.step()
        optimizer.zero_grad()

        # Handle checkpointing and elastic scaling
        should_checkpoint = (batch_idx + 1) % args.checkpoint_freq == 0
        elastic_event = elastic_event_detected()
        
        # Save checkpoint if scaling-up or scaling down job
        if should_checkpoint or elastic_event:
            save_checkpoint(model, optimizer, scheduler, 
                            checkpoint_dir=args.checkpoint_dir, 
                            step=global_step)
              
            if elastic_event:
                print("Elastic scaling event detected. Checkpoint saved.")
                return
    

Menerapkan Penghematan Pos Pemeriksaan dan Pemuatan Pos Pemeriksaan

Catatan: Sebaiknya gunakan PyTorch Distributed Checkpoint (DCP) untuk menyimpan status model dan pengoptimal, karena DCP mendukung melanjutkan dari pos pemeriksaan dengan ukuran dunia yang berbeda. Format pos pemeriksaan lainnya mungkin tidak mendukung pemuatan pos pemeriksaan pada ukuran dunia yang berbeda, dalam hal ini Anda harus menerapkan logika khusus untuk menangani perubahan ukuran dunia yang dinamis.

import torch.distributed.checkpoint as dcp
from torch.distributed.checkpoint.state_dict import get_state_dict, set_state_dict

def save_checkpoint(model, optimizer, lr_scheduler, user_content, checkpoint_path):
    """Save checkpoint using DCP for elastic training."""
    state_dict = {
        "model": model,
        "optimizer": optimizer,
        "lr_scheduler": lr_scheduler,
        **user_content
    }
      
    dcp.save(
        state_dict=state_dict,
        storage_writer=dcp.FileSystemWriter(checkpoint_path)
    )

def load_checkpoint(model, optimizer, lr_scheduler, checkpoint_path):
    """Load checkpoint using DCP with automatic resharding."""
    state_dict = {
        "model": model,
        "optimizer": optimizer,
        "lr_scheduler": lr_scheduler
    }
      
    dcp.load(
        state_dict=state_dict,
        storage_reader=dcp.FileSystemReader(checkpoint_path)
    )
      
    return model, optimizer, lr_scheduler
    

(Opsional) Gunakan dataloader stateful

Jika Anda hanya berlatih untuk satu zaman (yaitu, satu lintasan tunggal melalui seluruh kumpulan data), model harus melihat setiap sampel data tepat sekali. Jika pekerjaan pelatihan berhenti di pertengahan zaman dan dilanjutkan dengan ukuran dunia yang berbeda, sampel data yang diproses sebelumnya akan diulang jika status dataloader tidak dipertahankan. Dataloader stateful mencegah hal ini dengan menyimpan dan memulihkan posisi dataloader, memastikan bahwa proses yang dilanjutkan berlanjut dari peristiwa penskalaan elastis tanpa memproses ulang sampel apa pun. Sebaiknya gunakan StatefulDataLoader, yang merupakan pengganti drop‑in untuk penambahan state_dict() dan load_state_dict() metode torch.utils.data.DataLoader tersebut, memungkinkan pemeriksaan tengah zaman dari proses pemuatan data.

Mengirimkan pekerjaan pelatihan elastis

HyperPod operator pelatihan mendefinisikan jenis sumber daya baru -hyperpodpytorchjob. Pelatihan elastis memperluas jenis sumber daya ini dan menambahkan bidang yang disorot di bawah ini:

apiVersion: sagemaker.amazonaws.com/v1
kind: HyperPodPyTorchJob
metadata:
  name: elastic-training-job
spec:
  elasticPolicy:
    minReplicas: 1
    maxReplicas: 4
    # Increment amount of pods in fixed-size groups
    # Amount of pods will be equal to minReplicas + N * replicaIncrementStep
    replicaIncrementStep: 1           
    # ... or Provide an exact amount of pods that required for training
    replicaDiscreteValues: [2,4,8]     

    # How long traing operator wait job to save checkpoint and exit during
    # scaling events. Job will be force-stopped after this period of time
    gracefulShutdownTimeoutInSeconds: 600

    # When scaling event is detected:   
    # how long job controller waits before initiate scale-up.
    # Some delay can prevent from frequent scale-ups and scale-downs
    scalingTimeoutInSeconds: 60

    # In case of faults, specify how long elastic training should wait for
    # recovery, before triggering a scale-down
    faultyScaleDownTimeoutInSeconds: 30
  ...
  replicaSpecs:
    - name: pods
      replicas: 4           # Initial replica count
      maxReplicas: 8        # Max for this replica spec (should match elasticPolicy.maxReplicas)
      ...
  

Menggunakan kubectl

Anda selanjutnya dapat meluncurkan pelatihan elastis dengan perintah berikut.

kubectl apply -f elastic-training-job.yaml

Menggunakan SageMaker Resep

Pekerjaan pelatihan elastis dapat diluncurkan melalui SageMaker HyperPod resep.

Selain resep statis, resep elastis menambahkan bidang berikut untuk menentukan perilaku elastis:

Kebijakan Elastis

elastic_policyBidang mendefinisikan konfigurasi tingkat pekerjaan untuk pekerjaan pelatihan elastis, ia memiliki konfigurasi berikut:

Berikut ini adalah contoh definisi bidang ini, Anda juga dapat menemukannya di repo Resep Hyperpod dalam resep: recipes_collection/recipes/fine-tuning/llama/llmft_llama3_1_8b_instruct_seq4k_gpu_sft_lora.yaml

<static recipe>
...
elastic_policy:
  is_elastic: true
  min_nodes: 1
  max_nodes: 16
  use_graceful_shutdown: true
  scaling_timeout: 600
  graceful_shutdown_timeout: 600
      

Konfigurasi Skala

scale_configBidang mendefinisikan konfigurasi utama pada setiap skala tertentu. Ini adalah kamus nilai kunci, di mana kunci adalah bilangan bulat yang mewakili skala target dan nilai adalah bagian dari resep dasar. Pada <key> skala besar, kami menggunakan <value> untuk memperbarui konfigurasi spesifik dalam base/static resep. Berikut ini menunjukkan contoh bidang ini:

scale_config:   
...
  2:
    trainer:
      num_nodes: 2
    training_config:
      training_args:
        train_batch_size: 128
        micro_train_batch_size: 8
        learning_rate: 0.0004
  3:
    trainer:
      num_nodes: 3
    training_config:
      training_args:
        train_batch_size: 128
        learning_rate: 0.0004
        uneven_batch:
          use_uneven_batch: true
          num_dp_groups_with_small_batch_size: 16
          small_local_batch_size: 5
          large_local_batch_size: 6
 ...
      

Konfigurasi di atas mendefinisikan konfigurasi pelatihan pada skala 2 dan 3. Dalam kedua kasus, kami menggunakan tingkat pembelajaran4e-4, ukuran batch128. Tetapi pada skala 2, kami menggunakan 8, sedangkan skala 3, kami menggunakan ukuran batch yang tidak rata karena ukuran batch kereta tidak dapat dibagi secara merata menjadi 3 node. micro_train_batch_size

Ukuran Batch Tidak Rata

Ini adalah bidang untuk menentukan perilaku distribusi batch ketika ukuran batch global tidak dapat dibagi secara merata dengan jumlah peringkat. Ini tidak khusus untuk pelatihan elastis, tetapi ini adalah enabler untuk granularitas penskalaan yang lebih halus.

Pantau pelatihan tentang MLFlow

Pekerjaan resep hyperpod mendukung pengamatan melalui. MLFlow Pengguna dapat menentukan MLFlow konfigurasi dalam resep:

training_config:
  mlflow:
    tracking_uri: "<local_file_path or MLflow server URL>"
    run_id: "<MLflow run ID>"
    experiment_name: "<MLflow experiment name, e.g. llama_exps>"
    run_name: "<run name, e.g. llama3.1_8b>"

      

Konfigurasi ini dipetakan ke pengaturan yang sesuaiMLFlow . Berikut ini adalah contoh MLflow dasbor untuk pekerjaan pelatihan elastis.

Setelah mendefinisikan resep elastis, kita dapat menggunakan skrip peluncur, seperti launcher_scripts/llama/run_llmft_llama3_1_8b_instruct_seq4k_gpu_sft_lora.sh untuk meluncurkan pekerjaan pelatihan elastis. Ini mirip dengan meluncurkan pekerjaan statis menggunakan resep Hyperpod.

Contoh dan batasan kasus penggunaan

Skalakan saat lebih banyak sumber daya tersedia

Ketika lebih banyak sumber daya tersedia di cluster (misalnya, beban kerja lainnya selesai). Selama acara ini, pengontrol pelatihan akan secara otomatis meningkatkan pekerjaan pelatihan. Perilaku ini dijelaskan di bawah ini.

Untuk mensimulasikan situasi ketika lebih banyak sumber daya tersedia, kami dapat mengirimkan pekerjaan prioritas tinggi, dan kemudian melepaskan sumber daya kembali dengan menghapus pekerjaan prioritas tinggi.

# Submit a high-priority job on your cluster. As a result of this command
# resources will not be available for elastic training
kubectl apply -f high_prioriy_job.yaml

# Submit an elastic job with normal priority
kubectl apply -f hyperpod_job_with_elasticity.yaml

# Wait for training to start....

# Delete high priority job. This command will make additional resources available for
# elastic training
kubectl delete -f high_prioriy_job.yaml

# Observe the scale-up of elastic job
    

Perilaku yang diharapkan:

Catatan: Ketika Kueue tidak digunakan, operator pelatihan melewatkan dua langkah pertama. Ini segera mencoba untuk membuat pod tambahan yang diperlukan untuk ukuran dunia baru. Jika sumber daya yang cukup tidak tersedia di klaster, pod ini akan tetap dalam status Pending hingga kapasitas tersedia.

Preemption oleh pekerjaan prioritas tinggi

Pekerjaan elastis dapat diperkecil secara otomatis ketika pekerjaan prioritas tinggi membutuhkan sumber daya. Untuk mensimulasikan perilaku ini, Anda dapat mengirimkan pekerjaan pelatihan elastis, yang menggunakan jumlah maksimum sumber daya yang tersedia sejak awal pelatihan, daripada menyerahkan pekerjaan prioritas tinggi, dan mengamati perilaku preemption.

# Submit an elastic job with normal priority
kubectl apply -f hyperpod_job_with_elasticity.yaml

# Submit a high-priority job on your cluster. As a result of this command
# some amount of resources will be   
kubectl apply -f high_prioriy_job.yaml

# Observe scale-down behaviour
    

Ketika pekerjaan dengan prioritas tinggi membutuhkan sumber daya, Kueue dapat mendahului beban kerja Pelatihan Elastis dengan prioritas rendah (mungkin ada lebih dari 1 objek Beban Kerja yang terkait dengan pekerjaan Pelatihan Elastis). Proses preemption mengikuti urutan ini:

Preemption dapat menyebabkan seluruh pekerjaan pelatihan berhenti, yang mungkin tidak diinginkan untuk semua alur kerja. Untuk menghindari suspensi pekerjaan penuh sambil tetap memungkinkan penskalaan elastis, pelanggan dapat mengonfigurasi dua tingkat prioritas yang berbeda dalam pekerjaan pelatihan yang sama dengan mendefinisikan dua bagian: replicaSpec

Konfigurasi ini memungkinkan pencegahan sebagian, di mana hanya kapasitas elastis yang direklamasi—mempertahankan kontinuitas pelatihan sambil tetap mendukung pembagian sumber daya yang adil di lingkungan multi-penyewa. Contoh:

apiVersion: sagemaker.amazonaws.com/v1
kind: HyperPodPyTorchJob
metadata:
  name: elastic-training-job
spec:
  elasticPolicy:
    minReplicas: 2
    maxReplicas: 8
    replicaIncrementStep: 2
  ...
  replicaSpecs:
    - name: base
      replicas: 2
      template:
        spec:
          priorityClassName: high-priority # set high-priority to avoid evictions
           ...
    - name: elastic
      replicas: 0
      maxReplicas: 6
      template:
        spec:
          priorityClassName: low-priority. # Set low-priority for elastic part
           ...
    

Menyerahkan penggusuran pod, pod crash, dan degradasi perangkat keras:

Operator HyperPod pelatihan menyertakan mekanisme bawaan untuk memulihkan proses pelatihan ketika tiba-tiba terputus. Interupsi dapat terjadi karena berbagai alasan, seperti kegagalan kode pelatihan, penggusuran pod, kegagalan node, degradasi perangkat keras, dan masalah runtime lainnya.

Ketika ini terjadi, operator secara otomatis mencoba membuat ulang pod yang terpengaruh dan melanjutkan pelatihan dari pos pemeriksaan terbaru. Jika pemulihan tidak segera memungkinkan, misalnya, karena kapasitas cadangan yang tidak mencukupi, operator dapat melanjutkan kemajuan dengan mengurangi sementara ukuran dunia dan mengurangi pekerjaan pelatihan elastis.

Ketika pekerjaan pelatihan elastis mogok atau kehilangan replika, sistem berperilaku sebagai berikut:

Mekanisme ini memastikan bahwa pelatihan dapat dilanjutkan dengan waktu henti minimal, bahkan di bawah tekanan sumber daya atau kegagalan infrastruktur sebagian, sambil tetap memanfaatkan penskalaan elastis.

Gunakan pelatihan elastis dengan HyperPod fitur lain

Pelatihan elastis saat ini tidak mendukung kemampuan pelatihan tanpa pemeriksaan, pos pemeriksaan berjenjang HyperPod terkelola, atau instans Spot.