Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Penyediaan berkelanjutan untuk operasi klaster yang disempurnakan di Amazon EKS

SageMaker HyperPod Cluster Amazon yang dibuat dengan orkestrasi Amazon EKS sekarang mendukung penyediaan berkelanjutan, kemampuan baru yang memungkinkan fleksibilitas dan efisiensi yang lebih besar dalam menjalankan beban kerja skala besar. AI/ML Penyediaan berkelanjutan memungkinkan Anda memulai pelatihan dengan cepat, menskalakan dengan mulus, melakukan pemeliharaan tanpa mengganggu operasi, dan memiliki visibilitas terperinci ke dalam operasi klaster.

Cara kerjanya

Sistem penyediaan berkelanjutan memperkenalkan arsitektur negara yang diinginkan yang menggantikan model berbasis permintaan tradisional. Arsitektur baru ini memungkinkan operasi paralel dan non-pemblokiran di berbagai tingkat sumber daya sambil menjaga stabilitas dan kinerja sistem. Sistem penyediaan berkelanjutan:

Penyediaan berkelanjutan dinonaktifkan secara default. Untuk menggunakan fitur ini, atur --node-provisioning-mode keContinuous.

Dengan penyediaan berkelanjutan diaktifkan, Anda dapat memulai beberapa operasi penskalaan secara bersamaan tanpa menunggu operasi sebelumnya selesai. Ini memungkinkan Anda menskalakan grup instans yang berbeda dalam kluster yang sama secara bersamaan dan mengirimkan beberapa permintaan penskalaan ke grup instans yang sama.

Penyediaan berkelanjutan juga memberi Anda akses ke DescribeClusterEventdan ListClusterEventuntuk pemantauan acara terperinci dan visibilitas operasional.

Pengukuran penggunaan

HyperPod cluster dengan penyediaan berkelanjutan menggunakan pengukuran tingkat instans untuk memberikan penagihan akurat yang mencerminkan penggunaan sumber daya aktual. Pendekatan pengukuran ini berbeda dari penagihan tingkat cluster tradisional dengan melacak setiap instance secara independen.

Penagihan tingkat instans

Dengan penyediaan berkelanjutan, penagihan dimulai dan berhenti di tingkat instans individu daripada menunggu perubahan status tingkat klaster. Pendekatan ini memberikan manfaat sebagai berikut:

Siklus hidup penagihan

Setiap instance di HyperPod klaster Anda mengikuti siklus hidup penagihan ini:

Buat klaster dengan penyediaan berkelanjutan diaktifkan

AWS CLI Operasi berikut membuat HyperPod cluster dengan satu grup instance dan penyediaan berkelanjutan diaktifkan.

aws sagemaker create-cluster \ 
--cluster-name $HP_CLUSTER_NAME \
--orchestrator 'Eks={ClusterArn='$EKS_CLUSTER_ARN'}' \
--vpc-config '{
   "SecurityGroupIds": ["'$SECURITY_GROUP'"],
   "Subnets": ["'$SUBNET'"]
}' \
--instance-groups '{
   "InstanceGroupName": "ig-1",
   "InstanceType": "ml.c5.2xlarge",
   "InstanceCount": 2,
   "LifeCycleConfig": {
      "SourceS3Uri": "s3://'$BUCKET_NAME'",
      "OnCreate": "on_create_noop.sh"
   },
   "ExecutionRole": "'$EXECUTION_ROLE'",
   "ThreadsPerCore": 1,
   "TrainingPlanArn": ""
}' \
--node-provisioning-mode Continuous


// Expected Output:
{
    "ClusterArn": "arn:aws:sagemaker:us-west-2:<account-id>:cluster/<cluster-id>"
}

Setelah Anda membuat cluster Anda, Anda dapat menggunakan ListClusterNodesatau DescribeClusterNodeuntuk mengetahui informasi lebih lanjut tentang node di cluster.

Memanggil operasi ini akan mengembalikan ClusterInstanceStatusDetailsobjek dengan salah satu nilai berikut:

Persyaratan kapasitas minimum (MinCount)

MinCount Fitur ini memungkinkan Anda menentukan jumlah minimum instance yang harus berhasil disediakan sebelum grup instans beralih ke status. InService Fitur ini memberikan kontrol yang lebih baik atas operasi penskalaan dan membantu mencegah skenario di mana grup instans yang disediakan sebagian tidak dapat digunakan secara efektif untuk beban kerja pelatihan.

Bagaimana cara MinCount kerja

Saat Anda membuat atau memperbarui grup instans dengan MinCount diaktifkan, perilaku berikut akan terjadi:

Status grup instans selama MinCount operasi

Grup instance dengan MinCount konfigurasi menunjukkan perilaku status berikut:

Selama Creating atau Updating status, pembatasan berikut berlaku:

Perilaku rollback otomatis

Jika grup instans tidak dapat mencapainya MinCount dalam waktu 3 jam, sistem secara otomatis memulai rollback untuk mencegah penantian yang tidak terbatas:

Batas waktu 3 jam disetel ulang setiap kali MinCount diperbarui. Misalnya, jika Anda memperbarui MinCount beberapa kali, periode batas waktu mulai baru dari pembaruan terbaru.

MinCount acara

Sistem memancarkan peristiwa tertentu untuk membantu Anda melacak MinCount operasi:

Anda dapat memantau peristiwa ini menggunakan ListClusterEventsuntuk melacak kemajuan MinCount operasi Anda.

Penggunaan API

MinCount ditentukan menggunakan MinInstanceCount parameter dalam konfigurasi grup instance:

aws sagemaker create-cluster \
--cluster-name $HP_CLUSTER_NAME \
--orchestrator 'Eks={ClusterArn='$EKS_CLUSTER_ARN'}' \
--vpc-config '{
   "SecurityGroupIds": ["'$SECURITY_GROUP'"],
   "Subnets": ["'$SUBNET'"]
}' \
--instance-groups '{
   "InstanceGroupName": "worker-group",
   "InstanceType": "ml.p4d.24xlarge",
   "InstanceCount": 64,
   "MinInstanceCount": 50,
   "LifeCycleConfig": {
      "SourceS3Uri": "s3://'$BUCKET_NAME'",
      "OnCreate": "on_create.sh"
   },
   "ExecutionRole": "'$EXECUTION_ROLE'"
}' \
--node-provisioning-mode Continuous

Pertimbangan utama untuk MinCount penggunaan: