View a markdown version of this page

Gunakan Algoritma untuk Menjalankan Pekerjaan Tuning Hyperparameter - Amazon SageMaker AI
Menggunakan Algoritma untuk Menjalankan Pekerjaan Tuning Hyperparameter (Konsol)Menggunakan Algoritma untuk Menjalankan Hyperparameter Tuning Job (API)Gunakan Algoritma untuk Menjalankan Pekerjaan Tuning Hyperparameter (SDK Amazon SageMaker Python)

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Gunakan Algoritma untuk Menjalankan Pekerjaan Tuning Hyperparameter

Bagian berikut menjelaskan cara menggunakan sumber daya algoritma untuk menjalankan tugas penyetelan hyperparameter di Amazon SageMaker AI. Pekerjaan penyetelan hyperparameter menemukan versi model terbaik dengan menjalankan banyak pekerjaan pelatihan pada dataset Anda menggunakan algoritma dan rentang hyperparameter yang Anda tentukan. Kemudian memilih nilai hyperparameter yang menghasilkan model yang berkinerja terbaik, yang diukur dengan metrik yang Anda pilih. Untuk informasi selengkapnya, lihat Penyetelan model otomatis dengan SageMaker AI.

Anda dapat membuat menggunakan sumber daya algoritma untuk membuat pekerjaan penyetelan hyperparameter dengan menggunakan konsol Amazon SageMaker AI, Amazon SageMaker API tingkat rendah, atau Amazon SageMaker Python SDK.

Menggunakan Algoritma untuk Menjalankan Pekerjaan Tuning Hyperparameter (Konsol)

Untuk menggunakan algoritma untuk menjalankan pekerjaan penyetelan hyperparameter (console)

  1. Buka konsol SageMaker AI di https://console.aws.amazon.com/sagemaker/.

  2. Pilih Algoritma.

  3. Pilih algoritma yang Anda buat dari daftar pada tab Algoritma saya atau pilih algoritma yang Anda berlangganan pada tab AWS Marketplace langganan.

  4. Pilih Buat pekerjaan penyetelan hyperparameter.

    Algoritma yang Anda pilih akan dipilih secara otomatis.

  5. Pada halaman pekerjaan Buat penyetelan hyperparameter, berikan informasi berikut:

    1. Untuk Mulai hangat, pilih Aktifkan start hangat untuk menggunakan informasi dari pekerjaan penyetelan hyperparameter sebelumnya sebagai titik awal untuk pekerjaan penyetelan hyperparameter ini. Untuk informasi selengkapnya, lihat Jalankan Pekerjaan Penyetelan Hyperparameter Warm Start.

      1. Pilih Data dan algoritma identik jika data input Anda sama dengan data input untuk pekerjaan induk dari pekerjaan penyetelan hyperparameter ini, atau pilih Transfer pembelajaran untuk menggunakan data input tambahan atau berbeda untuk pekerjaan penyetelan hyperparameter ini.

      2. Untuk pekerjaan penyetelan hyperparameter induk, pilih hingga 5 pekerjaan penyetelan hyperparameter untuk digunakan sebagai orang tua untuk pekerjaan penyetelan hyperparameter ini.

    2. Untuk nama pekerjaan penyetelan Hyperparameter, ketikkan nama untuk pekerjaan penyetelan.

    3. Untuk peran IAM, pilih peran IAM yang memiliki izin yang diperlukan untuk menjalankan pekerjaan penyetelan hyperparameter di SageMaker AI, atau pilih Buat peran baru untuk mengizinkan SageMaker AI membuat peran yang dilampirkan kebijakan terkel AmazonSageMakerFullAccess ola. Untuk informasi, lihat Cara menggunakan peran eksekusi SageMaker AI.

    4. Untuk VPC, pilih Amazon VPC yang ingin Anda izinkan untuk mengakses pekerjaan pelatihan yang diluncurkan oleh pekerjaan penyetelan. Untuk informasi selengkapnya, lihat Berikan Akses Pekerjaan Pelatihan SageMaker AI ke Sumber Daya di VPC Amazon Anda.

    5. Pilih Berikutnya.

    6. Untuk metrik Objektif, pilih metrik yang digunakan pekerjaan penyetelan hyperparameter untuk menentukan kombinasi terbaik dari hyperparameter, dan pilih apakah akan meminimalkan atau memaksimalkan metrik ini. Untuk informasi selengkapnya, lihat Lihat Pekerjaan Pelatihan Terbaik.

    7. Untuk konfigurasi Hyperparameter, pilih rentang untuk hyperparameter yang dapat disetel yang ingin dicari oleh pekerjaan penyetelan, dan tetapkan nilai statis untuk hyperparameter yang ingin Anda tetap konstan di semua pekerjaan pelatihan yang diluncurkan oleh pekerjaan penyetelan hyperparameter. Untuk informasi selengkapnya, lihat Tentukan Rentang Hyperparameter.

    8. Pilih Berikutnya.

    9. Untuk konfigurasi data input, tentukan nilai berikut untuk setiap saluran data input yang akan digunakan untuk pekerjaan penyetelan hyperparameter. Anda dapat melihat saluran apa yang didukung algoritma yang Anda gunakan untuk penyetelan hyperparameter, dan jenis konten, jenis kompresi yang didukung, dan mode input yang didukung untuk setiap saluran, di bawah bagian Spesifikasi saluran pada halaman ringkasan Algoritma untuk algoritma.

      1. Untuk Nama saluran, ketik nama saluran masukan.

      2. Untuk Jenis konten, ketikkan jenis konten data yang diharapkan algoritma untuk saluran.

      3. Untuk tipe kompresi, pilih jenis kompresi data yang akan digunakan, jika ada.

      4. Untuk Record wrapper, pilih RecordIO apakah algoritma mengharapkan data dalam RecordIO format.

      5. Untuk tipe data S3, tipe distribusi data S3, dan lokasi S3, tentukan nilai yang sesuai. Untuk informasi tentang arti nilai-nilai ini, lihat S3DataSource.

      6. Untuk mode Input, pilih File untuk mengunduh data ke volume penyimpanan ML yang disediakan, dan pasang direktori ke volume Docker. Pilih Pi pe Untuk mengalirkan data langsung dari Amazon S3 ke wadah.

      7. Untuk menambahkan saluran input lain, pilih Tambahkan saluran. Jika Anda selesai menambahkan saluran input, pilih Sel esai.

    10. Untuk lokasi Output, tentukan nilai-nilai berikut:

      1. Untuk jalur keluaran S3, pilih lokasi S3 tempat tugas pelatihan yang diluncurkan oleh pekerjaan penyetelan hyperparameter ini menyimpan output, seperti artefak model.

        catatan

        Anda menggunakan artefak model yang disimpan di lokasi ini untuk membuat model atau paket model dari pekerjaan penyetelan hyperparameter ini.

      2. Untuk kunci Enkripsi, jika Anda ingin SageMaker AI menggunakan AWS KMS kunci untuk mengenkripsi data keluaran saat diam di lokasi S3.

    11. Untuk konfigurasi sumber daya, berikan informasi berikut:

      1. Untuk Jenis Instance, pilih jenis instance yang akan digunakan untuk setiap pekerjaan pelatihan yang diluncurkan oleh pekerjaan penyetelan hyperparameter.

      2. Untuk Jumlah Instance, ketikkan jumlah instance ML yang akan digunakan untuk setiap pekerjaan pelatihan yang diluncurkan oleh pekerjaan penyetelan hyperparameter.

      3. Untuk Volume tambahan per instans (GB), ketik ukuran volume penyimpanan ML yang ingin Anda sediakan untuk setiap pekerjaan pelatihan yang diluncurkan oleh pekerjaan penyetelan hyperparameter. Volume penyimpanan ML menyimpan artefak model dan status inkremental.

      4. Untuk Kunci Enkripsi, jika Anda ingin Amazon SageMaker AI menggunakan AWS kunci Layanan Manajemen Kunci untuk mengenkripsi data dalam volume penyimpanan ML yang dilampirkan ke instans pelatihan, tentukan kunci tersebut.

    12. Untuk batas sumber daya, berikan informasi berikut:

      1. Untuk Pekerjaan pelatihan maksimum, tentukan jumlah maksimum pekerjaan pelatihan yang Anda inginkan untuk memulai pekerjaan penyetelan hyperparameter. Pekerjaan penyetelan hyperparameter dapat meluncurkan maksimal 500 pekerjaan pelatihan.

      2. Untuk pekerjaan pelatihan paralel maksimum, tentukan jumlah maksimum pekerjaan pelatihan bersamaan yang dapat diluncurkan oleh pekerjaan penyetelan hyperparameter. Pekerjaan penyetelan hyperparameter dapat meluncurkan maksimal 10 pekerjaan pelatihan bersamaan.

      3. Untuk Kondisi berhenti, tentukan jumlah waktu maksimum dalam detik, menit, jam, atau hari, yang Anda inginkan untuk menjalankan setiap pekerjaan pelatihan yang diluncurkan oleh pekerjaan penyetelan hyperparameter.

    13. Untuk Tag, tentukan satu atau lebih tag untuk mengelola pekerjaan penyetelan hyperparameter. Setiap tanda terdiri dari kunci dan nilai opsional. Kunci tanda harus unik untuk setiap sumber daya.

    14. Pilih Buat pekerjaan untuk menjalankan pekerjaan penyetelan hyperparameter.

Menggunakan Algoritma untuk Menjalankan Hyperparameter Tuning Job (API)

Untuk menggunakan algoritma untuk menjalankan tugas penyetelan hyperparameter dengan menggunakan SageMaker API, tentukan nama atau Amazon Resource Name (ARN) algoritma sebagai AlgorithmName bidang AlgorithmSpecification objek yang Anda lewati. CreateHyperParameterTuningJob Untuk informasi tentang penyetelan hyperparameter di SageMaker AI, lihatPenyetelan model otomatis dengan SageMaker AI.

Gunakan Algoritma untuk Menjalankan Pekerjaan Tuning Hyperparameter (SDK Amazon SageMaker Python)

Gunakan algoritma yang Anda buat atau berlangganan AWS Marketplace untuk membuat pekerjaan penyetelan hyperparameter, buat ModelTrainer objek dan tentukan Amazon Resource Name (ARN) atau nama algoritma sebagai nilai algorithm_arn argumen. Kemudian inisialisasi HyperparameterTuner objek dengan yang ModelTrainer Anda buat sebagai nilai ModelTrainer argumen. Akhirnya, panggil train metodeModelTrainer. Contoh:

from sagemaker.train import ModelTrainer, HyperparameterTuner
from sagemaker.train.configs import Compute

data_path = os.path.join(DATA_DIR, 'marketplace', 'training')

model_trainer = ModelTrainer(
            algorithm_name='arn:aws:sagemaker:us-east-2:764419575721:algorithm/scikit-decision-trees-1542410022',
            role='SageMakerRole',
            compute=Compute(instance_type='ml.c4.xlarge', instance_count=1),
            base_job_name='test-marketplace')

train_input = sagemaker_session.upload_data(
    path=data_path, key_prefix='integ-test-data/marketplace/train')

model_trainer.hyperparameters = {'max_leaf_nodes': '10'}
tuner = HyperparameterTuner(model_trainer=model_trainer, base_tuning_job_name='some-name',
                                objective_metric_name='validation:accuracy',
                                hyperparameter_ranges=hyperparameter_ranges,
                                max_jobs=2, max_parallel_jobs=2)

tuner.tune({'training': train_input})
tuner.wait()