Contoh Alur Kerja RL Menggunakan Amazon SageMaker AI RL

Merumuskan masalah RL —Pertama, merumuskan masalah bisnis menjadi masalah RL. Misalnya, penskalaan otomatis memungkinkan layanan untuk meningkatkan atau mengurangi kapasitas secara dinamis tergantung pada kondisi yang Anda tentukan. Saat ini, ini memerlukan pengaturan alarm, kebijakan penskalaan, ambang batas, dan langkah manual lainnya. Untuk mengatasi ini dengan RL, kami mendefinisikan komponen Proses Keputusan Markov:

1. Tujuan —Skala kapasitas instans sehingga cocok dengan profil beban yang diinginkan.

2. Lingkungan —Lingkungan khusus yang mencakup profil beban. Ini menghasilkan beban simulasi dengan variasi harian dan mingguan dan lonjakan sesekali. Sistem simulasi memiliki penundaan antara ketika sumber daya baru diminta dan ketika mereka tersedia untuk melayani permintaan.

3. Status —Beban saat ini, jumlah pekerjaan yang gagal, dan jumlah mesin aktif.

4. Tind akan —Hapus, tambahkan, atau simpan jumlah instance yang sama.

5. Hadiah —Hadiah positif untuk transaksi yang berhasil dan penalti tinggi untuk transaksi gagal di luar ambang batas yang ditentukan.

Mendefinisikan lingkungan RL —Lingkungan RL dapat menjadi dunia nyata tempat agen RL berinteraksi atau simulasi dunia nyata. Anda dapat menghubungkan open source dan lingkungan khusus yang dikembangkan menggunakan antarmuka Gym dan lingkungan simulasi komersial seperti MATLAB dan Simulink.

Tentukan preset —Preset mengonfigurasi pekerjaan pelatihan RL dan menentukan hyperparameter untuk algoritma RL.

Tulis kode pelatihan —Tulis kode pelatihan sebagai skrip Python dan berikan skrip ke pekerjaan pelatihan SageMaker AI. Dalam kode pelatihan Anda, impor file lingkungan dan file preset, lalu tentukan fung main() sinya.

Latih Model RL —Gunakan SageMaker AI RLEstimator di Amazon SageMaker Python SDK untuk memulai pekerjaan pelatihan RL. Jika Anda menggunakan mode lokal, pekerjaan pelatihan berjalan pada instance notebook. Saat menggunakan SageMaker AI untuk pelatihan, Anda dapat memilih instans GPU atau CPU. Simpan output dari pekerjaan pelatihan di direktori lokal jika Anda berlatih dalam mode lokal, atau di Amazon S3 jika Anda menggunakan pelatihan SageMaker AI.

Mem RLEstimator butuhkan informasi berikut sebagai parameter.

1. Direktori sumber tempat lingkungan, preset, dan kode pelatihan diunggah.

2. Jalan menuju skrip pelatihan.

3. Toolkit RL dan kerangka pembelajaran mendalam yang ingin Anda gunakan. Ini secara otomatis diselesaikan ke jalur Amazon ECR untuk wadah RL.

4. Parameter pelatihan, seperti jumlah instance, nama pekerjaan, dan jalur S3 untuk output.

5. Definisi metrik yang ingin Anda tangkap di log Anda. Ini juga dapat divisualisasikan di dalam CloudWatch dan di notebook SageMaker AI.

Visualisasikan metrik dan keluaran pelatihan —Setelah pekerjaan pelatihan yang menggunakan model RL selesai, Anda dapat melihat metrik yang Anda tentukan dalam pekerjaan pelatihan di CloudWatch,. Anda juga dapat memplot metrik di buku catatan dengan menggunakan pust aka analitik Amazon SageMaker Python SDK. Memvisualisasikan metrik membantu Anda memahami bagaimana kinerja model yang diukur dengan hadiah meningkat dari waktu ke waktu.

Mengevaluasi model —Data Checkpoint dari model yang dilatih sebelumnya dapat diteruskan untuk evaluasi dan inferensi di saluran pos pemeriksaan. Dalam mode lokal, gunakan direktori lokal. Dalam mode pelatihan SageMaker AI, Anda harus mengunggah data ke S3 terlebih dahulu.

Terapkan model RL —Terakhir, terapkan model terlatih pada titik akhir yang dihosting di wadah SageMaker AI atau pada perangkat edge dengan menggunakan. AWS IoT Greengrass