Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Pembelajaran Penguatan
catatan
Dokumentasi rinci disediakan setelah berlangganan
Nova Forge menyediakan kemampuan pembelajaran penguatan tingkat lanjut dengan opsi untuk menggunakan fungsi hadiah jarak jauh di lingkungan Anda sendiri. Pelanggan dapat memilih untuk mengintegrasikan titik akhir mereka sendiri untuk mengeksekusi validasi untuk umpan balik dunia nyata langsung, atau bahkan menggunakan orkestrator mereka sendiri untuk mengoordinasikan evaluasi multi-putaran agen di lingkungan Anda.
Bawa orkestrator Anda sendiri untuk evaluasi multi-putaran agen
Untuk pengguna Forge yang membutuhkan percakapan multi-putaran atau fungsi hadiah melebihi batas waktu 15 menit, Nova Forge menyediakan kemampuan Bring Your Own Orchestration (BYOO). Ini memungkinkan Anda untuk mengoordinasikan evaluasi multi-putaran agen di lingkungan Anda (misalnya, menggunakan alat kimia untuk menilai desain molekuler, atau simulasi robotika yang menghargai penyelesaian tugas yang efisien dan menghukum tabrakan).
Gambaran umum arsitektur
Arsitektur BYOO memberikan kontrol penuh atas proses peluncuran dan pembuatan melalui infrastruktur yang dikelola pelanggan.
Pelatihan VPC:
-
Peluncuran: Mengkoordinasikan pelatihan dengan mendelegasikan generasi peluncuran ke infrastruktur pelanggan
-
Pelatih: Melakukan pembaruan bobot model berdasarkan peluncuran yang diterima
VPC Pelanggan (seperti ECS pada EC2):
-
Proxy Lambda: Menerima permintaan peluncuran dan berkoordinasi dengan infrastruktur pelanggan
-
Rollout Response SQS: Antrian untuk mengembalikan peluncuran yang telah selesai ke infrastruktur pelatihan
-
Hasilkan Permintaan SQS: Antrian untuk permintaan pembuatan model
-
Hasilkan Respons SQS: Antrian untuk respons pembuatan model
-
Wadah Pelanggan: Menerapkan logika orkestrasi khusus (dapat menggunakan starter kit yang disediakan)
-
DynamoDB: Menyimpan dan mengambil status di seluruh proses orkestrasi
Alur kerja:
-
Peluncuran mendelegasikan generasi peluncuran ke Proxy Lambda
-
Proxy Lambda mendorong permintaan API peluncuran untuk Menghasilkan Permintaan SQS
-
Kontainer pelanggan memproses permintaan, mengelola interaksi multi-putaran, dan memanggil fungsi hadiah
-
Container menyimpan dan mengambil status dari DynamoDB sesuai kebutuhan
-
Container mendorong respons peluncuran ke Rollout Response SQS
-
Peluncuran mengirimkan peluncuran yang telah selesai ke Trainer untuk pembaruan berat badan
Pengaturan dan eksekusi
Untuk petunjuk penyiapan terperinci, konfigurasi resep, format permintaan dan respons, dan contoh lingkungan, lihat dokumentasi rahasia yang diberikan kepada pelanggan Nova Forge. Untuk mendapatkan dokumen Nova Forge ikuti langkah-langkah di bawah ini:
aws s3 cp s3://nova-forge-c7363-206080352451-us-east-1/v1/ ./ --recursive
Setelah aset diunduh, Anda dapat menemukan semua dokumentasi di bawah docs folder.
