Terapkan model Anda dalam skala besar - Amazon SageMaker AI
Mengapa pemantauan produksi penting untuk klasifikasi teksPrasyaratMengatur pemantauan produksiVerifikasi pengaturan AndaPantau titik akhir AndaMengelola biaya dan membersihkan sumber daya

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Terapkan model Anda dalam skala besar

Siapkan auto-scaling CloudWatch dan monitoring untuk titik akhir AI SageMaker Anda agar siap produksi.

Mengapa pemantauan produksi penting untuk klasifikasi teks

Beban kerja klasifikasi teks memerlukan pemantauan karena:

  • Rasakan pola lalu lintas variabel dengan ledakan pemrosesan.

  • Membutuhkan waktu respons sub-detik.

  • Perlu pengoptimalan biaya melalui auto-scaling.

Prasyarat

Sebelum Anda mulai, pastikan Anda memiliki:

  • Titik akhir SageMaker AI Anda diterapkan dari bagian sebelumnya.

  • Nama titik akhir Anda (misalnya, jumpstart-dft-hf-tc).

  • Anda Wilayah AWS (misalnya, us-east-2).

Untuk pembuatan atau pemecahan masalah titik akhir, lihat Inferensi waktu nyata.

Mengatur pemantauan produksi

Konfigurasikan CloudWatch pemantauan untuk melacak kinerja model Anda dalam produksi.

  1. Di JupyterLab ruang Anda, buka sagemaker_production_monitoring.ipynb buku catatan dari paket evaluasi yang Anda unggah sebelumnya.

  2. Perbarui nama dan wilayah titik akhir Anda di bagian konfigurasi.

  3. Ikuti instruksi buku catatan untuk mengatur:

    • Penskalaan otomatis (1-10 instance berdasarkan lalu lintas).

    • CloudWatch alarm untuk ambang batas latensi dan pemanggilan.

    • Dasbor metrik untuk pemantauan visual.

Verifikasi pengaturan Anda

Setelah Anda menyelesaikan langkah-langkah buku catatan, verifikasi bahwa Anda memiliki:

  • Status Titik Akhir:InService.

  • Penskalaan otomatis: 1-10 instance dikonfigurasi.

  • CloudWatch Alarm: 2 alarm pemantauan.

  • Metrik: 15+ metrik terdaftar.

catatan

Alarm mungkin muncul INSUFFICIENT_DATA pada awalnya - ini normal dan akan berubah OK dengan penggunaan.

Pantau titik akhir Anda

Akses pemantauan visual melalui Konsol AWS Manajemen:

Untuk informasi lebih lanjut, lihat Monitor SageMaker AI.

Mengelola biaya dan membersihkan sumber daya

Pengaturan pemantauan Anda memberikan wawasan produksi yang berharga, tetapi juga menimbulkan AWS biaya berkelanjutan melalui CloudWatch metrik, alarm, dan kebijakan auto-scaling. Memahami cara mengelola biaya ini sangat penting untuk operasi yang hemat biaya. Bersihkan sumber daya ketika mereka tidak lagi dibutuhkan.

Awas

Titik akhir Anda terus dikenakan biaya bahkan saat tidak memproses permintaan. Untuk menghentikan semua tagihan, Anda harus menghapus titik akhir Anda. Untuk petunjuk, lihat Menghapus Titik Akhir dan Sumber Daya.

Untuk konfigurasi pemantauan lanjutan, lihat CloudWatch Metrik untuk SageMaker AI.