Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Tentang menjalankan dan memantau eksperimen
Menjalankan percobaan dalam produksi membutuhkan pemantauan yang cermat dan perencanaan operasional. Meningkatkan paparan secara bertahap, memvalidasi implementasi, dan memantau kinerja dapat membantu mengurangi risiko dan meningkatkan keandalan hasil percobaan.
Pertimbangan operasional
Mulailah dengan eksposur rendah atau 0% dan tingkatkan eksposur secara bertahap
Sebelum mengekspos pengguna ke perawatan:
Validasi rendering perawatan
Konfirmasikan evaluasi bendera fitur
Verifikasi metrik dan pencatatan
Instrumentasi uji menggunakan penggantian tugas perawatan
Dimulai dengan paparan 0% membantu mendeteksi masalah implementasi sebelum memengaruhi pengguna. Anda kemudian dapat meningkatkan eksposur secara bertahap dan dengan demikian membatasi dampak regresi jika masalah terjadi. Dengan memvalidasi perilaku eksperimen di bawah beban yang meningkat, Anda dapat memantau hasil eksperimen dan metrik operasional sebelum mengekspos seluruh audiens Anda terhadap perubahan.
Tentukan prosedur rollback
Sebelum memulai percobaan, tentukan:
Kapan lari harus dihentikan
Metrik mana yang menunjukkan perilaku yang tidak dapat diterima
Cara menonaktifkan perawatan
Anda dapat mengonfigurasi alarm di CloudWatch atau alat pemantauan pihak ketiga seperti Datadog, New Relic, atau Dynatrace untuk memantau metrik utama seperti waktu muat halaman, tingkat konversi, atau tingkat kesalahan selama percobaan. Jika alarm dipicu, evaluasi dampaknya dan putuskan apakah akan menghentikan percobaan atau melanjutkan. Untuk informasi selengkapnya tentang mengkonfigurasi alarm, lihatMemantau penyebaran untuk rollback otomatis.
Mengoordinasikan penerapan
Hindari memperkenalkan perubahan aplikasi utama selama percobaan aktif dijalankan. Perubahan pada logika tanda fitur, sistem backend, atau alur pengguna dapat membatalkan hasil eksperimen atau mempersulit analisis. Jika perubahan diperlukan, hentikan proses saat ini dan mulai yang baru setelah pembaruan diterapkan.
Juga, batasi eksperimen tumpang tindih yang mempengaruhi pengguna atau fungsionalitas yang sama. Eksperimen yang tumpang tindih dapat mengubah hasil dan memperkenalkan perilaku yang saling bertentangan. Singkatnya, koordinasikan eksperimen dengan hati-hati ketika audiens tumpang tindih.
Untuk detail tentang cara aplikasi Anda mengambil perlakuan yang ditetapkan dari AWS AppConfig Agen, termasuk Context header Entity-Id dan, lihat. Mengambil perawatan percobaan
Pertimbangan performa
Saat memulai eksperimen, pantau kinerja aplikasi dengan melacak metrik operasional sepanjang proses. Secara khusus, monitor:
Latensi
Tingkat kesalahan
Throughput
Pemanfaatan Sumber Daya
Perlakuan dapat mempengaruhi perilaku sistem bahkan jika metrik eksperimen tampak positif. Paparan bertahap membantu mengidentifikasi masalah ini dengan aman.
Validasi kinerja sisi klien
Untuk eksperimen UI, pantau:
Waktu muat halaman
Performa rendering
Client-side kesalahan
Device-specific perilaku
Perlakuan yang berbeda dapat mempengaruhi kinerja frontend secara berbeda.
Prinsip operasional
Saat percobaan sedang berjalan, ingatlah prinsip-prinsip operasional berikut:
- Perlakukan eksperimen sebagai perubahan produksi
-
Bahkan eksperimen kecil dapat memengaruhi stabilitas aplikasi, kinerja, pengalaman pengguna, dan kualitas data. Pemantauan yang cermat dan paparan bertahap membantu mengurangi risiko sambil meningkatkan kepercayaan pada hasil percobaan.
- Pertahankan konsistensi pengobatan
-
Pengguna harus menerima perlakuan yang sama sepanjang lari. Untuk informasi lebih lanjut tentang desain perawatan, lihatTentang kontrol dan perawatan.
- Validasi instrumentasi
-
Sebelum meningkatkan eksposur, konfirmasikan bahwa metrik dicatat dengan benar dan bahwa log menyertakan informasi perawatan.
- Pantau metrik khusus eksperimen
-
Selain metrik operasional, pantau metrik yang terkait langsung dengan eksperimen, seperti:
Tingkat konversi
Keterlibatan fitur
Click-through nilai
Frekuensi kesalahan
Retensi pengguna
Pilih metrik yang selaras dengan tujuan percobaan.
