Mengukur ROI rekayasa kekacauan

Saat ini, sangat sedikit sumber daya yang diterbitkan menyediakan metodologi komprehensif atau data dunia nyata untuk mengukur laba atas investasi jangka panjang (ROI) untuk rekayasa kekacauan.

Dalam paper The Business Case for Chaos Engineering, Netflix menawarkan persamaan berharga untuk menghitung ROI untuk rekayasa kekacauan. Persamaan ini memberikan titik awal bagi organisasi yang memulai perjalanan rekayasa kekacauan mereka.

Persamaan tersebut mengharuskan Anda memperkirakan biaya berikut secara akurat:

Kerusakan akibat kekacauan mengacu pada dampak negatif atau gangguan yang disebabkan oleh sengaja menyuntikkan kesalahan atau kondisi turbulen ke dalam sistem sebagai bagian dari eksperimen rekayasa kekacauan. Persamaan ini membutuhkan estimasi biaya pemadaman yang dapat dicegah dan tidak dapat dicegah, biaya implementasi program rekayasa kekacauan, dan biaya kerusakan yang disebabkan oleh kekacauan.

Menentukan dengan pasti masalah mana yang bisa dicegah oleh program rekayasa kekacauan adalah tugas yang sulit. Ini membutuhkan analisis hipotetis yang melibatkan melihat akar penyebab masalah dan berspekulasi bagaimana eksperimen rekayasa kekacauan mungkin membantu mengidentifikasi mereka. Analisis ini menantang karena sistem modern sangat kompleks, dengan banyak saling ketergantungan dan interaksi antara berbagai komponen, layanan, dan perpustakaan pihak ketiga. Selain itu, kesalahan dalam sistem seringkali tidak deterministik, dan kondisi yang menyebabkan kesalahan bisa sulit untuk dipahami sepenuhnya di belakang.

Meskipun pendekatan yang disarankan oleh Netflix memiliki beberapa keterbatasan, ini berfungsi sebagai fondasi yang baik bagi organisasi yang mulai mengeksplorasi rekayasa kekacauan. Persamaan ini dapat memandu Anda dalam memperkirakan biaya dan potensi manfaat, yang membantu Anda membuat keputusan tentang penerapan program semacam itu. Namun, seiring kemajuan organisasi lebih jauh dalam perjalanan rekayasa kekacauan mereka, penting untuk memperluas penilaian ROI untuk menggabungkan perspektif yang lebih holistik.

Pendekatan holistik ini tidak hanya akan menangkap manfaat langsung dari pengurangan pemadaman dan biaya rekayasa tetapi juga menyoroti efek transformatif jangka panjang pada ketahanan organisasi secara keseluruhan. Ini menangkap manfaat peracikan dan efek organisasi yang lebih luas dari rekayasa kekacauan untuk memberikan representasi yang lebih akurat dari nilai sebenarnya dan dampak rekayasa kekacauan.

Pendekatan holistik untuk kuantifikasi ROI

Penilaian ROI holistik harus memperhitungkan tidak hanya untuk ukuran kuantitatif tetapi juga faktor kualitatif. Pendekatan holistik membutuhkan data dunia nyata dari organisasi yang mempraktikkan rekayasa kekacauan dalam skala besar dalam jangka waktu yang lebih lama. Anda dapat menggunakan data mulai dari proyek dan sasaran akar rumput melalui data ROI pendekatan persamaan apa pun yang Anda kumpulkan.

Pengukuran kuantitatif fokus pada kuantitas atau frekuensi. Pengukurannya objektif, dan dapat dianalisis secara statistik. Contohnya termasuk survei, eksperimen, dan analisis data. Langkah-langkah kuantitatif dapat mencakup hal-hal berikut:

Melacak langkah-langkah kuantitatif dapat menunjukkan manfaat operasional langsung dari rekayasa kekacauan.

Ukuran kualitatif bersifat deskriptif, dan fokus pada pemahaman pengalaman dan pendapat. Mereka sering subjektif, dan mereka tidak dapat dengan mudah diukur secara numerik. Untuk rekayasa kekacauan, langkah-langkah kualitatif menangkap dampak organisasi yang lebih luas. Langkah-langkah kualitatif dapat mencakup hal-hal berikut:

Dengan mempertimbangkan dampak keuangan kuantitatif dan manfaat organisasi kualitatif, Anda dapat membuat keputusan yang lebih tepat tentang investasi rekayasa kekacauan yang berkelanjutan sambil menumbuhkan budaya ketahanan.

Untuk informasi lebih lanjut tentang langkah-langkah ini dan kerangka klasifikasi insiden terkait, lihat Lampiran B dan Lampiran C.