カオスエンジニアリングの ROI の定量化

現在、カオスエンジニアリングの長期投資利益率 (ROI) を定量化するための包括的な方法論や実際のデータを提供する公開リソースはほとんどありません。

ホワイトペーパー「The Business Case for Chaos Engineering」では、Netflix はカオスエンジニアリングの ROI を計算するための貴重な方程式を提供しています。この方程式は、カオスエンジニアリングジャーニーに着手する組織にとって出発点となります。

この式では、以下のコストを正確に見積もる必要があります。

カオスによる損害とは、カオスエンジニアリング実験の一環としてシステム内に意図的に障害や乱流を注入することによる悪影響や中断を指します。この方程式では、予防可能な停止と予防不可能な停止のコスト、カオスエンジニアリングプログラムの実装コスト、カオスによる損害コストを見積もる必要があります。

カオスエンジニアリングプログラムによってどの問題が防止できたかを確実に判断するのは難しい作業です。これには、問題の根本原因を調べ、カオスエンジニアリング実験がそれらを特定するのにどのように役立ったかを特定することを含む仮説分析が必要です。最新のシステムは複雑で、さまざまなコンポーネント、サービス、サードパーティーライブラリ間の多くの相互依存関係と相互作用があるため、この分析は困難です。さらに、システムの障害は多くの場合非決定的であり、障害を引き起こす条件を後から完全に理解するのは難しい場合があります。

Netflix によって提案されるアプローチにはいくつかの制限がありますが、組織がカオスエンジニアリングを検討し始めるための良い基盤となります。この方程式は、コストと潜在的な利点を見積もるのに役立ちます。これにより、このようなプログラムの実装を決定するのに役立ちます。ただし、組織がカオスエンジニアリングジャーニーをさらに進めるにつれて、より包括的な視点を組み込むために ROI 評価を拡張することが重要です。

この包括的なアプローチは、停止とエンジニアリングコストを削減することの直接的な利点を捉えるだけでなく、組織の全体的なレジリエンスに対する長期的で変革的な影響を強調します。カオスエンジニアリングの複合的な利点とより広範な組織効果をキャプチャし、カオスエンジニアリングの真の価値と影響をより正確に表現します。

ROI 定量化への包括的なアプローチ

全体的な ROI 評価では、 定量的測定だけでなく、定性的要因も考慮する必要があります。包括的なアプローチには、カオスエンジニアリングを長期間にわたって大規模に実践する組織の実世界のデータが必要です。収集した方程式アプローチ ROI データを使用して、草の根プロジェクトと目標から始まるデータを使用できます。

量的測定は、数量または頻度に焦点を当てます。測定値は目的であり、統計的に分析できます。例としては、アンケート、実験、データ分析などがあります。量的対策には以下が含まれます。

定量的測定を追跡すると、カオスエンジニアリングの直接的な運用上の利点を示すことができます。

定性的尺度は記述的であり、経験や意見の理解に焦点を当てています。多くの場合、主観的であり、数値的に簡単に測定することはできません。カオスエンジニアリングの場合、定性的測定はより広範な組織への影響を捉えます。定性的対策には以下が含まれます。

量的財務的影響と質的組織的利益の両方を考慮することで、レジリエンス文化を育むと同時に、継続的なカオスエンジニアリング投資についてより多くの情報に基づいた意思決定を行うことができます。

これらの対策とそれに関連するインシデント分類フレームワークの詳細については、付録 B と付録 C を参照してください。