Quantifier le retour sur investissement de l'ingénierie du chaos

À l'heure actuelle, très peu de ressources publiées fournissent des méthodologies complètes ou des données réelles pour quantifier le retour sur investissement (ROI) à long terme de l'ingénierie du chaos.

Dans le paper The Business Case for Chaos Engineering, Netflix propose une équation précieuse pour calculer le retour sur investissement de l'ingénierie du chaos. Cette équation constitue un point de départ pour les entreprises qui se lancent dans l'ingénierie du chaos.

L'équation exige que vous estimiez avec précision les coûts des éléments suivants :

Les dommages provoqués par le chaos font référence à l'impact négatif ou à la perturbation causés par l'injection délibérée de défaillances ou de conditions turbulentes dans un système dans le cadre d'expériences d'ingénierie du chaos. L'équation nécessite d'estimer les coûts des pannes évitables et non évitables, les coûts de mise en œuvre des programmes d'ingénierie du chaos et les coûts des dommages induits par le chaos.

Il est difficile de déterminer avec certitude quels problèmes auraient pu être évités grâce à un programme d'ingénierie du chaos. Cela nécessite une analyse hypothétique qui consiste à examiner les causes profondes des problèmes et à spéculer sur la manière dont les expériences d'ingénierie du chaos auraient pu aider à les identifier. Cette analyse est difficile car les systèmes modernes sont très complexes, avec de nombreuses interdépendances et interactions entre différents composants, services et bibliothèques tierces. De plus, les défaillances des systèmes sont souvent non déterministes, et les conditions à l'origine des défaillances peuvent être difficiles à comprendre avec le recul.

Bien que l'approche suggérée par Netflix présente certaines limites, elle constitue une bonne base pour les organisations qui commencent à explorer l'ingénierie du chaos. L'équation peut vous aider à estimer les coûts et les avantages potentiels, ce qui vous aide à prendre des décisions concernant la mise en œuvre d'un tel programme. Cependant, au fur et à mesure que les entreprises progressent dans leur parcours d'ingénierie du chaos, il est important d'étendre l'évaluation du retour sur investissement afin d'intégrer une perspective plus globale.

Cette approche holistique permettra non seulement de tirer parti des avantages directs de la réduction des pannes et des coûts d'ingénierie, mais également de mettre en évidence les effets transformateurs à long terme sur la résilience globale de l'organisation. Il capture les avantages cumulatifs et les effets organisationnels plus larges de l'ingénierie du chaos afin de donner une représentation plus précise de la valeur et de l'impact réels de l'ingénierie du chaos.

Une approche globale de la quantification du retour sur investissement

Une évaluation globale du retour sur investissement doit prendre en compte non seulement des mesures quantitatives, mais également des facteurs qualitatifs. L'approche holistique nécessite des données réelles provenant d'organisations qui pratiquent l'ingénierie du chaos à grande échelle sur de longues périodes. Vous pouvez utiliser des données provenant de projets et d'objectifs locaux par le biais de toutes les données de retour sur investissement que vous avez collectées selon une approche par équation.

Les mesures quantitatives se concentrent sur les quantités ou les fréquences. Les mesures sont objectives et peuvent être analysées statistiquement. Les exemples incluent des enquêtes, des expériences et des analyses de données. Les mesures quantitatives peuvent inclure les suivantes :

Le suivi des mesures quantitatives peut démontrer les avantages opérationnels directs de l'ingénierie du chaos.

Les mesures qualitatives sont descriptives et visent à comprendre les expériences et les opinions. Ils sont souvent subjectifs et ne peuvent pas être facilement mesurés numériquement. Pour l'ingénierie du chaos, les mesures qualitatives capturent les impacts organisationnels plus larges. Les mesures qualitatives peuvent inclure les suivantes :

En tenant compte à la fois des impacts financiers quantitatifs et des avantages organisationnels qualitatifs, vous pouvez prendre des décisions plus éclairées concernant la poursuite des investissements dans l'ingénierie du chaos tout en favorisant une culture de résilience.

Pour plus d'informations sur ces mesures et le cadre de classification des incidents qui leur est associé, voir les annexes B et C.