Cuantificación del ROI de la ingeniería del caos

En la actualidad, muy pocos recursos publicados proporcionan metodologías completas o datos del mundo real para cuantificar el retorno de la inversión (ROI) a largo plazo de la ingeniería del caos.

En el paper The Business Case for Chaos Engineering, Netflix ofrece una valiosa ecuación para calcular el ROI de la ingeniería del caos. Esta ecuación proporciona un punto de partida para las organizaciones que se embarcan en su viaje hacia la ingeniería del caos.

La ecuación requiere que calcule con precisión los costos de lo siguiente:

El daño provocado por el caos se refiere al impacto negativo o la perturbación que se produce al inyectar deliberadamente fallas o condiciones turbulentas en un sistema como parte de los experimentos de ingeniería del caos. La ecuación requiere estimar los costos de las interrupciones evitables y no evitables, los costos de implementación de los programas de ingeniería del caos y los costos de los daños provocados por el caos.

Determinar con certeza qué problemas podrían haberse evitado con un programa de ingeniería del caos es una tarea difícil. Requiere un análisis hipotético que implique analizar las causas fundamentales de los problemas y especular sobre cómo los experimentos de ingeniería del caos podrían haber ayudado a identificarlos. Este análisis es difícil porque los sistemas modernos son muy complejos y presentan numerosas interdependencias e interacciones entre varios componentes, servicios y bibliotecas de terceros. Además, las fallas en los sistemas suelen ser no deterministas y, en retrospectiva, las condiciones que las provocan pueden resultar difíciles de entender completamente.

Si bien el enfoque sugerido por Netflix tiene algunas limitaciones, constituye una buena base para las organizaciones que comienzan a explorar la ingeniería del caos. La ecuación puede guiarlo a la hora de estimar los costos y los beneficios potenciales, lo que le ayudará a tomar decisiones sobre la implementación de un programa de este tipo. Sin embargo, a medida que las organizaciones avanzan en su camino hacia la ingeniería del caos, es importante ampliar la evaluación del ROI para incorporar una perspectiva más holística.

Este enfoque holístico no solo capturará los beneficios directos de la reducción de las interrupciones y los costos de ingeniería, sino que también destacará los efectos transformadores a largo plazo en la resiliencia general de la organización. Captura los beneficios acumulados y los efectos organizacionales más amplios de la ingeniería del caos para ofrecer una representación más precisa del verdadero valor y el impacto de la ingeniería del caos.

Un enfoque holístico para la cuantificación del ROI

Una evaluación holística del ROI debe tener en cuenta no solo las medidas cuantitativas sino también los factores cualitativos. El enfoque holístico requiere datos del mundo real de organizaciones que practican la ingeniería del caos a gran escala durante períodos de tiempo más largos. Puede utilizar los datos partiendo de los proyectos y objetivos básicos y pasando por cualquier dato de ROI que haya recopilado con un enfoque de ecuaciones.

Las medidas cuantitativas se centran en las cantidades o frecuencias. Las mediciones son objetivas y se pueden analizar estadísticamente. Los ejemplos incluyen encuestas, experimentos y análisis de datos. Las medidas cuantitativas pueden incluir lo siguiente:

El seguimiento de las medidas cuantitativas puede demostrar los beneficios operativos directos de la ingeniería del caos.

Las medidas cualitativas son descriptivas y se centran en comprender las experiencias y las opiniones. A menudo son subjetivas y no se pueden medir numéricamente fácilmente. En el caso de la ingeniería del caos, las medidas cualitativas capturan los impactos organizacionales más amplios. Las medidas cualitativas pueden incluir lo siguiente:

Al tener en cuenta tanto los impactos financieros cuantitativos como los beneficios organizacionales cualitativos, puede tomar decisiones más informadas sobre la inversión continua en la ingeniería del caos y, al mismo tiempo, fomentar una cultura de resiliencia.

Para obtener más información sobre estas medidas y su marco de clasificación de incidentes asociado, consulte los apéndices B y C.