Quantificando o ROI da engenharia do caos

Atualmente, poucos recursos publicados fornecem metodologias abrangentes ou dados do mundo real para quantificar o retorno sobre o investimento (ROI) de longo prazo para a engenharia do caos.

No paper The Business Case for Chaos Engineering, a Netflix oferece uma equação valiosa para calcular o ROI da engenharia do caos. Essa equação fornece um ponto de partida para as organizações que embarcam em sua jornada de engenharia do caos.

A equação exige que você estime com precisão os custos do seguinte:

O dano induzido pelo caos se refere ao impacto negativo ou à interrupção causada pela injeção deliberada de falhas ou condições turbulentas em um sistema como parte de experimentos de engenharia do caos. A equação exige estimar os custos de interrupções evitáveis e não evitáveis, os custos de implementação do programa de engenharia do caos e os custos de danos induzidos pelo caos.

Determinar com certeza quais problemas poderiam ter sido evitados por um programa de engenharia do caos é uma tarefa difícil. Isso requer uma análise hipotética que envolva examinar as causas básicas dos problemas e especular como os experimentos de engenharia do caos podem ter ajudado a identificá-los. Essa análise é desafiadora porque os sistemas modernos são altamente complexos, com inúmeras interdependências e interações entre vários componentes, serviços e bibliotecas de terceiros. Além disso, as falhas nos sistemas geralmente não são determinísticas, e as condições que causam falhas podem ser difíceis de entender completamente em retrospectiva.

Embora a abordagem sugerida pela Netflix tenha algumas limitações, ela serve como uma boa base para organizações começarem a explorar a engenharia do caos. A equação pode orientá-lo na estimativa de custos e benefícios potenciais, o que ajuda você a tomar decisões sobre a implementação desse programa. No entanto, à medida que as organizações avançam em sua jornada de engenharia do caos, é importante expandir a avaliação do ROI para incorporar uma perspectiva mais holística.

Essa abordagem holística não apenas capturará os benefícios diretos da redução de interrupções e custos de engenharia, mas também destacará os efeitos transformadores de longo prazo na resiliência geral da organização. Ele captura os benefícios combinados e os efeitos organizacionais mais amplos da engenharia do caos para fornecer uma representação mais precisa do verdadeiro valor e impacto da engenharia do caos.

Uma abordagem holística para quantificação do ROI

Uma avaliação holística do ROI deve levar em conta não apenas as medidas quantitativas, mas também os fatores qualitativos. A abordagem holística requer dados reais de organizações que praticam a engenharia do caos em grande escala por longos períodos de tempo. Você pode usar dados a partir dos projetos e metas de base por meio de quaisquer dados de ROI de abordagem de equação que você coletou.

As medidas quantitativas se concentram em quantidades ou frequências. As medidas são objetivas e podem ser analisadas estatisticamente. Os exemplos incluem pesquisas, experimentos e análise de dados. As medidas quantitativas podem incluir o seguinte:

O rastreamento de medidas quantitativas pode demonstrar os benefícios operacionais diretos da engenharia do caos.

As medidas qualitativas são descritivas e se concentram na compreensão de experiências e opiniões. Eles geralmente são subjetivos e não podem ser facilmente medidos numericamente. Para a engenharia do caos, as medidas qualitativas capturam os impactos organizacionais mais amplos. As medidas qualitativas podem incluir o seguinte:

Ao considerar os impactos financeiros quantitativos e os benefícios organizacionais qualitativos, você pode tomar decisões mais informadas sobre o investimento contínuo em engenharia do caos e, ao mesmo tempo, promover uma cultura de resiliência.

Para obter mais informações sobre essas medidas e sua estrutura de classificação de incidentes associada, consulte o Apêndice B e o Apêndice C.