As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
Sobre a execução e o monitoramento de um experimento
Executar um experimento em produção exige monitoramento cuidadoso e planejamento operacional. Aumentar gradualmente a exposição, validar a implementação e monitorar o desempenho pode ajudar a reduzir o risco e melhorar a confiabilidade dos resultados do experimento.
Considerações operacionais
Comece com uma exposição baixa ou 0% e aumente a exposição gradualmente
Antes de expor os usuários aos tratamentos:
Validar a renderização do tratamento
Confirme a avaliação da bandeira de recurso
Verifique as métricas e o registro
Teste a instrumentação usando substituições de atribuição de tratamento
Começar com 0% de exposição ajuda a detectar problemas de implementação antes de afetar os usuários. Você pode então aumentar a exposição gradualmente e, assim, limitar o impacto das regressões se ocorrerem problemas. Ao validar o comportamento do experimento sob carga crescente, você pode monitorar os resultados do experimento e as métricas operacionais antes de expor todo o seu público às mudanças.
Definir procedimentos de reversão
Antes de iniciar um experimento, determine:
Quando a corrida deve ser interrompida
Quais métricas indicam um comportamento inaceitável
Como desativar os tratamentos
Você pode configurar alarmes em CloudWatch ferramentas de monitoramento de terceiros, como Datadog, New Relic ou Dynatrace, para monitorar métricas importantes, como tempo de carregamento da página, taxa de conversão ou taxas de erro durante um experimento. Se um alarme for acionado, avalie o impacto e decida se deseja interromper a execução do experimento ou continuar. Para obter mais informações sobre como configurar alarmes, consulte. Monitorar implantações para reversão automática
Coordene as implantações
Evite introduzir grandes mudanças no aplicativo durante a execução de um experimento ativo. Alterações na lógica do sinalizador de recursos, nos sistemas de back-end ou nos fluxos do usuário podem invalidar os resultados do experimento ou complicar a análise. Se forem necessárias alterações, interrompa a execução atual e inicie uma nova após a aplicação das atualizações.
Além disso, limite os experimentos sobrepostos que afetam os mesmos usuários ou funcionalidades. Experimentos sobrepostos podem distorcer os resultados e introduzir comportamentos conflitantes. Resumindo, coordene os experimentos cuidadosamente quando os públicos se sobrepõem.
Para obter detalhes sobre como seu aplicativo recupera um tratamento atribuído pelo AWS AppConfig Agente, incluindo os Context cabeçalhos Entity-Id e, consulte. Recuperando tratamentos experimentais
Considerações sobre a performance
Ao iniciar um experimento, monitore o desempenho do aplicativo rastreando as métricas operacionais durante toda a execução. Especificamente, monitore:
Latência
Taxas de erro
Throughput
Utilização de recursos
Um tratamento pode afetar o comportamento do sistema mesmo que as métricas do experimento pareçam positivas. A exposição gradual ajuda a identificar esses problemas com segurança.
Valide o desempenho do lado do cliente
Para experimentos de interface do usuário, monitore:
Tempo de carregamento da página
Desempenho de renderização
Client-side erros
Device-specific comportamento
Tratamentos diferentes podem afetar o desempenho do front-end de forma diferente.
Princípios operacionais
Durante a execução de um experimento, tenha em mente os seguintes princípios operacionais:
- Trate os experimentos à medida que a produção muda
-
Mesmo pequenos experimentos podem afetar a estabilidade, o desempenho, a experiência do usuário e a qualidade dos dados do aplicativo. O monitoramento cuidadoso e a exposição gradual ajudam a reduzir o risco e, ao mesmo tempo, aumentam a confiança nos resultados do experimento.
- Manter a consistência do tratamento
-
Os usuários devem receber o mesmo tratamento durante toda a corrida. Para obter mais informações sobre o design do tratamento, consulteSobre controles e tratamentos.
- Validar a instrumentação
-
Antes de aumentar a exposição, confirme se as métricas estão registradas corretamente e se os registros incluem informações de tratamento.
- Monitore métricas específicas do experimento
-
Além das métricas operacionais, monitore métricas diretamente relacionadas ao experimento, como:
Taxa de conversão
Engajamento de recursos
Click-through taxa
Frequência de erro
Retenção de usuários
Escolha métricas que se alinhem com o objetivo do experimento.
