Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.
Acerca de la ejecución y el seguimiento de un experimento
La ejecución de un experimento en producción requiere una supervisión y una planificación operativa cuidadosas. El aumento gradual de la exposición, la validación de la implementación y la supervisión del rendimiento pueden ayudar a reducir el riesgo y mejorar la confiabilidad de los resultados del experimento.
Consideraciones operativas
Comience con una exposición baja o del 0% y aumente la exposición gradualmente
Antes de exponer a los usuarios a los tratamientos:
Valide la representación del tratamiento
Confirme la evaluación del indicador de función
Verifique las métricas y los registros
Pruebe la instrumentación mediante anulaciones de asignación de tratamientos
Empezar con una exposición del 0% ayuda a detectar los problemas de implementación antes de que afecten a los usuarios. A continuación, puede aumentar la exposición de forma gradual y, de ese modo, limitar el impacto de las regresiones en caso de que surjan problemas. Al validar el comportamiento de los experimentos con una carga cada vez mayor, puedes supervisar los resultados de los experimentos y las métricas operativas antes de exponer a toda tu audiencia a los cambios.
Defina los procedimientos de reversión
Antes de iniciar la ejecución de un experimento, determine:
Cuándo se debe detener la ejecución
¿Qué métricas indican un comportamiento inaceptable
¿Cómo deshabilitar los tratamientos
Puedes configurar las alarmas en CloudWatch herramientas de monitoreo de terceros, como Datadog, New Relic o Dynatrace, para monitorear métricas clave como el tiempo de carga de la página, la tasa de conversión o las tasas de error durante un experimento. Si se activa una alarma, evalúa el impacto y decide si detener la ejecución del experimento o continuar. Para obtener más información sobre la configuración de alarmas, consulteSupervisión de las implementaciones para su restauración automática.
Coordine las implementaciones
Evite introducir cambios importantes en las aplicaciones durante la ejecución de un experimento activo. Los cambios en la lógica de las marcas de funciones, los sistemas de respaldo o los flujos de usuarios pueden invalidar los resultados del experimento o complicar el análisis. Si es necesario hacer cambios, detenga la ejecución actual e inicie una nueva una vez que se hayan aplicado las actualizaciones.
Además, limita la superposición de experimentos que afecten a los mismos usuarios o funciones. La superposición de experimentos puede sesgar los resultados e introducir comportamientos conflictivos. En resumen, coordine los experimentos con cuidado cuando las audiencias coincidan.
Para obtener más información sobre cómo su aplicación recupera un tratamiento asignado del AWS AppConfig Agente, incluidos los Context encabezados Entity-Id y, consulte. Recuperar los tratamientos experimentales
Consideraciones sobre el rendimiento
Al iniciar un experimento, supervise el rendimiento de la aplicación mediante el seguimiento de las métricas operativas durante toda la ejecución. En concreto, supervise:
Latencia
Tasas de error
Rendimiento
Uso de los recursos
Un tratamiento puede afectar al comportamiento del sistema aunque las métricas del experimento parezcan positivas. La exposición gradual ayuda a identificar estos problemas de forma segura.
Valide el desempeño del lado del cliente
Para los experimentos de interfaz de usuario, supervise:
Tiempo de carga de la página
Rendimiento de renderizado
Client-side errores
Device-specific comportamiento
Los diferentes tratamientos pueden afectar el rendimiento de la interfaz de forma diferente.
Principios operativos
Durante el experimento, tenga en cuenta los siguientes principios operativos:
- Trate los experimentos como cambios en la producción
-
Incluso los experimentos más pequeños pueden afectar a la estabilidad, el rendimiento, la experiencia del usuario y la calidad de los datos de las aplicaciones. La supervisión cuidadosa y la exposición gradual ayudan a reducir el riesgo y, al mismo tiempo, aumentan la confianza en los resultados de los experimentos.
- Mantenga la consistencia del tratamiento
-
Los usuarios deben recibir el mismo tratamiento durante toda la carrera. Para obtener más información sobre el diseño del tratamiento, consulteAcerca de los controles y tratamientos.
- Valide la instrumentación
-
Antes de aumentar la exposición, confirme que las métricas se registran correctamente y que los registros incluyen información sobre el tratamiento.
- Supervise las métricas específicas del experimento
-
Además de las métricas operativas, supervise las métricas directamente relacionadas con el experimento, como:
Tasa de conversión
Interacción con las funciones
Click-through tarifa
Frecuencia de error
Retención de usuarios
Elija métricas que se alineen con el objetivo del experimento.
