Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.
Medir el impacto de las recomendaciones mediante A/B pruebas
La realización de una A/B prueba consiste en realizar un experimento con múltiples variaciones y comparar los resultados. Realizar A/B pruebas con las recomendaciones de Amazon Personalize implica mostrar diferentes tipos de recomendaciones a distintos grupos de usuarios y, a continuación, comparar los resultados. Puede utilizar A/B las pruebas para comparar y evaluar diferentes estrategias de recomendación y medir el impacto de las recomendaciones.
Por ejemplo, puedes A/B realizar pruebas para comprobar si las recomendaciones de Amazon Personalize aumentan el porcentaje de clics. Para probar este escenario, puede mostrar recomendaciones a un grupo de usuarios que no estén personalizadas, como los productos destacados. Y puede mostrar a otro grupo recomendaciones personalizadas generadas por Amazon Personalize. A medida que sus clientes interactúan con los elementos, puede registrar los resultados y ver qué estrategia logra la mayor tasa de clics.
El flujo de trabajo para realizar A/B las pruebas con las recomendaciones de Amazon Personalize es el siguiente:
-
Planifique el experimento: defina una hipótesis cuantificable, identifique los objetivos empresariales, defina las variaciones del experimento y determine el marco temporal del experimento.
-
Divida a los usuarios: divida a los usuarios en dos o más grupos, con un grupo de control y uno o más grupos de experimentos.
-
Ejecute su experimento: muestre a los usuarios del grupo de experimentos las recomendaciones modificadas. Muestra las recomendaciones sin cambios a los usuarios del grupo de control. Registre sus interacciones con recomendaciones para realizar un seguimiento de los resultados.
-
Evalúe los resultados: analice los resultados del experimento para determinar si la modificación supuso una diferencia estadísticamente significativa para el grupo del experimento.
Prácticas recomendadas para pruebas A/B
Usa las siguientes prácticas recomendadas para ayudarte a diseñar y mantener A/B las pruebas de las recomendaciones de Amazon Personalize.
-
Identifique un objetivo empresarial cuantificable. Compruebe que las diferentes recomendaciones que desea comparar están en consonancia con este objetivo empresarial y no están relacionadas con objetivos diferentes o no cuantificables.
-
Defina una hipótesis cuantificable que esté en consonancia con su objetivo empresarial. Por ejemplo, puede predecir que una promoción de su propio contenido personalizado generará un 20 % más de clics en estos elementos. Su hipótesis determina la modificación que realice para su grupo del experimento.
-
Defina los indicadores clave de rendimiento relevantes (KPIs) relacionados con su hipótesis. Se utiliza KPIs para medir el resultado de los experimentos. Estos pueden ser los siguientes:
-
Tasa de clics
-
Tiempo de visualización
-
Precio total
-
-
Compruebe que el número total de usuarios del experimento es lo suficientemente grande como para alcanzar un resultado estadísticamente significativo, en función de su hipótesis.
-
Defina su estrategia de división del tráfico antes de empezar el experimento. Evite cambiar la división del tráfico mientras se esté llevando a cabo el experimento.
-
Mantenga la misma experiencia del usuario de su aplicación o sitio web tanto para el grupo del experimento como para el grupo de control, excepto en lo que respecta a las modificaciones relacionadas con el experimento (por ejemplo, el modelo). Las variaciones en la experiencia del usuario, como la IU o la latencia, pueden generar resultados engañosos.
-
Controle los factores externos, como los días festivos, las campañas de marketing en curso y las limitaciones del navegador. Estos factores externos pueden llevar a resultados engañosos.
-
Evite cambiar las recomendaciones de Amazon Personalize a menos que estén directamente relacionadas con su hipótesis o requisitos empresariales. Los cambios, como la aplicación de filtros o el cambio manual del orden, pueden generar resultados engañosos.
-
Cuando evalúe los resultados, asegúrese de que sean estadísticamente significativos antes de sacar conclusiones. El estándar del sector es un nivel de significancia del 5 %.
