Tras varias semanas de emocionante espera, es hora de ver que resultados arroja el test del Señor X ¿habrá servido nuestro tratamiento para curar su Web?
Desgraciadamente el señor X ha pedido que no se faciliten los resultados de su sitio Web así que tomaré prestados los datos de otro “paciente”.
Seguimiento del experimento
Hemos ido haciendo un seguimiento de la evolución del experimento. Como comentaba en semanas anteriores, pasado el primer día Google Website optimizer empieza a mostrar resultados parciales.
Acceder a estos resultados es tan sencillo como pinchar sobre el enlace de “ver informe”
Fig. 1 Acceso al informe de resultados.
Lo primero que veremos, es un aviso que nos indica que no se han obtenido suficientes datos para dar un ganador claro (durante los primeros días del test), no obstante, ya podemos hacernos una idea de como evoluciona el test, que combinaciones parecen ir mejor y cuales peor.
Es muy importante no sacar conclusiones precipitadas en base a estos primeros resultados, me ha pasado más de una vez que un sitio responde bien a un “tratamiento” los primeros días y al finalizar el test resulta que el mejor “tratamiento” (combinación) era otra completamente diferente.
Fig. 2 Ejemplo de resultados parciales durante un test multivariante.
Finalización del experimento
Al cabo de 7 días aproximadamente, Optimizer nos indica que ha recopilado suficientes datos y puede mostrar resultados definitivos (el tiempo que tarda Website Optimizer en mostrar datos fiables depende de factores como el número de combinaciones, número de visitas, porcentaje de visitantes que participan en el experimento etc.)
Es entonces cuando llega el momento de decidir si paramos el test o lo continuamos unos días para obtener datos más fiables (ya se sabe, cuanta más información se tenga más ajustados serán los resultados).
Si decidimos parar el test, se nos dan dos posibilidades:
• Realizar un test de seguimiento: Esta opción nos permite finalizar el test actual y realizar un nuevo experimento en el que solo testeamos la página original con la combinación ganadora (u otra que escojamos).
Es muy útil y siempre conviene realizar este tipo de test cuando queramos validar los resultados de un experimento, ya que eliminamos el ruido de las otras combinaciones y centramos el tráfico en dos combinaciones para comprobamos que los resultados obtenidos se mantienen.
• Parar el test y dejar una de las combinaciones activas: esta opción, como indica su nombre, nos permite seleccionar una de las combinaciones y mostrarla por defecto cuando finalice el test (hasta que quitemos los tags del experimento).
En nuestro caso, pararemos el experimento y dejaremos la combinación original.
Fig 3. Tras obtener resultados válidos, paramos el experimento.
Fig 4. Escogemos la combinación que queremos dejar online hasta que eliminemos los tags del experimento.
Análisis de resultados
Hasta ahora les he contado hemos visto como parar el experimento pero lo interesante son los resultados así que veamos como interpretarlos, nos ponemos cómodos (albornoz, zapatillas…) y empezamos a ver si hemos curado o no al paciente.
Generalmente una pantalla de resultados tendrá este aspecto:
Fig. 5 Páginas de resultados de un experimento cuantos mas rectángulos verdes mejor 
Tendremos dos pestañas; combinaciones y secciones. Creo que está bastante claro que datos aporta cada una pero, en resumen, la pestaña de combinaciones muestra los resultados de las combinaciones testeadas mientras que la pestaña de secciones, muestra que secciones de las testeadas funcionaron mejor y su grado de importancia a la hora de mejorar la conversión.
La explicación de la pestaña de combinaciones es la siguiente:
• Primera columna: nos indica las diferentes combinaciones que estamos testeando, podemos pinchar sobre una para… prefiero mantener la intriga y que lo pruebes en el experimento que hagas 
• Segunda columna: Se nos indica la tasa de conversión más un componente de variación. Muestra también un gráfico de la mejora o empeoramiento observado frente a la combinación original. En este caso, la combinación 2 es claramente la “ganadora” de este test.
La situación ideal en un experimento es conseguir que una de las combinaciones destaque frente a las demás (es decir, que no se solape con ninguna otra y este en verde y la derecha por supuesto)
• La tercera columna: Nos muestra la probabilidad, según Optimizer, de que esta combinación convierta mejor que la combinación original.
• La cuarta columna: Bueno, creo que bastante evidente pero por si alguno tiene dudas, es el porcentaje de mejora observado con respecto a la combinación original
• La quinta y última columna: Indica el número de usuarios “convertidos” frente al número de usuarios que vieron la combinación.
En cuanto a la tabla de secciones:
• Primera columna: Nos indica la importancia de un elemento (valor de 1 a 5) en la mejora o empeoramiento de la conversión. En el ejemplo, vemos que el primer elemento (blqtestimonial) empeora la conversión con respecto a la original.
• Segunda columna: Nombres de las secciones que estamos probando.
• La tercera columna: Se nos indica la tasa de conversión de esa sección (contando la conversión de las páginas donde aparece dicha sección) más un componente de variación. Al igual que con las combinaciones, nos muestra un gráfico de la mejora o empeoramiento observado frente a la sección original correspondiente.
• La cuarta columna: Mejora observada con respecto a la sección original.
• La quinta y última columna: Indica el número de usuarios “convertidos” frente al número de usuarios que vieron la sección.
Para terminar
Bueno, con todo lo que he explicado en los últimos post, deberían estar ya preparando unos cuantos test y si no, ¿a qué esperan? Que son casi 12 folios de post!
Al final, lo importante de usar Optimizer es que conlleva una metodología de mejoras y testeo continuos que “obliga” a estar continuamente probando mejoras y cambios, pero para que funcione, debemos aceptar los resultados que obtengamos del experimento y aplicarlos, no vale decir que como no me gustan los resultados no los aplico (eso seria hacer trampas ;)).
Si tienen alguna duda o comentarios, recuerden que mi consulta está abierta todo el año.
Tags:
métricas •
test multivariante
