Cómo se escribe una hipótesis.
Si cambio X, la métrica Y se mueve Z porque W. Cuatro piezas que se escriben antes de lanzar nada, y la que más se olvida, el porqué, es la que convierte un resultado en aprendizaje.
Una hipótesis de experimento es la frase que, antes de lanzar un test, dice qué se va a cambiar, qué métrica se espera mover, cuánto y por qué. Sigue la plantilla «si cambio X, la métrica Y se mueve Z porque W», y sin ella un test puede ganar o perder pero no enseña nada.
También: hypothesis · growth hypothesis · hipótesis de experimento
Agencia Snowball, Barcelona · Revisado el
Una frase con cuatro piezas, escrita antes de tocar nada.
Una hipótesis es la frase que se escribe antes de lanzar un experimento y que dice tres cosas: qué vas a cambiar, qué métrica esperas mover y por qué crees que se va a mover. La forma que funciona es siempre la misma: si cambio X, la métrica Y se mueve Z porque W.
Existe para separar dos cosas que desde fuera se parecen mucho: experimentar y probar a ver qué pasa. Experimentar es lanzar una hipótesis con fundamento. Llevas un tiempo mirando el negocio, te has dado cuenta de que pasa algo, y propones hacerlo de otra manera porque crees que funcionará mejor. Probar a ver qué pasa es lo contrario: cambiar cosas sin saber qué buscas, y celebrar o lamentar lo que salga. A esa segunda forma de trabajar la llamamos daigualismo, y es delegar el criterio y cruzar los dedos.
El malentendido que resuelve es creer que el valor de un test está en si gana. No está ahí. Un test A/B que gana sin hipótesis te da un número más alto y ninguna explicación; uno que pierde con una buena hipótesis te dice que una causa que creías real no lo era. El segundo vale más, porque mejora la siguiente apuesta. Por eso la pieza que más se olvida, el porqué, es la que más importa.
Una sola cosa, concreta, que alguien pueda hacer mañana.
Ejemplo: quito el registro obligatorio antes de pagar
Una métrica que ya esté en tu cascada de KPIs, no una inventada para el test.
Ejemplo: la conversión del checkout
Dirección y tamaño. Sin tamaño no sabes cuánto tráfico hace falta.
Ejemplo: de un 2,0% a un 2,4% (un 20% más)
El mecanismo que has observado. Es la pieza que convierte el resultado en aprendizaje.
Ejemplo: en las grabaciones la gente abandona en el formulario de alta
Ejemplo ilustrativo, no de un cliente. Leído de corrido: si quito el registro obligatorio antes de pagar, la conversión del checkout pasa de un 2,0% a un 2,4%, porque en las grabaciones la gente abandona en el formulario de alta.
De arriba abajo, y la Z con número.
Una hipótesis no empieza por la idea, empieza por tres preguntas que se contestan antes de tocar nada: cuál es tu North Star, qué cuello de botella quieres superar y qué objetivo tiene de verdad este test.
Con esas tres contestadas, las piezas se rellenan en orden. La Y sale de tu cascada de KPIs: tiene que ser una métrica que ya declaraste y que cuelga de la North Star, no una que te inventas para que el test tenga algo que enseñar. Si la métrica que prometes mover no está en la cascada, aunque se mueva no habrás movido nada que importe.
La W sale de lo que has observado: grabaciones, mapas de calor, entrevistas, datos del embudo, una queja que se repite. Es la parte de la frase que tiene que poder ser falsa. “Porque será más bonito” no es un mecanismo. “Porque la gente abandona en el formulario de alta” sí: puedes comprobarlo y puedes equivocarte.
Y la Z lleva número, aunque sea una estimación. No es por quedar serio: es que el tamaño del efecto que prometes decide cuánto tráfico hace falta para contestar la pregunta. Cuanto más pequeño es el cambio que esperas ver en la tasa de conversión, más visitas necesitas para distinguirlo del ruido. Esa cuenta tiene nombre, el tamaño de muestra, y la curva de abajo es esa cuenta dibujada para una web concreta.
Supongamos una URL con 8.000 usuarios al mes y una conversión base del 2%. Una hipótesis que promete un 10% de mejora necesita 19,6 meses de tráfico para contestarse. Si promete un 20%, 4,9 meses. Un 30%, 2,2. Un 50%, menos de un mes. Por debajo de 8.000 usuarios al mes por URL un A/B deja de ser representativo, y con efectos pequeños ni siquiera ahí llega. El mínimo que te interesa detectar es el efecto mínimo detectable, y se decide al escribir la Z, no al mirar el resultado.
La hipótesis decide qué lanzas y qué aprendes al cerrar.
Escrita bien, la hipótesis sirve dos veces: antes de lanzar, para decidir si el test merece la pena; y al cerrar, para saber qué te has llevado.
Antes de lanzar, la frase entera entra en tu backlog de experimentos y compite con las demás. Si la Z es pequeña y tu tráfico no da, esa hipótesis no se contesta con un A/B: se contesta con research cualitativo o se aparca. No te libra de experimentar, solo cambia la herramienta: el CRO no es solo A/B, también es mirar grabaciones y preguntar. Y no gana quien más lanza: hemos visto proyectos que, tocando solo 4 o 5 cosas, logran más que otros que lanzan 15 tests a la semana durante meses. Cinco hipótesis bien escritas valen más que quince ideas.
Al cerrar, la hipótesis es la vara de medir. Cualquier resultado se lee contra la frase que escribiste: si se movió la Y, cuánto comparado con la Z y si el porqué aguanta. Eso es lo que convierte un test en aprendizaje validado, y lo que se apunta en la tarjeta del test cuando se cierra. Sin la frase escrita antes, el resultado se interpreta después, y después todo el mundo encuentra la explicación que le conviene.
Sabes qué mecanismo funciona y dónde más aplicarlo.
El mecanismo era falso: tachas una causa y la siguiente hipótesis sale mejor.
El efecto, si existe, es menor que tu Z: sabes que esa palanca no da para tanto.
Un pico que no sabes repetir. Lo copias donde no toca y deja de funcionar.
Sabes que esa versión no, pero no por qué. La siguiente idea es otra tirada.
Nada. Ni siquiera sabes qué cambio esperabas ver.
Con porqué, los tres resultados enseñan algo. Sin porqué, ninguno: ganar se parece a acertar y perder se parece a no haber tenido suerte.
La fila de abajo tiene un caso de libro. En una empresa de viajes se cambió la foto de una landing por otra más bonita, sin pensar en el destino. Ese año el destino de la foto se puso de moda por motivos ajenos, y las reservas se multiplicaron por 100. No fue el cambio, fue chiripa: la foto acompañó, no causó. Sin el porqué, un pico es ruido; lo replicas donde no toca y no entiendes por qué deja de funcionar. Con el porqué, es una receta que se puede repetir.
Y escribe hipótesis también sobre lo que ya funciona. Cuando algo va mal, todo el mundo se pregunta qué ha fallado. Cuando algo va bien, no lo analiza nadie, y ahí está la mitad de las hipótesis buenas: por qué funciona lo que funciona y cómo se multiplica.
Cuatro formas de escribirla y no aprender nada.
Escribirla después del resultado
Si la frase se redacta cuando ya ves los números, no es una hipótesis: es una explicación a medida. Se escribe antes de lanzar, se guarda con fecha y no se toca. Es lo único que impide que cualquier resultado parezca la confirmación de lo que alguien ya pensaba.
Prometer mover una métrica que no importa
Clics, tiempo en página, interacciones. Se mueven con facilidad y por eso tientan, pero si la Y no está en tu cascada es una métrica de vanidad: el test gana y el negocio se queda igual.
Dejar la Z sin número
“La conversión subirá” no se puede contestar. Sin tamaño no sabes si tu tráfico llega, ni cuándo parar, ni si lo que ves es el efecto o ruido. Y sin una frontera escrita, la tentación es parar el test el día que la significancia sale bonita.
Meter varios cambios en la X
Nuevo titular, nueva foto y nuevo botón a la vez. Si gana, no sabes cuál de los tres ha sido; si pierde, puede que uno bueno haya quedado tapado por dos malos. Una X, un mecanismo. Lo demás va a otra hipótesis.
Lo que se pregunta sobre hipótesis.
¿Cómo se escribe la hipótesis de un experimento?
Con cuatro piezas: si cambio X, la métrica Y se mueve Z porque W. X es un único cambio concreto, Y una métrica que ya está en tu cascada de KPIs, Z la dirección y el tamaño del efecto que esperas, y W el mecanismo que has observado y que podría ser falso.
¿Por qué la hipótesis tiene que llevar un número?
Porque el tamaño del efecto que prometes decide cuánto tráfico hace falta para contestarla. Con 8.000 usuarios al mes y una conversión base del 2%, prometer un 20% de mejora pide unos 4,9 meses de test; prometer un 10%, casi 20 meses.
¿Qué pasa si el test sale perdedor?
Si la hipótesis tenía porqué, has aprendido que esa causa no era real y la siguiente apuesta sale mejor. Si no lo tenía, solo sabes que esa versión no funcionó, y la siguiente idea vuelve a ser una tirada a ciegas.
¿Cuántas hipótesis conviene lanzar a la vez?
Pocas y bien escritas. Hay proyectos que tocando cuatro o cinco cosas logran más que otros que lanzan quince tests a la semana durante meses. Cada hipótesis, además, con un solo cambio: si metes varios, no sabrás cuál ha movido la métrica.
Los que hacen falta para usar este.
Cómo se comprueba una idea antes de creérsela, y cuándo un resultado significa algo.
Un cambio hecho a propósito para contestar una pregunta, con el criterio de éxito decidido antes de mirar el resultado. Sin pregunta ni criterio no hay experimento: hay un cambio.
La traducción de la North Star a 1-2 indicadores por departamento, con valor actual y objetivo.
Optimización de la conversión. Casi siempre es lo que hay que mirar ANTES de tocar los anuncios.
Lo que sabes después del experimento y no sabías antes, escrito para que siga sirviendo dentro de un año. El único resultado que no caduca cuando cambias la creatividad.
La lista ordenada de lo que vas a probar y en qué orden. Convierte las ideas sueltas de una reunión en trabajo de las próximas semanas.
La mejora más pequeña que tu tráfico puede llegar a demostrar. Decide si un test merece la pena antes de lanzarlo, no después de tres semanas sin conclusión.
