Efecto mínimo detectable.

Un test A/B no contesta “¿esto funciona?”. Contesta una pregunta bastante más estrecha: ¿este cambio es lo bastante grande como para que mi tráfico lo distinga del azar? El efecto mínimo detectable —MDE— es la respuesta a esa segunda pregunta, y se conoce antes de lanzar nada.

El malentendido que resuelve es el más caro de la disciplina. Un test vuelve “no concluyente” y en la reunión se traduce por “el cambio no funciona, siguiente”. Son dos cosas distintas. “No funciona” significa que la versión nueva no mejora nada. “No concluyente” significa que la mejora, si la hubo, era más pequeña que lo que tu muestra podía ver. La primera es información. La segunda es un instrumento demasiado corto, y confundirlas hace que tires a la basura cambios que sí funcionaban.

Pon números. Una página que recibe 8.000 visitas al mes, un 2% de conversión y un mes de test: quedan 4.000 visitas por variante. Con esa muestra, la mejora más pequeña que el test puede demostrar es de un +43,9% relativo. O sea que si tu cambio mejora la conversión un 8% de verdad —que en una web es un cambio bueno— el test va a decir “no concluyente” con total seguridad. No porque el cambio no sirva: porque el instrumento no llega.

Por eso el MDE es lo primero que se calcula de un experimento que se vaya a medir con un test. No es un tecnicismo de analista: es la decisión de si merece la pena gastar tres semanas de calendario en esa pregunta.

Lo importante de la fórmula no es la constante, es dónde está la n: debajo de una raíz. Cuadruplicar el tráfico no divide el listón por cuatro, lo divide por dos. Con un 2% de conversión, pasar de 4.000 a 30.000 visitas por variante —siete veces más gente— solo baja el mínimo detectable del 43,9% al 16,0%. Esa raíz es la razón de que el tamaño de muestra de un test crezca de forma tan brutal cuando quieres detectar cambios pequeños.

Sobre qué entra y qué no. La n son las visitas de esa URL, no las de la web entera: si el cambio está en una landing concreta, el tráfico que cuenta es el suyo. Y son visitas por variante: un test a dos versiones parte tu tráfico por la mitad antes de empezar, y uno a cuatro versiones lo parte por cuatro. La c es la conversión de la acción que vas a medir de verdad, no la del embudo entero; medir “clics en el botón” da un MDE mucho más bajo que medir compras, porque hay más eventos, pero entonces el test contesta sobre el botón y no sobre la venta. Y la ventana mínima son dos semanas completas, para que entren los lunes y los domingos.

De aquí sale una cifra que conviene tener a mano antes de prometer nada: con un 2% de conversión, ver una mejora del 10% exige 153.838 visitas repartidas entre las dos versiones. A 8.000 visitas al mes son más de diecinueve meses de test. No es que sea difícil, es que no se puede.

La tercera zona es la que se vive en la mayoría de las empresas medianas, y por eso existe una regla de suelo: por debajo de 8.000 usuarios al mes por URL —dato contrastado con el equipo de VWO— un test A/B deja de ser representativo. Es la muestra estadística de toda la vida: que 8 de cada 10 personas de una sala tengan los ojos azules no dice nada del 80% de la población. Si tu web mueve menos de eso, no montes un A/B esperando que decida por ti. Decide con research cualitativo: grabaciones, mapas de calor, entrevistas. Eso no te libra de experimentar, solo cambia la herramienta.

Cuando el MDE sale absurdo hay exactamente tres salidas, y ninguna es estadística. Una: probar un cambio más grande. Si tu test solo ve mejoras del 40% para arriba, deja de testear el color del botón y rehaz la página entera, porque solo un cambio de ese tamaño va a asomar por encima del ruido. Dos: comprar el tráfico que falta. Meter presupuesto de paid media a esa URL durante la ventana del test es a menudo más barato que esperar seis meses, y tiene la ventaja de que el tráfico comprado se puede cortar en seco cuando el test cierra. Tres: medir más arriba. Si la compra es un evento raro, mide el paso anterior —el añadir al carrito, el inicio de formulario— sabiendo que estás contestando una pregunta más pequeña.

Y una advertencia de fondo, porque el MDE se usa muchas veces para justificar volumen de tests. El objetivo no es lanzar el máximo número de experimentos posible. Se han visto proyectos que, tocando solo 4 o 5 cosas, logran más que otros que lanzan 15 tests a la semana durante meses. Antes de tocar nada van tres preguntas: cuál es tu North Star, qué cuello de botella quieres superar y qué objetivo tiene realmente este test. El MDE es lo que ordena el backlog de experimentos después de contestarlas, no lo que las sustituye. Y cada test sigue naciendo de una hipótesis con fundamento, no de un “a ver qué pasa”.