Tamaño de muestra.

Un test A/B no compara dos versiones de una página. Compara dos muestras de gente. Y dos muestras del mismo público, viendo exactamente la misma página, dan números distintos solo por cómo ha caído el reparto. El tamaño de muestra es el número de visitas que tiene que ver cada versión para que la diferencia que buscas asome por encima de ese ruido. Se calcula antes de lanzar, y fija el día en que el test se puede leer.

El malentendido que resuelve es creer que el test está listo cuando la herramienta pinta un ganador. La herramienta pinta ganador desde el primer día. Con trescientas visitas por lado, ese ganador es ruido con forma de decisión: un número que parece una conclusión y que el lunes siguiente puede haber cambiado de bando.

Pon números, con un ejemplo ilustrativo. Una página convierte al 2% y quieres saber si un cambio la lleva al 2,4%: un +20% relativo, cuatro décimas de punto. Si las dos versiones fueran idénticas, con 500 visitas por versión el azar ya produce diferencias de hasta ±1,74 puntos en 95 de cada 100 tests. Tus cuatro décimas quedan enterradas cuatro veces. Con 8.000 visitas por versión la horquilla sigue en ±0,43, todavía más ancha que lo que buscas. Hasta las 32.000 no baja a ±0,22.

El testing es estadística pura y dura, y la buena noticia es que casi todo el cálculo lo hacen las máquinas. Lo que no hacen es avisarte, antes de que montes nada, de si tu tráfico da para contestar la pregunta. Ese aviso es este número. Que 8 de cada 10 personas de una sala tengan los ojos azules no dice nada del 80% de la población: la sala es demasiado pequeña.

El 15,70 no es un número mágico. Sale de dos exigencias que fijas tú, aunque la herramienta las traiga puestas. La primera es la confianza del 95%: aceptas que 5 veces de cada 100 declararás ganador a un cambio que no hace nada. Es la significancia estadística. La segunda es la potencia del 80%: si el cambio mejora de verdad lo que dices, el test lo caza 8 veces de cada 10. Pedir un 90% de potencia sube la constante a 21,01; conformarte con un 90% de confianza la baja a 12,37. Muchas calculadoras redondean a 16 —la regla de Lehr—, y por eso dos herramientas te dan cifras un 2% distintas con los mismos datos.

La matriz enseña las dos cosas que importan de la fórmula. Una: la mejora va al cuadrado. Pedir la mitad de mejora multiplica la muestra por cuatro. Con un 2% de conversión, ver un +20% pide 19.230 visitas por versión; ver un +10%, 76.919. Dos: la conversión está debajo. Cuanto más rara es la acción que mides, más gente necesitas: la misma mejora del 20% sobre un 10% de conversión se resuelve con 3.532.

De la muestra a los días hay una división más: visitas por versión × número de versiones ÷ visitas diarias de esa URL. Se redondea hacia arriba a semanas enteras y nunca baja de dos, porque un negocio no convierte igual el martes que el domingo y una semana a medias mete unos días y no otros. En el ejemplo, 19.230 × 2 son 38.460 visitas, y al 2% eso son unas 769 conversiones en total. Lo que manda son esos eventos, no las visitas.

Qué entra y qué no. Las visitas son las de la página donde va el cambio, no las de la web entera. La c es la del evento de conversión que vas a medir de verdad, no la del embudo completo. Y esa c tiene que salir de un conteo que aguante: si el tracking duplica compras o pierde la mitad de los formularios, la muestra que calculas es la de otro negocio. Cuando la analítica y la herramienta de testing no cuentan lo mismo —una discrepancia de plataforma de manual—, usa la conversión que cuenta la herramienta, que es la que va a decidir el test.

Con 8.000 visitas al mes en la URL, el test necesita 21 semanas, casi cinco meses con la página congelada. Con 30.000, 6 semanas. Con 100.000, la ventana mínima de dos. Ese primer escenario no es casual: por debajo de 8.000 usuarios al mes por URL —dato contrastado con el equipo de VWO— un test A/B deja de ser representativo. Y como se ve, justo en el suelo y con una mejora generosa, el test ya pide más de veinte semanas. Si tu web mueve menos, no montes un A/B esperando que decida por ti: decide con research cualitativo, con grabaciones, mapas de calor y entrevistas. Eso no te libra de experimentar, solo cambia la herramienta.

Cuando la duración no cabe en tu calendario, las palancas salen de la propia fórmula. Pedir una mejora mayor, que en la práctica significa probar cambios que muevan mucho y no el color de un botón: doblar la m divide la muestra entre cuatro. Medir un paso más arriba, donde la c es más alta, sabiendo que contestas una pregunta más pequeña. Quitar versiones: cada una que añades reparte el mismo tráfico entre más bocas. O comprar el tráfico que falta con paid media hacia esa URL durante la ventana. Leída al revés, la misma cuenta te dice qué mejora mínima puede ver tu tráfico en el tiempo que tienes: eso es el efecto mínimo detectable.

Lo que no es palanca es bajar la exigencia a escondidas o parar antes de llegar. La muestra y la fecha de cierre se escriben en la hipótesis antes de lanzar, y el test se lee ese día, no el día que va ganando.