Test A/B

Esta calculadora contesta dos preguntas que llegan en momentos distintos. Antes de lanzar un test: cuántas visitas necesita cada versión y cuántas semanas va a tardar con tu tráfico. Después de cerrarlo: si la diferencia entre A y B es real o es ruido, y con qué confianza.

La primera es la que casi nadie hace y la que más dinero ahorra. Un test sin tráfico suficiente para ver la mejora que buscas acaba en «no concluyente», o peor, en un falso ganador que implementas y no mueve nada. Saberlo antes cuesta dos minutos.

La segunda evita el error contrario: dar por bueno un resultado porque la herramienta pinta la variante en verde el tercer día. La calculadora hace la prueba estándar de dos proporciones y te avisa si todavía no has llegado a la muestra que planificaste.

La decisión que ayuda a tomar es una de tres: lanzar el test tal como está, rediseñarlo para que quepa en tu tráfico (un cambio más grande, menos variantes, otra página) o no hacerlo y decidir con otros datos.

El modo Planificar se usa antes de tocar la herramienta de test. El modo Analizar, cuando el test ha llegado a la fecha que fijaste. Los datos salen de GA4, de la propia herramienta de test o de tu tienda; lo que importa es que sean de la misma página y del mismo periodo.

1. 01
   Conversión actual

   La de la página que vas a probar, no la de toda la web: conversiones entre visitas de esa URL en las últimas cuatro semanas, de GA4 con un informe filtrado por página de destino. Si el objetivo del test es otro paso, como añadir al carrito o empezar el formulario, usa la conversión de ese paso.

2. 02
   Mejora mínima a detectar

   La mejora relativa más pequeña que te importaría encontrar. Un 10 % sobre un 2 % es llegar a un 2,2 %. No es lo que esperas ganar: es el efecto mínimo detectable, lo más pequeño que quieres que el test sea capaz de ver. Cuanto más pequeño, más muestra.

3. 03
   Visitas al día

   Las que recibe esa página y entran en el test, de media diaria. Si solo vas a probar en móvil o en un país, cuenta solo esas.

4. 04
   Número de variantes

   Contando la original: A contra B son dos. Puedes poner hasta cuatro, pero cada una divide el tráfico y obliga a pedir más confianza a cada comparación.

5. 05
   Confianza

   90 %, 95 % o 99 %. El 95 % es el estándar razonable para decisiones de web. El 90 % vale para cambios baratos de deshacer; el 99 %, para cambios caros o difíciles de revertir, como un precio.

6. 06
   Potencia

   La calculadora trabaja con un 80 %: la probabilidad de detectar la mejora si de verdad existe. Es la convención habitual. La ficha de potencia estadística explica qué cambia si pides más.

7. 07
   Visitas y conversiones de A y de B

   Solo en Analizar. Los totales de cada versión al cerrar el test, de la herramienta de test o de GA4 con la dimensión del experimento. Visitas o usuarios, pero lo mismo en las dos.

La muestra por variante sale de la fórmula estándar para comparar dos proporciones: (zα + zβ)² × [p₁(1 − p₁) + p₂(1 − p₂)] ÷ (p₂ − p₁)². p₁ es tu conversión actual y p₂ la que tendrías con la mejora mínima. zα depende de la confianza: 1,645 al 90 %, 1,96 al 95 % y 2,576 al 99 %. zβ es 0,84 para un 80 % de potencia.

La duración es la muestra por variante, por el número de variantes, entre las visitas al día. Se redondea hacia arriba a semanas enteras, porque la gente no compra igual un lunes que un domingo y un test que corta a media semana mezcla días que no se compensan.

Con más de dos variantes, la calculadora corrige la confianza con el método de Bonferroni: divide el margen de error entre el número de comparaciones contra la original. Con tres variantes al 95 %, cada comparación se hace como si pidieras un 97,5 % (zα de 2,241).

En el ejemplo con un +30 %, pasar de dos a tres variantes sube la muestra por variante de 9.784 a 11.846 y el total de 19.568 a 35.538 visitas. Casi el doble de tráfico por una sola idea más.

El modo Analizar hace la prueba z de dos proporciones con la conversión conjunta: z = (p_B − p_A) ÷ √[p(1 − p)(1/n_A + 1/n_B)], donde p son todas las conversiones entre todas las visitas. La confianza que enseña es 1 menos el p-valor bilateral.

Otro ejemplo hipotético: A con 18.000 visitas y 540 conversiones (3,0 %), B con 18.000 y 612 (3,4 %). La mejora relativa es del 13,3 % y la confianza sale del 96,9 %. Significativo al 95 %, no al 99 %.

Si ese test se hubiera planificado para detectar un +10 %, la muestra pedía 53.148 visitas por variante. Con 18.000, la calculadora avisaría de que vas por debajo: el resultado puede ser uno de los picos que suben y bajan mientras el test está en marcha, y lo prudente es dejarlo correr hasta la fecha fijada.

En Planificar, el veredicto sale de las semanas que necesita el test. En Analizar, de comparar la confianza con el nivel que elegiste. Esto es lo que haríamos en cada caso:

• Viable, hasta 4 semanas. Lánzalo con la fecha de cierre escrita antes de empezar. Aunque la cuenta diga una semana, nosotros no cerraríamos un test en menos de dos: una sola semana deja el resultado en manos de un lunes raro o de una campaña puntual.
• Largo, de 4 a 8 semanas. Se puede hacer, pero en ese tiempo cambian las campañas, la estacionalidad y a veces la propia web. Antes de lanzarlo, prueba a subir la mejora mínima o a quitar variantes y mira cuánto baja.
• No viable, más de 8 semanas. Con tu tráfico ese test no va a decidir nada. Prueba cambios más grandes, como la oferta, la página entera o el precio, que muevan lo bastante para verse con la muestra que tienes. O mide un paso del embudo con más conversiones.
• Significativo. La confianza llega al nivel que elegiste. Implementa la ganadora, pero toma la mejora como una estimación: el efecto que mide un test ganador tiende a salir inflado, precisamente porque te quedas con el que salió alto.
• No significativo. Con esos datos no se puede afirmar nada. No quiere decir que B no funcione, sino que el test no lo distingue del ruido.

El aviso de muestra insuficiente pesa más que la confianza. Si te sale, la confianza que ves todavía no vale: mirar el resultado cada día y parar cuando cruza la línea es la forma más rápida de implementar falsos ganadores. La significancia estadística se lee en la fecha que fijaste, no antes.

Para hacerte una idea antes de meter tus datos: visitas por variante según tu conversión actual y la mejora mínima que quieres detectar, con dos variantes, un 95 % de confianza y un 80 % de potencia.

Dos cosas se leen solas en la tabla. Buscar mejoras pequeñas en páginas que convierten poco es carísimo en tráfico: un +10 % sobre un 1 % pide más de 160.000 visitas por versión. Y subir un paso en el embudo, donde la conversión es más alta, abarata el test: lo que al 1 % pide 42.642 visitas, al 5 % pide 8.146.

Casi ningún test se estropea por la estadística. Se estropea por cómo se monta y por cuándo se mira.

• Mirar el resultado cada día y parar cuando sale verde. La confianza sube y baja mientras el test corre. Si paras en el mejor momento, implementas ruido. La muestra y la fecha se fijan antes de empezar.
• Usar la conversión de toda la web. El test va en una página concreta y su conversión puede ser muy distinta de la media. Con la cifra equivocada, la muestra sale mal desde el principio.
• Confundir la mejora mínima con la esperada. Poner un +30 % para que el test salga corto no hace que la variante mejore un 30 %. Si la mejora real es de un 8 %, el test no la verá y acabará en no concluyente.
• Añadir variantes porque no cuestan nada. Cada una divide el tráfico y obliga a pedir más confianza a cada comparación. Tres ideas tibias en paralelo suelen rendir menos que una buena con todo el tráfico.
• Contar visitas en una versión y usuarios en la otra. O mezclar periodos. Las dos versiones se comparan con la misma unidad y en las mismas semanas, o la prueba no vale.
• Cambiar el test a mitad. Tocar la variante, el reparto de tráfico o las campañas que llevan a la página reinicia la cuenta. Lo de antes del cambio no se suma a lo de después.

Si el test es viable, escribe la hipótesis con su número antes de lanzarlo: qué cambias, qué esperas que pase y cuánto. Y apunta la fecha de cierre donde la vea todo el equipo.

Si no es viable, no lo fuerces. Busca dónde hay más volumen: un paso más arriba del embudo, una página con más tráfico o un cambio más grande. Para saber cuánto vale mejorar la conversión antes de invertir en probarlo, usa lo que vale la conversión.

Si el resultado depende de datos en los que no confías (conversiones duplicadas, eventos que se disparan dos veces, GA4 que no cuadra con la tienda), el test no es el problema. Primero hay que arreglar la medición, que es lo que hacemos en analítica digital.

Si te falta tráfico para casi cualquier test, la pregunta pasa a ser cuánto cuesta traer más. El plan de captación te dice cuántas visitas y qué presupuesto pide tu objetivo, y es lo que trabajamos en tráfico.