Significancia estadística.
El p-valor es la probabilidad de ver tu diferencia si las dos versiones fueran idénticas. No es la probabilidad de que la variante gane, y parar el test el día que se pone verde es la forma más común de creerse un resultado falso.
La significancia estadística es el criterio que separa una diferencia real del ruido de la muestra en un test. Se mide con el p-valor: la probabilidad de observar una diferencia igual o mayor que la tuya si las dos versiones fueran idénticas. Un p por debajo de 0,05 equivale al 95% de confianza.
También: statistical significance · p-valor · nivel de confianza
Agencia Snowball, Barcelona · Revisado el
El 95% no dice lo que crees que dice.
Un test A/B no compara dos versiones. Compara dos muestras. Y dos muestras del mismo público, con la misma página, dan números distintos solo por cómo cayó el reparto. La significancia estadística es la maquinaria que separa una diferencia real del ruido de ese reparto.
El número que sale de esa maquinaria es el p-valor, y su definición es incómoda de leer la primera vez: el p-valor es la probabilidad de ver una diferencia igual o mayor que la tuya si las dos versiones fueran idénticas. No es la probabilidad de que B sea mejor que A. No es la probabilidad de que te equivoques. No es cuánto va a subir la conversión. Es una pregunta sobre el mundo en el que no pasa nada.
El nivel de confianza es lo mismo del revés. Un 95% de confianza equivale a un p-valor por debajo de 0,05: si las dos versiones fueran iguales, una diferencia así saldría menos de 5 veces de cada 100. Nada de eso te dice que la variante gane. Te dice que lo que ves no se explica bien con el azar.
Pongamos números. Una página que convierte al 2,50% y una variante que marca 2,80%: un 12% relativo más, que en una reunión suena a titular. Con 2.000 visitas por variante, el p-valor de esa diferencia es 0,555. Traducido: si las dos páginas fueran clavadas, una diferencia de ese tamaño aparecería 55 veces de cada 100. No es un resultado flojo. Es que no hay resultado.
Una resta, dividida entre el ruido.
Primero se calcula un estadístico, z, que es la diferencia entre las dos conversiones dividida entre el error estándar de esa diferencia. Del z sale el p-valor. El numerador es tu efecto; el denominador es el ruido que tiene tu muestra.
Con las dos ramas del mismo tamaño: z = (cB − cA) ÷ raíz de (2 · c · (1 − c) ÷ n), donde cA y cB son las dos tasas de conversión en tanto por uno, c la media de las dos y n las visitas de cada variante. El p-valor bilateral se lee después sobre la campana del dibujo de arriba. Esa parte la hacen las herramientas: el testing es estadística pura y dura, y el 90% del cálculo lo hacen las máquinas. Lo que ninguna hace por ti es la lectura.
Qué entra en la cuenta: el evento que declaraste como métrica principal antes de lanzar, contado una sola vez por usuario, en la ventana que habías fijado. Qué no entra: la métrica secundaria que descubriste el jueves, el segmento de móvil que sale bien, los tres días buenos del medio, ni el tramo en el que el pixel estaba duplicando eventos. Cada una de esas cosas es un test nuevo disfrazado del mismo test.
Los tres escenarios tienen exactamente la misma mejora: del 2,50% al 2,80%, un 12% relativo. Lo único que cambia es cuánta gente ha pasado por delante. Y el p-valor pasa de 0,555 a 0,062 y de ahí a 0,008. Ahí se ve lo que el p-valor no es: no mide el tamaño de la mejora, mide cuánta muestra hay detrás de ella. Un p bajo no significa “esto es un cambio grande”, significa “esto no parece ruido”.
Y al revés vale lo mismo, que es donde se pierde más dinero: un p de 0,555 no dice que el cambio no funcione. Dice que con esos datos no se puede afirmar nada. No concluir no es concluir que no.
Dos cuentas vecinas que no son esta y que se hacen antes: cuánta gente hace falta para que el test pueda cerrar es el tamaño de muestra, y la mejora más pequeña que tu tráfico llegaría a distinguir es el efecto mínimo detectable. La significancia se lee al final. Si te saltas las dos primeras, la tercera no te salva: por debajo de 8.000 usuarios al mes por URL —dato contrastado con el equipo de VWO— un test A/B deja de ser representativo, y ningún p-valor arregla eso.
El corte en 0,05 es una convención, no una ley de la física.
Elegir el corte es elegir cuántos falsos positivos aceptas. Con el listón en 0,05 estás firmando que 5 de cada 100 tests en los que no pasa absolutamente nada te van a salir verdes. Ese 5% es el precio de la entrada, y solo lo pagas una vez: si mides una métrica, la mides una vez y en el momento que habías decidido antes de lanzar.
El error caro es exactamente ese: parar el test el día que por fin se pone verde. Si abres el panel cada mañana y cortas el primer día que cruza la línea, ya no estás corriendo un test al 95%. Estás corriendo tantos como veces has mirado y quedándote con el mejor. Lo mismo pasa con las cuatro variantes que lanzaste a la vez, con las siete métricas del cuadro y con los segmentos que abres cuando el global no dice lo que esperabas.
Probabilidad de que al menos una salga verde por puro azar, con el corte en 0,05. Es exacta cuando las comparaciones son independientes —variantes, métricas, segmentos— y es el techo de lo que ocurre cuando miras el mismo test varias veces, porque esas miradas se parecen entre sí. En los dos casos la dirección es la misma: el 5% que creías estar pagando ya no es 5%.
Con una sola comparación el riesgo de falso positivo es el 5,0% que has aceptado. Con tres pasa al 14,3%. Con diez, al 40,1%. Nadie ha hecho nada mal por el camino: simplemente el número que se había pactado era para una pregunta, y se han hecho diez.
Hay una segunda cuenta que casi nunca se hace y que cambia la conversación. Imagina 100 experimentos y que una de cada cinco hipótesis sea de verdad buena, que ya es generoso. Son 20 buenas: con un 80% de potencia —la probabilidad de detectar un efecto que existe— cazas 16. De las 80 que no hacían nada, el 5% cruza la línea igual: 4. Acabas con 20 resultados verdes y 4 son ruido. Es decir, 20% de tus ganadores no son ganadores. El corte al 95% no te da un 95% de aciertos: eso depende de la calidad de las hipótesis que metes, no del umbral.
Con eso delante, un test solo puede terminar en tres sitios. Significativo y con un efecto por encima del mínimo detectable: se implementa y se anota como aprendizaje validado, con el número y la fecha. No concluyente: la hipótesis vuelve al backlog de experimentos con lo aprendido, no a la basura. Y significativo con una muestra minúscula o después de tres semanas de mirar todos los días: sospecha, y se repite. La significancia es la maquinaria de un test; el criterio de un experimento es otra cosa, y empieza por una hipótesis con fundamento en lugar del “a ver qué pasa”.
Contraste de dos proporciones bilateral. Se calcula en tu navegador: no se guarda ni se envía nada.
Cuatro formas de tener el número y usarlo mal.
Parar el test en cuanto se pone verde
Es el error más común y el más caro, porque se siente como diligencia. El p-valor de un test en marcha sube y baja todos los días; si cortas justo cuando cruza, has elegido el día que más te favorecía. La duración y la muestra se fijan antes de lanzar y no se tocan, ni cuando va bien. Un test que se para al ponerse verde no ha demostrado nada: ha demostrado que has mirado muchas veces.
Leer “no significativo” como “no funciona”
Son dos cosas distintas. Un test que no concluye puede estar diciendo que el cambio no hace nada, o que tu muestra no da para verlo. La forma de distinguirlo no es discutirlo en la reunión: es mirar qué mejora mínima podía detectar ese test antes de lanzarlo. Si el efecto que buscabas estaba por debajo de ese suelo, el resultado estaba escrito de antemano y el test solo ha gastado tres semanas.
Ir a buscar la significancia donde aparezca
La métrica principal no ha salido, pero el ticket medio de los usuarios de Android sí. Eso no es un hallazgo, es lo que pasa cuando haces treinta preguntas con un umbral pensado para una. Si el segmento de verdad te interesa, se convierte en la hipótesis del test siguiente y se prueba en limpio; no se cobra como resultado de este. Lo mismo con el CRO de una página que se toca a mitad del test: cambiar el instrumento mientras mides invalida la medición.
Confiar en el verde cuando la medición está rota
La significancia es aritmética sobre los datos que le pases: si el evento se dispara dos veces, si el reparto entre variantes no es limpio o si la atribución asigna conversiones al canal equivocado, el p-valor sale igual de convincente y no significa nada. Antes de discutir el umbral hay que poder responder a algo mucho más aburrido: ¿este evento cuenta lo que creemos que cuenta? Y si la respuesta es no, el problema no es estadístico.
Lo que se pregunta sobre significancia estadística.
¿Qué significa exactamente un p-valor de 0,05?
Que si las dos versiones fueran idénticas, una diferencia igual o mayor que la que has visto aparecería 5 veces de cada 100 solo por el reparto de la muestra. No significa que haya un 95% de probabilidad de que la variante gane, ni un 5% de probabilidad de equivocarte al implementarla: el p-valor es una afirmación sobre el escenario en el que no pasa nada, no sobre tu variante.
¿Puedo parar el test cuando ya sale significativo?
No. El p-valor de un test en marcha sube y baja cada día, así que cortar el día que cruza la línea es quedarse con el día más favorable. Cada mirada extra multiplica el riesgo de falso positivo: con diez comparaciones independientes sube del 5% al 40,1%, y con diez miradas al mismo test se queda por debajo de esa cifra pero muy por encima del 5% que creías estar pagando. La duración y la muestra se fijan antes de lanzar y no se tocan.
¿Un resultado no significativo quiere decir que el cambio no funciona?
No. Quiere decir que con esos datos no se puede afirmar nada, y hay dos motivos posibles: que el cambio no haga nada o que la muestra no dé para verlo. La forma de distinguirlo es haber calculado antes qué mejora mínima podía detectar el test; si el efecto que buscabas estaba por debajo de ese suelo, el resultado estaba escrito de antemano.
¿Cómo se calcula el p-valor de un test A/B?
Con el contraste de dos proporciones: z = (cB − cA) ÷ raíz de (2 · c · (1 − c) ÷ n), donde cA y cB son las conversiones de cada versión en tanto por uno, c la media de las dos y n las visitas por variante. El p-valor bilateral se lee de ese z. Con un 2,50% frente a un 2,80% y 20.000 visitas por variante, el p-valor es 0,062, o sea un 93,8% de confianza.
¿Un 95% de confianza significa que acierto el 95% de las veces?
No, eso depende de la calidad de tus hipótesis. Con 100 experimentos, una hipótesis buena de cada cinco y un 80% de potencia, detectas 16 mejoras reales y cuelas 4 falsos positivos: de los 20 resultados verdes, el 20% es ruido. El umbral controla los falsos positivos, no la tasa de acierto.
Los que hacen falta para usar este.
Cómo se comprueba una idea antes de creérsela, y cuándo un resultado significa algo.
Dos versiones de lo mismo enseñadas a la vez a públicos equivalentes para ver cuál convierte mejor. Con poco tráfico no separa la señal del ruido.
Un cambio hecho a propósito para contestar una pregunta, con el criterio de éxito decidido antes de mirar el resultado. Sin pregunta ni criterio no hay experimento: hay un cambio.
Optimización de la conversión. Casi siempre es lo que hay que mirar ANTES de tocar los anuncios.
Saber de dónde viene cada venta. Sin esto, cualquier decisión de inversión es el cuento de la vieja.
Lo que sabes después del experimento y no sabías antes, escrito para que siga sirviendo dentro de un año. El único resultado que no caduca cuando cambias la creatividad.
La lista ordenada de lo que vas a probar y en qué orden. Convierte las ideas sueltas de una reunión en trabajo de las próximas semanas.
