Potencia estadística.
La significancia vigila que no te creas una mejora que no existe. La potencia vigila lo contrario: que no entierres una que sí. Con poca potencia, un test sin ganador no dice que el cambio no funcione.
La potencia estadística de un test es la probabilidad de que detecte una mejora que de verdad existe. Depende del tráfico, de la conversión base, del tamaño de la mejora y del corte de confianza. El estándar es un 80%: si la mejora es real, el test la ve 8 veces de cada 10.
También: statistical power · poder estadístico
Agencia Snowball, Barcelona · Revisado el
La probabilidad de ver la mejora cuando la mejora existe.
Un test A/B se puede equivocar de dos maneras. Puede darte por buena una variante que no hace nada: eso es un falso positivo, y lo vigila la significancia estadística, el famoso 95%. O puede darte por mala una variante que sí funcionaba: eso es un falso negativo, y de eso se ocupa la potencia.
La potencia estadística es la probabilidad de que el test detecte una mejora que de verdad existe. Una potencia del 80%, que es el estándar, quiere decir que si tu cambio mejora la conversión tanto como dices, el test lo caza 8 veces de cada 10. Las otras 2 sale “no concluyente” con la mejora ahí delante.
El malentendido que resuelve es el más caro de cualquier experimento con números: leer “no concluyente” como “no funciona”. Todo el mundo mira el 95%, porque es lo que enseña la herramienta. Casi nadie mira la potencia, porque la herramienta no la enseña. El testing es estadística pura y dura, y el 90% del cálculo lo hacen las máquinas; la lectura no. Un test con poca potencia no es un test prudente: es un test que tenía la respuesta escrita antes de empezar.
Abajo, el mismo test visto desde los dos mundos posibles. Si el cambio no hace nada, la diferencia que mides baila alrededor de cero. Si mejora un 20%, baila alrededor de otro punto. El corte del 95% es el mismo en los dos casos, y lo que queda de la campana de la mejora real a la derecha del corte es tu potencia: con 10.000 visitas por versión y un 2% de conversión, un 52,4%. La mitad de las veces que la mejora existe, la entierras.
Cuatro palancas, y ninguna sale gratis.
Potencia ≈ Φ( c · m ÷ √(2 · c · (1 − c) ÷ n) − 1,96 ). La c es tu tasa de conversión de hoy, la m la mejora relativa que quieres ver, la n las visitas por versión y el 1,96 el corte del 95%. La Φ es la normal acumulada: en una hoja de cálculo, DISTR.NORM.ESTAND.N con VERDADERO.
Lo de dentro del paréntesis es cuántas unidades de ruido mide la mejora que buscas. Si mide 1,96 justas, la campana de la mejora real queda centrada en el corte y la potencia es del 50%. Para llegar al 80% hace falta que mida 2,80. Eso deja cuatro palancas, y las cuatro cuestan algo.
El tráfico. Más visitas, más potencia, pero por la raíz cuadrada: para doblar la señal hay que cuadruplicar la muestra. El tamaño de la mejora. Es la palanca más fuerte, porque entra al cuadrado en el tráfico que pide: un cambio que mueve un +30% se ve con un noveno de las visitas que uno que mueve un +10%. La conversión base. Convertir al 2% exige mucho más tráfico que convertir al 10%, porque con pocas conversiones el azar pesa más. El corte. Pedir un 99% en vez de un 95% compra menos falsos positivos y los paga con más falsos negativos.
Por debajo de 8.000 usuarios al mes por URL, un A/B deja de ser representativo. Pongamos que estás justo ahí y testeas un mes: 4.000 visitas por versión. Con un 2% de conversión, la potencia es del 9,3% si el cambio mejora un +10%, del 24,8% si mejora un +20% y del 48,3% si mejora un +30%. Para llegar al 80% harían falta 76.919, 19.230 y 8.547 visitas por versión.
Esa cuenta, leída al revés, es el tamaño de muestra: fijas la potencia en el 80% y despejas las visitas. Leída por el otro lado es el efecto mínimo detectable: fijas las visitas y el 80% y despejas la mejora. Es la misma fórmula desde tres sitios. La potencia es la pregunta que te haces con el test ya montado: con lo que tengo, ¿cuántas veces voy a ver lo que busco?
Se fija antes de lanzar y se mira después del no.
El 80% es una convención, igual que el 95%. Lo que no es convención es el momento: la potencia se calcula con la hipótesis escrita, antes de gastar un solo día de tráfico. Qué mejora mínima justifica el cambio y si hay visitas para verla.
Detecta 25. Entierra 75 que funcionaban.
Detecta 52. Entierra 48 que funcionaban.
Detecta 80. Entierra 20 que funcionaban.
Cien cambios que mejoran de verdad un 20% la conversión, en una URL con 8.000 visitas al mes y un 2% de conversión. Lo único que cambia entre las tres tarjetas es cuánto tiempo dura el test.
Mismo cambio, misma URL, misma mejora real del 20%. Con un mes de test, el test detecta 25 de cada 100. Con 2,5 meses, 52. Para llegar a 80 hacen falta 4,8 meses. Casi medio año para un test en una URL que ya está en el suelo de lo representativo.
Si la potencia no llega, hay cuatro salidas y ninguna es lanzar igual. Esperar más, si el calendario lo aguanta. Llevar más tráfico a esa URL. Apuntar a cambios más gordos, que muevan un +30% y no un +5%: rehacer una oferta en lugar de cambiar el color de un botón. O no hacer test: con poco tráfico se decide con research cualitativo, grabaciones, heatmaps y entrevistas. Eso no te libra de experimentar, solo cambia la herramienta.
Y hay una segunda cuenta que se olvida siempre. La potencia baja no solo pierde ganadores: estropea los que encuentras. Cien experimentos, una hipótesis buena de cada cinco, corte al 95%. Con un 80% de potencia cazas 16 de las 20 buenas y cuelas 4 falsos positivos: el 20% de tus verdes es ruido. Con la potencia de un mes de test, el 24,8%, cazas 5 y cuelas los mismos 4: el 44% de tus ganadores no son ganadores.
Con la potencia delante, un “no concluyente” se lee de dos maneras. Si el test tenía un 80% o más para la mejora mínima que te importaba, es un no razonable: probablemente no hay una mejora de ese tamaño, y se anota como aprendizaje validado. Si tenía mucho menos, no es un no: es un no lo sé, y la hipótesis vuelve al backlog de experimentos con la potencia apuntada al lado.
Cuatro formas de tener el número y usarlo mal.
Leer el no concluyente como un no
Con un 24,8% de potencia, tres de cada cuatro mejoras reales salen “sin ganador”. Si archivas la idea, no has aprendido que no funciona: has aprendido que tu test no podía verlo. Antes de matar una hipótesis, mira qué potencia tenía el test que la mató.
Calcularla después con la mejora que salió
La potencia calculada con la diferencia observada no añade nada: es el p-valor disfrazado. Si el test salió flojo, la potencia sale baja; si salió fuerte, sale alta. Se calcula con la mejora mínima que te importaba, la que habías escrito antes de lanzar, no con la que te ha dado el azar.
Creerse la mejora del ganador
Con 4.000 visitas por versión y un 2% de conversión, nada sale verde por debajo de un +30,7% observado. Si la mejora real es del 20% y el test gana, el número que te enseña está inflado por definición. Con un 80% de potencia ese listón baja al +14,0%. Planifica el CRO con la mejora del test potente, no con la del afortunado.
Pedir el 99% por si acaso
Subir el corte parece prudente y sale caro. Con 10.000 visitas por versión y un 20% de mejora real, la potencia cae del 52,4% al 28,9% al pasar del 95% al 99%. Proteges el lado de los falsos positivos y abres el de los falsos negativos. Si quieres los dos, la única forma es más tráfico.
Lo que se pregunta sobre potencia estadística.
¿Qué es la potencia estadística de un test A/B?
Es la probabilidad de que el test detecte una mejora que de verdad existe. Si la potencia es del 80% y tu cambio mejora la conversión tanto como esperabas, el test lo da por ganador 8 veces de cada 10; las otras 2 sale no concluyente aunque la mejora esté ahí. Es la protección contra el falso negativo, igual que la significancia lo es contra el falso positivo.
¿Qué potencia necesita un test?
El estándar es un 80%, y se calcula antes de lanzar con la mejora mínima que justifica el cambio. Por debajo del 50%, el test es peor que tirar una moneda para esa mejora. Con un 2% de conversión y un +20% de mejora real, un mes en una URL de 8.000 visitas da un 24,8% de potencia; llegar al 80% pide 19.230 visitas por versión.
¿Qué diferencia hay entre potencia y significancia estadística?
La significancia controla cuántas veces el test da por buena una variante que no hace nada: con el corte al 95%, 5 de cada 100. La potencia controla cuántas veces da por mala una variante que sí funciona. Se mueven en sentido contrario con la misma muestra: subir el corte al 99% reduce los falsos positivos y aumenta los falsos negativos.
¿Cómo subo la potencia de un test sin más tráfico?
Hay tres formas: alargar el test, probar cambios más grandes que muevan mucho la conversión en lugar de retoques, o testear menos versiones a la vez para no repartir las visitas. Si ni así llega, no lances el A/B: decide con research cualitativo, con grabaciones, heatmaps y entrevistas.
Los que hacen falta para usar este.
Cómo se comprueba una idea antes de creérsela, y cuándo un resultado significa algo.
La probabilidad de que la diferencia entre dos versiones no sea casualidad. Cortar el test en cuanto la herramienta se pone verde es la forma más común de creerse un resultado falso.
Un cambio hecho a propósito para contestar una pregunta, con el criterio de éxito decidido antes de mirar el resultado. Sin pregunta ni criterio no hay experimento: hay un cambio.
Cuánta gente hace falta para que un test concluya algo. Por debajo, el resultado es ruido con forma de decisión.
La mejora más pequeña que tu tráfico puede llegar a demostrar. Decide si un test merece la pena antes de lanzarlo, no después de tres semanas sin conclusión.
Lo que sabes después del experimento y no sabías antes, escrito para que siga sirviendo dentro de un año. El único resultado que no caduca cuando cambias la creatividad.
La lista ordenada de lo que vas a probar y en qué orden. Convierte las ideas sueltas de una reunión en trabajo de las próximas semanas.
