Falso positivo.
Un test que da por ganadora una variante que no mejora nada. El corte del 95% acepta 5 de cada 100; mirar el test cada día, probar muchas versiones o lanzar ideas flojas multiplica esa cifra sin que nadie lo vea.
Un falso positivo, o error tipo I, es el resultado de un test A/B que declara ganadora a una variante que en realidad no mejora nada. Su probabilidad la fija el nivel de significancia: con el corte al 95%, 5 de cada 100 tests sin efecto real salen verdes. Mirar el test muchas veces o comparar muchas versiones multiplica esa probabilidad.
También: error tipo i · ganador falso
Agencia Snowball, Barcelona · Revisado el
Un ganador que no ha ganado nada.
Un falso positivo es un test A/B que te da por ganadora una variante que no mejora nada. La herramienta pinta el verde, el equipo lo celebra, el cambio se publica y la conversión sigue exactamente donde estaba. No hubo mejora. Hubo un reparto de visitas que cayó de un lado.
En estadística se llama error tipo I, y no es un fallo de la herramienta: es el precio que firmas al elegir el corte. Cuando lees el test con la significancia estadística al 95%, aceptas que 5 de cada 100 tests en los que el cambio no hace nada te van a salir verdes igual. Ese 5% no se evita con más cuidado. Es la definición del 95%.
Cualquier experimento con números tiene cuatro salidas, dos buenas y dos malas, y las dos malas no se parecen. El falso positivo te hace implementar algo que no funciona. Su espejo, el falso negativo, te hace enterrar algo que sí funcionaba, y de ese se ocupa la potencia estadística. Esta ficha va del primero, que es el peligroso por una razón sencilla: el falso negativo se archiva en silencio, el falso positivo se celebra.
El malentendido que resuelve es leer el 5% como la probabilidad de que tu ganador sea falso. No lo es. Es la probabilidad de que salga verde un cambio que no hace nada, en un test que se mira una sola vez. Las dos cifras se separan en cuanto miras el test más de una vez o pruebas más de una versión, y se separan mucho.
Un ganador falso. Lo fija el corte, no tu cuidado.
No había nada, y el test no ve nada.
La potencia, si el test se dimensionó bien.
La mejora existe y el test la entierra.
El 5% se paga una vez. Casi nadie lo paga una vez.
La probabilidad de un falso positivo es α, uno menos el nivel de confianza: un 5% con el corte al 95%. Esa cifra solo es verdad con tres condiciones: una métrica, dos versiones y una sola lectura, el día que habías fijado.
La que más se rompe es la tercera. Abrir el panel cada mañana y parar el día que se pone verde convierte un test en tantos tests como veces has mirado. Las miradas al mismo test no son independientes —la de hoy se parece mucho a la de ayer—, así que el riesgo no se dispara como con comparaciones sueltas. Pero sube. La cuenta exacta sigue el recorrido del estadístico mirada a mirada, y es la que pinta la curva.
Con una mirada, el 5,0% pactado. Con cinco, el 14,2%. Con diez, el 19,3%. Con veinte, el 24,8%. Mirando cada día durante un mes y parando en el primer verde, el 28,0%: más de uno de cada cuatro tests sin ningún efecto acaba con ganador. Nadie ha manipulado nada. Solo se ha mirado.
Las otras dos condiciones se rompen igual de fácil. Cada versión que comparas contra el original es otro billete: con tres variantes, el riesgo de que al menos una salga verde por azar sube al 14,3%. Un test multivariante de 8 combinaciones son 7 comparaciones contra el original: 30,2%. Y cada métrica que puede coronar ganador además de la principal, otro billete más. Con comparaciones independientes la cuenta es 1 − (1 − α) elevado al número de comparaciones. Si se parecen entre sí, como dos variantes contra el mismo control, el riesgo real queda algo por debajo, pero en la misma zona.
Lo que entra en tu número: cuántas veces vas a mirar, cuántas versiones y cuántas métricas pueden declarar ganador. Lo que no entra es la calidad del cambio. Una idea brillante y una absurda tienen exactamente el mismo riesgo de falso positivo si ninguna de las dos hace nada. El testing es estadística pura y dura, y el 90% del cálculo lo hacen las máquinas. Lo que la máquina no sabe es cuántas veces has abierto el panel.
Cuántos de tus verdes son falsos depende de lo que pruebas.
El corte controla cuántos tests sin efecto salen verdes. No controla cuántos de tus verdes son falsos. Esa segunda cifra, la que importa el día que implementas, depende sobre todo de cuántas de tus ideas eran buenas.
Con el corte al 95% y un 80% de potencia, si una de cada cinco ideas mejora de verdad, el 20,0% de tus ganadores son falsos. Si solo una de cada diez, el 36,0%. Si la mitad son buenas, baja al 5,9%. Y con la potencia al 50%, la de un test al límite del tráfico, una idea buena de cada diez deja el 47,4%: casi la mitad de lo que celebras es ruido.
La curva explica algo que se ve en la práctica: hemos visto proyectos que, tocando solo cuatro o cinco cosas, logran más que otros que lanzan quince tests a la semana durante meses. Quince tests a la semana son, a la fuerza, quince hipótesis con poco fundamento, y la curva castiga justo eso: cuanto menos ideas buenas entran, más ruido hay entre los verdes. La defensa más barata contra el falso positivo no es estadística. Es una hipótesis con fundamento, no un “a ver qué pasa”.
El resto de defensas son reglas de montaje, y se deciden antes de lanzar. La muestra y la fecha de lectura salen del efecto mínimo detectable y no se tocan. Si necesitas mirar antes, por negocio y no por ansiedad, cada mirada pide un corte más estricto: para que cinco lecturas sigan costando un 5% en total, cada una exige un z de 2,41, o sea un p por debajo de 0,016 en vez de 0,05. Con varias versiones, el corte se divide entre las comparaciones: con tres variantes, 0,05 ÷ 3 = 0,017 cada una. Y una sola métrica principal decide; las demás se miran, pero no coronan.
La defensa definitiva es repetir el ganador que sorprende. Un cambio que no hace nada sale verde un 5% de las veces; dos veces seguidas, un 0,25%. Si un test te da un resultado que mueve el forecast del año, repetirlo cuesta menos que construir el trimestre encima. Lo que aguanta la repetición se anota como aprendizaje validado. Lo que no, vuelve al backlog de experimentos con una nota al lado: ya engañó una vez.
Las comparaciones se combinan como si fueran independientes; si se parecen entre sí, el riesgo real queda algo por debajo. Se calcula en tu navegador: no se guarda ni se envía nada.
Cuatro formas de colarse un ganador falso.
Creer que un falso positivo no cuesta nada
“Si no mejora, tampoco empeora.” Es el razonamiento habitual, y sale caro. Un ganador falso ocupa desarrollo, cierra una pregunta que seguía abierta y, sobre todo, se convierte en premisa: los tests siguientes se construyen encima de algo que nunca funcionó. Un falso positivo no es un test perdido, es una mentira con la que se trabaja durante meses.
Sumar los ganadores del trimestre
Un +6%, un +4% y un +5% no son un +15%. Parte de esos verdes son falsos, y los verdaderos llegan inflados: un test solo se pone verde cuando el azar empuja a favor, así que la mejora que enseña el ganador tiende a ser mayor que la real. La previsión se hace con lo que ha aguantado una repetición, no con la suma de los titulares.
Medir al equipo por número de ganadores
Si se piden verdes, llegan verdes. Más variantes por test, más métricas en el cuadro, más miradas, tests parados el día bueno. Cada una de esas cosas sube el riesgo de falso positivo sin que nadie mienta. Lo que se cuenta al final del trimestre son los aprendizajes que han aguantado, no los tests ganados.
No haber probado nunca A contra A
Un test A/A, en el que el grupo de control y la variante ven exactamente la misma página, debería salir verde un 5% de las veces. Si en tu montaje sale verde mucho más, el problema no es el corte: es el reparto, o un evento que cuenta doble en una de las dos mitades. Antes de discutir el 95%, comprueba que tu instrumento da el 5% cuando no pasa nada.
Lo que se pregunta sobre falso positivo.
¿Qué es un falso positivo en un test A/B?
Es un test que declara ganadora a una variante que en realidad no mejora nada: la diferencia que ves la ha producido el reparto de visitas, no el cambio. En estadística se llama error tipo I. No es un fallo de la herramienta, es el precio que aceptas al fijar el corte: con el 95% de confianza, 5 de cada 100 tests sin efecto salen verdes igual.
¿Qué probabilidad hay de un falso positivo?
Con el corte al 95% y una sola lectura al final, un 5%. Pero esa cifra sube con cada mirada en la que estás dispuesto a parar: con 5 miradas es un 14,2%, con 10 un 19,3% y mirando cada día durante un mes un 28,0%. Cada variante y cada métrica que puede coronar ganador la suben otra vez: con tres variantes contra el control, 14,3%.
¿Qué diferencia hay entre un falso positivo y un falso negativo?
El falso positivo da por buena una variante que no hace nada; el falso negativo da por mala una que sí funcionaba. El primero lo controla el nivel de significancia y el segundo la potencia del test. Con la misma muestra se mueven en sentido contrario: subir el corte del 95% al 99% reduce los falsos positivos y aumenta los falsos negativos.
¿Cómo se reduce el riesgo de falso positivo?
Fijando antes de lanzar la muestra y el día de lectura y no parando antes; dejando que decida una sola métrica principal; dividiendo el corte entre las comparaciones cuando hay varias variantes, 0,05 ÷ 3 = 0,017 con tres; y repitiendo el ganador que sorprende: un cambio que no hace nada sale verde dos veces seguidas un 0,25% de las veces.
Los que hacen falta para usar este.
Cómo se comprueba una idea antes de creérsela, y cuándo un resultado significa algo.
La probabilidad de que la diferencia entre dos versiones no sea casualidad. Cortar el test en cuanto la herramienta se pone verde es la forma más común de creerse un resultado falso.
Un cambio hecho a propósito para contestar una pregunta, con el criterio de éxito decidido antes de mirar el resultado. Sin pregunta ni criterio no hay experimento: hay un cambio.
Dos versiones de lo mismo enseñadas a la vez a públicos equivalentes para ver cuál convierte mejor. Con poco tráfico no separa la señal del ruido.
La mejora más pequeña que tu tráfico puede llegar a demostrar. Decide si un test merece la pena antes de lanzarlo, no después de tres semanas sin conclusión.
Lo que sabes después del experimento y no sabías antes, escrito para que siga sirviendo dentro de un año. El único resultado que no caduca cuando cambias la creatividad.
La lista ordenada de lo que vas a probar y en qué orden. Convierte las ideas sueltas de una reunión en trabajo de las próximas semanas.
