Qué es un test A/B.
Dos versiones de la misma página sirviéndose a la vez, con el tráfico partido al azar, para que una diferencia entre las dos solo pueda venir del cambio. Es un instrumento de lectura, y tiene un suelo de tráfico por debajo del cual no lee nada.
Un test A/B es un experimento en el que dos versiones de la misma página se sirven al mismo tiempo a públicos equivalentes, repartiendo el tráfico al azar, para atribuir la diferencia de conversión al cambio y no a lo que pasaba esa semana. Por debajo de 8.000 usuarios al mes por URL deja de ser representativo.
También: a/b test · split test · prueba a/b · test ab
Agencia Snowball, Barcelona · Revisado el
Dos versiones a la vez, y el mismo mes para las dos.
Un test A/B parte el tráfico de una URL entre dos versiones que se sirven al mismo tiempo. Una mitad ve la original, la otra ve la variante, el reparto lo hace una máquina al azar y cada visitante ve siempre la misma. Al final se comparan las dos tasas de conversión. Eso es todo el instrumento.
El malentendido está en confundirlo con probar cosas. Probar cosas es experimentar, y eso se puede hacer con grabaciones, con mapas de calor o con seis entrevistas. El A/B es una forma concreta de leer un experimento, y solo una: la que aísla la variable poniendo a las dos versiones a competir en las mismas condiciones. Los mismos días, las mismas campañas activas, la misma estacionalidad, el mismo público.
Lo que sustituye es el antes y después: cambiar la landing el día 1, comparar el mes que viene con el que pasó y decidir con eso. Esa comparación no aísla nada, porque entre los dos meses no cambió una cosa, cambiaron todas. Y como el número sale, la reunión lo trata como un resultado.
De ahí sale la otra mitad de la respuesta, la que casi nunca se dice al lado de la definición: el instrumento tiene un suelo. Por debajo de cierto volumen las dos mitades no se distinguen de dos monedas lanzadas al aire, y el test contesta “no concluyente” tres semanas después de haberlo montado. Con poco tráfico el A/B no es la herramienta. El experimento sigue: cambia el instrumento con el que se lee.
Dos quincenas seguidas. Entre la primera y la segunda cambió la versión y cambió todo lo demás: las campañas que estaban activas, el día del mes en el que cobra tu cliente, el tiempo que hizo.
Las mismas cuatro semanas para las dos, con el tráfico partido por la mitad al azar. Todo lo que no es el cambio les pasa a las dos por igual, así que una diferencia solo puede venir del cambio.
Fíjate en que los dos lados reparten exactamente los mismos usuarios y acaban con el mismo total por versión: 12.000 al mes en esa URL, 3.000 a la semana, 6.000 para cada versión. La muestra es idéntica. Lo único que cambia es si el reparto aísla la variable, y eso es lo que separa un test de una anécdota con gráfica.
Cinco decisiones, y las cinco antes de lanzar.
El testing es estadística, y el 90% del cálculo lo hacen las máquinas: para eso están los SaaS de turno. Lo que ninguna herramienta hace por ti es el montaje, y el montaje son cinco decisiones que se cierran antes de darle a lanzar. Cerrar una después no es un detalle de proceso: es lo que convierte el resultado en una opinión.
El reparto
Aleatorio, simultáneo y persistente: el mismo visitante ve siempre la misma versión, en el móvil de por la mañana y en el portátil de por la tarde. Repartir por días alternos, por dispositivo o por país no es repartir: es crear dos públicos distintos y llamarlo test.
Una variable
Una sola. Si mueves el titular y el precio a la vez y la conversión sube, no sabes cuál la subió, y sobre todo no sabes qué quitar el día que deje de funcionar. Dos cambios en la misma variante no dan dos aprendizajes: dan cero.
La métrica y el guardarraíl
Un evento de conversión declarado —un pedido, un formulario enviado— y no un clic intermedio que sube porque el botón es más grande. Y al lado, la métrica que no puede empeorar aunque la principal suba: el ticket medio, las devoluciones, las bajas. Las dos se leen con el tracking que tengas, así que un test montado sobre una medición dudosa hereda la duda entera.
La ventana, en semanas enteras
Un negocio no convierte igual el martes que el domingo. Cortar a los diez días es meter dos lunes y un solo fin de semana en la muestra, y esa diferencia también sale como diferencia. La ventana se fija antes, en semanas completas, y se respeta aunque el segundo día ya parezca que hay ganador.
La muestra y el momento de parar
Cuántos usuarios por versión y hasta cuándo, escrito antes de lanzar. Cuánta mejora es capaz de detectar esa muestra es el efecto mínimo detectable; a partir de qué punto una diferencia deja de explicarse por el azar, la significancia estadística. Las dos cuentas van antes del test, no después.
Y hay una decisión del montaje que mata más tests que las otras cuatro juntas: cuántas versiones. Cada versión que añades no añade tráfico, lo divide. El suelo de un A/B son 8.000 usuarios al mes por URL —dato contrastado con el equipo de VWO—, o sea 4.000 por versión. Con tres versiones esa URL necesita 12.000 usuarios al mes; con cuatro, 16.000. Casi nadie hace esa cuenta antes de abrir la herramienta.
La lectura práctica de ese dibujo es incómoda: la mayoría de las empresas de 1 a 20 millones no llega al suelo ni con dos versiones. Ahí la salida no es montar el test igual y esperar tres semanas a que no diga nada. Es decidir con research cualitativo —grabaciones de sesión, mapas de calor, entrevistas— y reservar el A/B para las dos o tres URLs que sí mueven volumen. Eso no te libra de experimentar. Solo cambia la herramienta.
Un test bien montado solo puede contestar tres cosas.
Y las tres son útiles, incluida la tercera, que es la más frecuente y la que peor se lee en una reunión.
Lo que se guarda no es el porcentaje, es el mecanismo: qué se movió y para quién. El porcentaje no se repite en otra página; el mecanismo sí.
Es un resultado, no un fracaso: acabas de eliminar una idea que iba a volver a la reunión cada trimestre. Y ahorra dos veces, porque la próxima vez ya está contestada.
Es que la muestra no daba para distinguir las dos versiones. Se sabe antes de lanzar, no después: si el cambio era más pequeño que lo que tu tráfico resuelve, el resultado estaba escrito.
Lo que no es una respuesta es el volumen de tests. El objetivo no es lanzar el máximo número posible: hemos visto proyectos que, tocando solo cuatro o cinco cosas, logran más que otros que lanzan quince tests a la semana durante meses. Un test cuesta tráfico, y el tráfico que se lleva un test es tráfico que otro no va a tener.
Por eso antes de montar nada hay tres preguntas que se contestan en voz alta: cuál es tu North Star, qué cuello de botella quieres superar y qué objetivo tiene realmente este test. Si la tercera no se puede contestar sin mirar el resultado, el test no está listo. Lo que se cuenta al final del trimestre no son los tests lanzados, son los aprendizajes validados que han quedado escritos, y el orden en el que se prueban las ideas sale del backlog de experimentos, no de quién habló primero en la reunión.
Y una cosa de encuadre, porque se confunde a menudo: hacer tests A/B y experimentación de producto es CRO. Una pieza. El A/B es el instrumento más preciso que hay para leer un cambio, y sigue siendo una pieza de algo bastante más grande.
Se calcula en tu navegador. No se guarda ni se envía nada. El suelo son los 8.000 usuarios al mes por URL de un A/B, dato contrastado con el equipo de VWO.
Cuatro formas de montar un test que no podía decidir.
Probar cuatro versiones en una URL que no da ni para dos
Es el error más caro porque se comete antes de empezar y no se ve hasta el final. Cada versión divide el mismo tráfico: en una URL de 12.000 usuarios al mes, cuatro versiones dejan 3.000 a cada una, por debajo del suelo de 4.000. El test corre tres semanas, la herramienta pinta cuatro líneas y ninguna significa nada.
Tocar la web mientras el test está corriendo
Retocar la variante a mitad de camino, lanzar una campaña nueva a esa misma URL o cambiar el precio invalida la ventana entera: la mitad de la muestra ha visto una cosa y la otra mitad otra. Si hay que tocar, se para el test, se tira la muestra y se vuelve a lanzar. Duele menos que decidir con datos que ya no describen nada.
Pararlo el día que va ganando
La diferencia entre dos versiones sube y baja todos los días. Cortar justo cuando la variante va por delante es quedarse con el día más favorable, y así cualquier cambio gana antes o después. La ventana y la muestra se fijan antes y no se tocan; el resto es cuestión de significancia estadística, no de ganas.
Leer “no concluyente” como “da igual”
Un test que no concluye no dice que el cambio no haga nada: dice que con esa muestra no se puede afirmar. Y muchas veces estaba escrito de antemano, porque la mejora que se buscaba era más pequeña que la que el tráfico podía resolver. Esa cuenta —el efecto mínimo detectable— se hace antes de montar el test, no cuando ya no ha dicho nada.
Lo que se pregunta sobre test a/b.
¿Cuánto tráfico hace falta para hacer un test A/B?
Por debajo de 8.000 usuarios al mes por URL, dato contrastado con el equipo de VWO, un test A/B deja de ser representativo. Repartido entre las dos versiones, eso son 4.000 usuarios al mes por versión. Si tu web mueve menos —que es el caso de la mayoría de las empresas de 1 a 20 millones—, no montes un A/B esperando que decida por ti: decide con research cualitativo, es decir grabaciones de sesión, mapas de calor y entrevistas.
¿Cuántas versiones se pueden probar a la vez?
Tantas como tu tráfico soporte, y la cuenta se hace antes de abrir la herramienta: cada versión no suma tráfico, lo divide. Una URL con 12.000 usuarios al mes deja 6.000 por versión con dos, 4.000 con tres y 3.000 con cuatro, así que con cuatro versiones ya está por debajo del suelo de 4.000. Con tres versiones esa URL necesita 12.000 usuarios al mes; con cuatro, 16.000.
¿Cuánto tiene que durar un test A/B?
La ventana se fija antes de lanzar y se cuenta en semanas enteras, porque un negocio no convierte igual el martes que el domingo y una ventana partida mete unos días de la semana y no otros. Y no se para el día que la variante va ganando: la diferencia sube y baja a diario, así que cortar en el momento favorable hace que cualquier cambio acabe pareciendo un acierto.
¿Qué diferencia hay entre un test A/B y el antes y después?
El antes y después compara dos periodos, así que entre los dos no cambió solo tu variante: cambiaron las campañas activas, la estacionalidad y el propio calendario. Un test A/B compara las dos versiones en las mismas semanas, con el tráfico partido al azar, de modo que todo lo que no es el cambio les pasa igual a las dos y la diferencia solo puede venir del cambio.
Los que hacen falta para usar este.
Cómo se comprueba una idea antes de creérsela, y cuándo un resultado significa algo.
Un cambio hecho a propósito para contestar una pregunta, con el criterio de éxito decidido antes de mirar el resultado. Sin pregunta ni criterio no hay experimento: hay un cambio.
La mejora más pequeña que tu tráfico puede llegar a demostrar. Decide si un test merece la pena antes de lanzarlo, no después de tres semanas sin conclusión.
La probabilidad de que la diferencia entre dos versiones no sea casualidad. Cortar el test en cuanto la herramienta se pone verde es la forma más común de creerse un resultado falso.
Optimización de la conversión. Casi siempre es lo que hay que mirar ANTES de tocar los anuncios.
Saber de dónde viene cada venta. Sin esto, cualquier decisión de inversión es el cuento de la vieja.
Lo que sabes después del experimento y no sabías antes, escrito para que siga sirviendo dentro de un año. El único resultado que no caduca cuando cambias la creatividad.
