Qué es un test multivariante.

Un test A/B cambia una cosa, solo una, y la enseña a la mitad del tráfico. Un test multivariante cambia varias piezas de la misma página a la vez —el titular, la imagen, el botón— y sirve todas las combinaciones posibles, cada una a su parte del tráfico. Es el mismo experimento con más preguntas dentro: no solo qué titular convierte mejor, sino con qué imagen y con qué botón.

Durante años se dijo que no era buena idea, porque si tocabas varias cosas de una landing nunca acababas de saber cuál había movido la conversión. Eso ya no pasa. Como cada combinación se sirve por separado, la herramienta lee el efecto de cada pieza y, sobre todo, lo que un A/B no ve nunca: si dos piezas se potencian entre sí. Un titular que promete rapidez puede funcionar con una foto del producto y hundirse con una foto de equipo. Tres A/B seguidos no lo detectan; un multivariante sí.

La factura es el tráfico. Todos los tests funcionan repartiendo las visitas de una URL, y el multivariante las reparte entre muchas más casillas. Tres piezas con dos versiones cada una no son seis variantes: son 2 × 2 × 2 = 8 combinaciones, y cada una necesita su propia muestra para que su tasa de conversión signifique algo.

La regla de partida es la de un A/B: por debajo de 8.000 usuarios al mes por URL deja de ser representativo, o sea 4.000 por versión. Un multivariante no tiene una regla más blanda; tiene la misma por cada casilla. Con cuatro combinaciones la URL necesita 16.000 al mes; con ocho, 32.000. Y si en lugar de dos versiones por pieza pruebas tres, tres piezas ya son 27 combinaciones y 108.000 usuarios al mes.

Ese suelo es el mínimo para que el test no sea ruido, no la cuenta fina. La cuenta fina es el tamaño de muestra, y depende de tu conversión de partida y de la mejora que quieres ser capaz de ver. Con un escenario de ejemplo —un 2% de conversión y una mejora buscada del 20%— la fórmula pide unos 19.230 usuarios por versión. En un A/B son el doble; en un 2×2×2, ocho veces: 153.838 usuarios. Sea cual sea la muestra que te salga por versión, el multivariante la multiplica por sus combinaciones.

Y si el tráfico es el que es, lo que se mueve es la mejora mínima que el test puede resolver: el efecto mínimo detectable. Repartir la misma URL entre ocho casillas en vez de entre dos hace que cada casilla solo vea diferencias grandes. Las pequeñas, que son casi todas las que produce cambiar un botón, se quedan dentro del ruido.

El multivariante pide 4 veces el tráfico mensual de un A/B a cambio de contestar en una sola ventana y de ver las interacciones. Ese cambio solo compensa con tres condiciones a la vez: una URL que supera con holgura 32.000 usuarios al mes, piezas que se leen juntas —el titular y la imagen cuentan la misma historia— y una hipótesis concreta sobre por qué esas piezas deberían reforzarse. Sin la tercera, el test es una ruleta con ocho casillas.

Lo honesto es decir que eso pasa en pocas páginas y en pocas empresas. Si tu web mueve menos de 8.000 usuarios al mes por URL, que es lo normal en una empresa de 1 a 20 millones, no te llega ni para un A/B: ahí se decide con research cualitativo —grabaciones, mapas de calor, entrevistas—. El A/B es el test que más se usa por algo: da un aprendizaje validado por ventana con el tráfico que la mayoría tiene. Y cuantos más cambios mete un test y más compleja es su estructura, más tráfico pide; el test de rutas entre varias páginas del embudo es el extremo, y necesita tráfico a chorro.

Un último caso que se confunde: si lo que quieres saber es si una página recargada de llamadas a la acción convierte mejor que una minimalista, no necesitas un multivariante. Es un split test, dos URLs distintas, y pide el tráfico de un A/B. Ese test es parte del CRO de cualquier web con algo de volumen; el multivariante, de muy pocas.