Grupo de control.
La parte de tu público a la que no le cambias nada mientras pruebas algo con el resto. Vive el mismo mes que los demás, así que lo que el otro grupo mejore por encima de él es lo único que puedes apuntarle a tu cambio.
Un grupo de control es la parte del público de un experimento que no recibe el cambio que se está probando y que se mide en el mismo periodo que el grupo que sí lo recibe. Se asigna al azar, y el efecto del cambio es la diferencia entre los dos grupos, no la diferencia entre antes y después.
También: holdout · grupo de referencia · control group
Agencia Snowball, Barcelona · Revisado el
Sin alguien a quien no le cambias nada, no sabes qué has cambiado.
Un grupo de control es la parte de tu público a la que no le tocas nada mientras al resto le aplicas un cambio. Sigue viendo la web de siempre, recibiendo el correo de siempre, pagando el precio de siempre. Existe por una sola razón: es la única forma de saber qué habría pasado si no hubieras hecho nada. Es la pieza que convierte un cambio en un experimento.
El malentendido que resuelve es el más caro de todos: creer que comparar antes y después es medir. No lo es. Entre el antes y el después pasan muchas cosas además de tu cambio. Llega el mes bueno, entra una campaña de un competidor, sale una noticia, cambia el algoritmo de una plataforma. La estacionalidad sola ya basta para que cualquier cosa que lances en el arranque de temporada parezca un acierto, y cualquier cosa que lances en agosto, un desastre.
El grupo de control vive ese mismo mes, esa misma competencia y esa misma noticia. Lo único que no vive es tu cambio. Por eso, cuando comparas los dos grupos en el mismo periodo, todo lo demás se cancela y lo que queda es lo que has hecho tú.
Se ve con un ejemplo de números redondos. Lanzas un cambio en la semana 5 y la conversión del grupo que lo recibe pasa de un 2,12% de media a un 2,68%. Leído antes y después, es un +26,6% y alguien ya está preparando la diapositiva. Pero el grupo de control, al que no se le ha tocado nada, ha pasado a un 2,44% en esas mismas semanas. Lo que ha hecho el cambio es un +10,0%. Sigue siendo una mejora. Es menos de la mitad de la que se iba a presentar.
Al azar, a la vez y antes de mirar.
Un grupo de control vale lo que vale su parecido con el grupo que recibe el cambio. Todo lo que hace que se parezcan menos, le quita valor a la comparación.
La primera regla es que se reparte al azar. No eliges tú quién se queda fuera, ni tus comerciales, ni el equipo de producto. En cuanto alguien elige, elige con un criterio, aunque no lo sepa: los clientes que conoce, las tiendas que funcionan, los usuarios más activos. Y ese criterio se mete en el resultado. Un reparto al azar garantiza que, con suficiente gente, los dos grupos se parecen en todo lo que mides y también en lo que no mides.
La segunda es que los dos grupos corren a la vez. El control no es el mes pasado ni el mismo mes del año anterior: es gente que vive exactamente el mismo calendario que la que recibe el cambio. Es lo que hace un test A/B, donde la variante A es el grupo de control; y es lo que hace un test de incrementalidad, donde el control es la parte del público que no ve el anuncio.
La tercera es que se decide antes de empezar, por escrito: qué se compara, con qué métrica, durante cuánto tiempo y qué diferencia cuenta como resultado. Es la hipótesis del experimento, y el control solo tiene sentido contra ella.
Y luego está el tamaño, que es donde casi todo el mundo se equivoca hacia el lado cómodo. Apartar poca gente parece prudente, porque así casi todos reciben la mejora. Pero la comparación es tan precisa como el grupo más pequeño de los dos. Con el mismo tráfico total, un control del 10% obliga a que el test dure 2,78 veces lo que duraría con medio y medio. Con un 20%, 1,56 veces. Entre el 30% y el 50% apenas cambia nada.
Esa curva no dice que siempre haya que partir a medias. Dice que apartar poca gente se paga en tiempo, y que cuánto tiempo se puede calcular antes de empezar. Si el cambio es arriesgado —un precio nuevo, un correo que puede provocar bajas— un control grande es un seguro. Si el cambio es casi seguro, un control pequeño durante más semanas puede compensar. Lo que no compensa es decidirlo a ojo. El número de personas que necesitas para detectar una diferencia concreta es el tamaño de muestra, y la diferencia más pequeña que tu tráfico es capaz de ver es el efecto mínimo detectable.
La mejora que importa es la que hay por encima del control.
Efecto del cambio = resultado del grupo tratado ÷ resultado del grupo de control − 1. Mismo periodo, misma métrica, contada igual en los dos lados.
Con el control delante, la pregunta deja de ser “¿ha subido?” y pasa a ser “¿ha subido más que el grupo al que no le hicimos nada?”. Es una pregunta peor para las presentaciones y mucho mejor para el presupuesto. Una misma subida del 20% en el grupo con el cambio puede ser tres cosas distintas según lo que haya hecho el control en ese tiempo: si el control sube un 20%, el efecto es cero; si sube un 10%, el efecto es un +9,1%; si no se mueve, el efecto es el 20% entero.
El control ha subido lo mismo sin que le tocaras nada. El cambio no ha hecho nada que se pueda ver.
Hay efecto, pero la mitad de la subida la habrías tenido igual. Lo que se apunta el cambio es lo de esta fila, no el 20%.
El control no se ha movido. Toda la subida la ha causado el cambio, y ese es el número que va a la decisión.
La diferencia contra el control es el número que va a la decisión, pero no viene sola: hay que saber si es mayor que el ruido. Dos grupos sacados al azar del mismo público nunca dan exactamente lo mismo, aunque no les hagas nada a ninguno. La significancia estadística es la forma de saber si la distancia que ves es más grande que la que saldría por casualidad. Si no lo es, el resultado honesto es “no lo sabemos”, no “no funciona”.
El control también sirve después del veredicto. En programas que se quedan funcionando —una secuencia de email marketing, un programa de puntos, un descuento recurrente— conviene dejar un pequeño grupo que no lo recibe nunca. Es la única manera de saber, un año después, si el programa sigue aportando o si se ha convertido en una costumbre que nadie se atreve a apagar. Ese grupo permanente es lo que en inglés se llama un holdout.
Y tiene un precio. Mientras dure el test, la gente del control no recibe la mejora. Si el cambio funciona, son conversiones que te dejas por el camino; si no funciona, no te ha costado nada. La calculadora hace esa cuenta con tus números: cuánta gente apartas, cuánto más tarda el test que con medio y medio, y cuántas conversiones al mes pagas por saber. El aviso salta por encima de 2x, que no es un estándar de nadie: es el punto en que el test tarda el doble que repartiendo a medias.
Se calcula en tu navegador. No se guarda ni se envía nada.
Cuatro formas de tener control y no controlar nada.
Elegir el control a mano
“Probamos el nuevo proceso en las tres zonas que mejor funcionan y comparamos con el resto.” Esas tres zonas ya iban mejor antes de tocar nada, así que el resultado sale bueno siempre. Cualquier criterio humano para decidir quién se queda fuera se cuela en el número. El reparto lo hace el azar, o no es un grupo de control: es una comparación entre dos grupos distintos.
Usar otro momento como control
El mismo mes del año pasado no es un grupo de control. Tenía otros precios, otra competencia, otra inversión y otro público. Comparar con él te dice cuánto has cambiado de un año a otro, no qué ha hecho tu cambio. Un control se mide a la vez que el grupo tratado o no se mide.
Dejar que el cambio se filtre
El control tiene que no recibir el cambio, no recibirlo menos. Si el comercial aplica el guion nuevo también a sus cuentas de control porque “funciona mejor”, o si el descuento llega al control por otro canal, la diferencia que mides es más pequeña que la real. Un control contaminado no da un resultado prudente: da uno equivocado hacia abajo, y te hace descartar lo que funcionaba.
Leer la primera semana
El cambio nuevo llama la atención solo por ser nuevo, y el grupo tratado reacciona a la novedad antes que al cambio. Es el efecto novedad, y la primera semana lo infla. Si a eso le sumas parar el test el día que va ganando, tienes un falso positivo con fecha. La duración se escribe antes de empezar y se respeta, salga lo que salga.
Lo que se pregunta sobre grupo de control.
¿Para qué sirve un grupo de control?
Para saber qué habría pasado si no hubieras hecho nada. El grupo de control vive el mismo mes, la misma competencia y la misma estacionalidad que el grupo que recibe el cambio; lo único que no vive es el cambio. Por eso la diferencia entre los dos es lo que has causado tú, y la diferencia entre antes y después no lo es.
¿Qué porcentaje del público hay que dejar en el grupo de control?
No hay un porcentaje correcto universal, pero sí una cuenta. Con el mismo tráfico, el test tarda 1 ÷ (4 × p × (1 − p)) veces lo que tardaría repartiendo a medias, donde p es la parte que se queda en el control. Con un 10% en control tarda 2,78 veces más; con un 20%, 1,56 veces; entre el 30% y el 50% casi no hay diferencia.
¿Qué diferencia hay entre un grupo de control y un holdout?
Ninguna de fondo: holdout es el nombre en inglés que se usa sobre todo cuando el grupo de control se queda fuera de forma permanente, por ejemplo de un programa de correos o de fidelización, o cuando se aparta a una parte del público de una campaña de anuncios para medir su incrementalidad.
¿Se puede usar el mes anterior como grupo de control?
No. El mes anterior tenía otros precios, otra competencia, otra inversión y otra estacionalidad, así que compararlo con el actual mide todo lo que ha cambiado entre los dos meses, no lo que ha hecho tu cambio. Un grupo de control se mide a la vez que el grupo que recibe el cambio.
Los que hacen falta para usar este.
Cómo se comprueba una idea antes de creérsela, y cuándo un resultado significa algo.
Un cambio hecho a propósito para contestar una pregunta, con el criterio de éxito decidido antes de mirar el resultado. Sin pregunta ni criterio no hay experimento: hay un cambio.
Cuántas de esas ventas no habrían pasado sin el anuncio. La pregunta cara, y la única que justifica de verdad el presupuesto.
Dos versiones de lo mismo enseñadas a la vez a públicos equivalentes para ver cuál convierte mejor. Con poco tráfico no separa la señal del ruido.
Lo que sabes después del experimento y no sabías antes, escrito para que siga sirviendo dentro de un año. El único resultado que no caduca cuando cambias la creatividad.
La lista ordenada de lo que vas a probar y en qué orden. Convierte las ideas sueltas de una reunión en trabajo de las próximas semanas.
La mejora más pequeña que tu tráfico puede llegar a demostrar. Decide si un test merece la pena antes de lanzarlo, no después de tres semanas sin conclusión.
