Efecto novedad.
La ventaja que gana un cambio solo por ser nuevo y que se gasta en cuanto la gente se acostumbra. Por eso lo que cuenta de un test es cómo acaba, no cómo empieza.
El efecto novedad es la subida temporal que consigue una variante en un test solo porque los usuarios que ya conocían la versión anterior se fijan en lo que ha cambiado. Se apaga en unas semanas, así que la mejora real de un cambio es la que queda cuando la subida semanal deja de caer, no la de la primera semana.
También: novelty effect · efecto de lo nuevo
Agencia Snowball, Barcelona · Revisado el
Lo nuevo gana hasta que deja de ser nuevo.
Cambias el botón, la portada o el formulario y lanzas un test A/B. La primera semana la variante arrasa. Es tentador darlo por ganado y pasar a lo siguiente. El problema es que una parte de esa ventaja no la ha puesto el cambio: la ha puesto el hecho de que el cambio es nuevo.
Quien ya conocía tu web se para en lo que no estaba ahí la semana pasada. Lo mira, lo toca, hace clic por curiosidad. Esa atención extra sube la conversión de la variante durante unos días y luego se gasta, porque al tercer encuentro el botón nuevo ya es el botón de siempre. Eso es el efecto novedad: una subida real, que se mide, pero que no se queda.
Con un ejemplo de números redondos se ve la forma. La variante gana un +25,0% al control el primer día, la ventaja cae deprisa y a partir de la cuarta semana se asienta en un +5,0%. Ese +5% es la mejora. Lo de encima era curiosidad, y la curiosidad no se puede meter en el plan del año que viene.
El malentendido que resuelve el concepto es este: un test no da un número, da una curva. Si solo miras el número, no sabes en qué punto de la curva lo has cogido. Por eso un experimento que gana la primera semana no está ganado; está empezando.
Y no pasa solo en la web. Un asunto de correo distinto a todos los anteriores se abre más las primeras veces. Una funcionalidad nueva del producto se usa mucho la semana del lanzamiento y luego vuelve a su nivel. Una página de precios rediseñada recibe más clics porque la gente entra a ver qué ha cambiado. En todos los casos la pregunta es la misma: cuánto de lo que estás viendo es el cambio y cuánto es que la gente se ha dado cuenta de que hay un cambio.
Afecta más cuanto más vuelve tu público. Un negocio que vive de clientes recurrentes lo tiene en casi todos sus tests; uno que vive de tráfico que llega una vez y no vuelve apenas lo nota, porque para casi todos sus visitantes no hay versión de antes con la que comparar.
Partiendo el test por semanas, no sumándolo.
El efecto novedad no tiene fórmula propia. Se ve cuando dejas de mirar el resultado acumulado y miras la subida de cada semana por separado.
Es el mismo ejemplo de arriba contado de dos maneras. Las barras son la subida de cada semana sola: +16,9%, +7,9%, +5,7%, +5,2%, +5,0%, +5,0%. La raya naranja es lo que enseña la herramienta al cerrar cada semana, el acumulado desde el primer día: +16,9%, +12,4%, +10,2%, +8,9%, +8,1%, +7,6%. El acumulado arrastra la primera semana dentro todo el rato, y por eso baja mucho más despacio que la realidad.
Si paras a las dos semanas, el informe dice +12,4%. Lo que se queda es un +5,0%: el informe exagera la mejora 2,5 veces. Incluso a las seis semanas el acumulado sigue en un +7,6%, todavía por encima de lo real, aunque las dos últimas barras ya digan +5,0%.
La segunda forma de verlo es partir por quién ve el cambio. El visitante nuevo no conoce la versión de antes, así que para él no hay nada nuevo: ve una página y punto. Si la variante gana mucho entre los que vuelven y poco entre los que llegan por primera vez, buena parte de la ventaja es novedad. Si gana parecido en los dos grupos, es el cambio. Es leer el test por cohorte de primera visita en vez de leerlo entero.
Las dos lecturas piden lo mismo: que el test tenga muestra suficiente por semana o por grupo, no solo en total. Partir un test en seis trozos reparte el tráfico en seis, y cada trozo es más ruidoso que el conjunto. Antes de lanzarlo, el tamaño de muestra se calcula pensando en cómo lo vas a leer.
Si no llegas a esa muestra, no fuerces la lectura semanal: con pocas visitas cada barra sube y baja por azar y acabarás viendo curvas donde no las hay. En ese caso, el test se deja correr más tiempo y se mira la tendencia de dos en dos semanas.
Lo que vale es la cola de la curva.
Con el test partido por semanas, la curva solo puede tener tres formas. Cada una pide una decisión distinta, y las tres se confunden si solo miras el total.
Gana mucho al principio y cae semana a semana hasta asentarse. Lo que vale es el final, no el principio.
Decide con la cola, cuando deje de caer.
Gana lo mismo la primera semana que la sexta. Es la forma más aburrida y la única que se puede leer pronto.
La cifra del test es la cifra real.
Arranca perdiendo porque la gente echa de menos lo de antes, y gana cuando se acostumbra. Es la novedad al revés.
No la mates la primera semana.
La regla práctica sale de ahí. El test no se cierra cuando el resultado es significativo, se cierra cuando la curva deja de moverse. Si la subida semanal sigue cayendo, el test no ha terminado aunque la herramienta ya pinte verde. Y la cifra que se apunta, la que entra en la previsión y en la conversación con dirección, es la de las últimas semanas, no la media.
La tercera forma es la que más dinero hace perder. Un rediseño que obliga a la gente a buscar el menú en otro sitio arranca perdiendo: en el ejemplo, un −1,1% la primera semana. Si lo paras ahí, te quedas sin un cambio que a las seis semanas gana un +6,0%. Cuanto más rompe un cambio la costumbre, más tiempo hay que darle, en las dos direcciones.
Cuánto dura la novedad no tiene un número universal. Depende de cada cuánto vuelve tu gente: en una herramienta que se abre a diario se gasta en días; en una tienda donde se compra dos veces al año, casi nadie llega a verla. Por eso no se fija a ojo: se mide en tu propio test. Y si quieres asegurarte de que lo que queda se mantiene, deja un grupo de control unas semanas más después de pasar el cambio a todo el mundo.
Subidas relativas de la variante contra el control. Se calcula en tu navegador; no se guarda ni se envía nada.
Cuatro formas de ver la curva y creerse el principio.
Leer solo el acumulado
El número de arriba del informe es una media desde el primer día. Si la primera semana fue enorme, sigue tirando hacia arriba durante todo el test. Pide la subida semana a semana; casi todas las herramientas la dan, aunque no la enseñen de entrada.
Llamar novedad a lo que es ruido
Una primera semana con pocas visitas sale muy arriba o muy abajo solo por azar, y después vuelve a su sitio. Parece novedad que se apaga y es una muestra pequeña. Si la ventaja de la primera semana no era significativa por sí sola, no hay curva que leer: hay un falso positivo que se corrige.
Matar lo que arranca mal
El rechazo inicial es la novedad al revés y se olvida más. La gente echa de menos lo de antes y la primera semana la variante pierde. Cortarla ahí es decidir con la costumbre del usuario, no con el cambio. Con los rediseños grandes, la primera semana no se lee en ninguna de las dos direcciones.
Planificar con la cifra de la primera semana
El ganador se presenta a dirección con el número del arranque, la previsión se hace con ese número y a los tres meses la conversión no está donde se prometió. Nadie ha hecho nada mal salvo apuntar el principio de la curva. Lo mismo pasa con los anuncios: una creatividad nueva rinde más las primeras semanas y después aparece la fatiga creativa. El principio nunca es el plan.
Lo que se pregunta sobre efecto novedad.
¿Qué es el efecto novedad en un test A/B?
Es la ventaja extra que gana una variante durante los primeros días solo por ser distinta de lo que el usuario conocía. Quien vuelve a tu web se fija en lo nuevo y lo prueba por curiosidad; cuando se acostumbra, esa ventaja desaparece y solo queda lo que el cambio aporta de verdad.
¿Cuánto dura el efecto novedad?
No hay una duración universal. Depende de cada cuánto vuelve tu gente: en un producto que se usa a diario se gasta en días, y en una tienda donde se compra dos veces al año apenas aparece. Se mide en tu propio test, mirando la subida semana a semana hasta que deja de caer.
¿Cómo se distingue el efecto novedad de una mejora real?
De dos maneras. Partiendo el resultado por semanas: si la ventaja cae semana a semana, una parte era novedad. Y partiendo por tipo de visitante: si la variante gana mucho entre los que vuelven y poco entre los que llegan por primera vez, también. Una mejora real gana parecido en todas las semanas y en los dos grupos.
¿Existe el efecto contrario?
Sí, y se suele llamar efecto primacía o rechazo al cambio. La gente echa de menos la versión de antes y la variante arranca perdiendo, para ganar cuando se acostumbra. Pasa sobre todo con rediseños que cambian dónde están las cosas, y es la razón para no matar un cambio grande en su primera semana.
Los que hacen falta para usar este.
Cómo se comprueba una idea antes de creérsela, y cuándo un resultado significa algo.
Dos versiones de lo mismo enseñadas a la vez a públicos equivalentes para ver cuál convierte mejor. Con poco tráfico no separa la señal del ruido.
Un cambio hecho a propósito para contestar una pregunta, con el criterio de éxito decidido antes de mirar el resultado. Sin pregunta ni criterio no hay experimento: hay un cambio.
Grupo de clientes que empezó el mismo mes, seguido en el tiempo. La única forma honesta de ver la retención.
La probabilidad de que la diferencia entre dos versiones no sea casualidad. Cortar el test en cuanto la herramienta se pone verde es la forma más común de creerse un resultado falso.
Lo que sabes después del experimento y no sabías antes, escrito para que siga sirviendo dentro de un año. El único resultado que no caduca cuando cambias la creatividad.
La lista ordenada de lo que vas a probar y en qué orden. Convierte las ideas sueltas de una reunión en trabajo de las próximas semanas.
