GlosarioExperimentation

Aprendizaje validado.

Lo que sabes después del experimento y no sabías antes, escrito para que siga sirviendo dentro de un año. El resultado caduca cuando cambias la creatividad; el porqué, no.

El aprendizaje validado es lo que sabes después de un experimento y no sabías antes: no el resultado, sino el porqué comprobado de ese resultado, escrito y fechado para que siga sirviendo cuando la campaña que lo produjo ya no exista.

También: validated learning · aprendizaje verificado · conocimiento validado

Agencia Snowball, Barcelona · Revisado el

La definición

El resultado dice qué pasó. El aprendizaje dice por qué pasó.

Un experimento deja siempre dos cosas y solo una de las dos sigue valiendo dentro de un año. Deja un resultado —la variante ganó, el canal trajo cuarenta leads, las reservas se dispararon— y deja, si alguien se molesta en buscarlo, un porqué. El aprendizaje validado es ese porqué: comprobado, escrito y fechado.

El malentendido que resuelve el término es dar el resultado por conocimiento. Pasa todo el rato, y se ve mejor con un caso que con teoría. Hace años, en una empresa de viajes, cambiamos la imagen de una landing porque la que había —unas tumbonas de playa— era de relleno, cutre y pasadísima de moda. Buscando un paisaje más bonito apareció la foto de un templo con árboles en Tailandia. Se eligió sin pensar en la ubicación ni una décima de segundo: se buscaba algo que quedara bien y ya está. Ese año, por motivos completamente ajenos a nosotros, viajar al triángulo de oro se puso de moda. Un x100 en las reservas. De la noche a la mañana lo único que se vendía eran paquetes de Tailandia.

Eso no fue growth, fue chiripa. La foto acompañó, no causó: con otro trend habría dado igual poner Vietnam o Birmania. Y esa distinción no es una anécdota de sobremesa, es toda la diferencia entre un dato y un activo. Sin el porqué, un pico es ruido: lo replicas donde no toca y no entiendes por qué deja de funcionar. Con el porqué —aquí, que lo que convierte es el contenido que engancha con lo que ya está en tendencia— es una receta, y una receta se repite a propósito.

En el extremo contrario está la dirección que abre la primera reunión con un “eso os lo dejo a vosotros, haced lo que queráis mientras facturemos X”. A esa mentalidad le pusimos nombre: daigualismo. El fin justifica los medios y el medio no se analiza nunca. Es delegar el criterio y cruzar los dedos. El aprendizaje validado es exactamente lo contrario: es la parte del trabajo que impide que dentro de seis meses tu empresa sepa lo mismo que hoy, pero con más facturas.

Sin el porquéChiripa
x100

Reservas, el año que Tailandia se puso de moda. El resultado es el mismo en las dos columnas.

  • Lo que sabes después: que subió.
  • Lo replicas donde no toca: la misma foto en todos los destinos del catálogo.
  • Cuando deja de funcionar, no entiendes por qué.
  • Caduca el día que se cae el trend.
Con el porquéReceta
x100

El mismo pico, después de parar a investigar qué lo había causado de verdad.

  • Lo que sabes después: el mecanismo es contenido que engancha con lo que ya está en tendencia.
  • La foto acompañó, no causó: con otro trend, otro destino habría hecho lo mismo.
  • Se repite a propósito, con otro destino y otro trend.
  • Sigue valiendo dentro de un año, con otra creatividad y otra campaña.
El formato

No se calcula, se escribe. Y se escribe igual siempre.

Cuatro campos, en este orden: hipótesis, resultado, aprendizaje y una decisión de si se vitamina o no. Cuatro, no tres y no cinco. Y siempre los mismos, porque lo que hace útil un archivo de aprendizajes no es que estén escritos: es que se puedan leer en fila el día que hay que decidir algo.

La hipótesis se escribe antes, no después. Y con fundamento: “con el tiempo que llevo aquí me he dado cuenta de que pasa X, así que si en vez de hacerlo así lo hiciéramos asá, funcionaría mejor”. Una hipótesis escrita a posteriori siempre acierta, y por eso no vale nada. El resultado es el número con su ventana y su muestra, no el titular. El aprendizaje es el porqué, en una frase que se entienda sin haber estado en la reunión. Y ¿vitaminar? es la única línea que obliga a mojarse: qué se hace mañana con esto.

Antes de escribir la tercera línea hay que saber si el resultado aguanta el peso. Por debajo de 8.000 usuarios al mes por URL, un test A/B deja de ser representativo: es la muestra estadística de toda la vida, que ocho de cada diez personas a las que has mirado tengan los ojos azules no dice nada del 80% de la población. La mayoría de empresas de uno a veinte millones no llega a ese suelo en sus URLs de venta. Eso no las libra de experimentar; cambia la herramienta. Grabaciones, mapas de calor y entrevistas: investigación cualitativa hecha en serio da un aprendizaje más validado que un A/B con novecientas sesiones y un cartel verde. Y para poder atribuir el movimiento al experimento y no a la estacionalidad hace falta atribución que aguante: sin eso, el tercer campo es una opinión con formato de conclusión.

Nota de aprendizajeExperimento cerrado · con fecha y con nombre de quien lo escribe
1HipótesisLo que creíamos antes de tocar nada

La imagen de la landing es de relleno y está pasada de moda. Con un paisaje mejor, la página convierte más.

2ResultadoLo que pasó, con su ventana y su muestra

Las reservas se multiplicaron por cien en cuestión de semanas. De la noche a la mañana solo se vendían paquetes de Tailandia.

3AprendizajeEl porqué, comprobado y en una frase que se lea sin contexto

No lo movió la calidad de la foto: lo movió coincidir con un destino que se estaba poniendo de moda. Lo que convierte es el contenido que engancha con lo que ya está en tendencia.

4¿Vitaminar?Qué se hace mañana con esto

Sí, pero no copiando la foto. Vigilar tendencias de destino y llevar la home al destino que sube, no al que más margen deja.

Sin el tercer campo, los otros tres son el acta de un test. Con él, el experimento deja algo que sirve cuando la campaña que lo produjo ya no existe.

Lo que no es un aprendizaje validado: “ganó la B”. Tampoco “el equipo hizo un gran trabajo”, ni “hay que seguir invirtiendo en este canal”. Un aprendizaje se escribe como una regla del negocio —lo que es cierto de tus clientes y no lo era de tu suposición— y no como el acta de un test. La prueba del algodón es leerlo en voz alta quitándole el nombre del experimento: si sigue diciendo algo, es un aprendizaje; si se queda en el aire, es un resultado con adjetivos.

La decisión

Un aprendizaje que no cambia la siguiente decisión está archivado, no validado.

Solo tiene tres destinos posibles, y si no llega a ninguno de los tres el trabajo de escribirlo ha sido decorativo.

Uno: el backlog de experimentos. Un aprendizaje nuevo obliga a repuntuar lo que hay en la cola. Si después de escribirlo ninguna idea del backlog cambia de ICE —ni de impacto ni, sobre todo, de confianza— no lo has usado. Es el control más simple que existe: lo que aprendes se nota en el orden en que atacas lo siguiente.

Dos: la retro de cierre de sprint. Con sprints de unos quince días, cada cierre es la ocasión de recoger lo aprendido en voz alta con las cuatro o cinco personas de siempre. La versión que usamos del Starfish son tres preguntas: qué mantener o potenciar, qué incorporar y qué eliminar o reorientar. No hace falta más aparato que ese, y la exigencia de fondo es la misma: en cada tarjeta que se cierra, una reflexión breve de qué tal fue. No es opcional. Es lo único que te permite mirar atrás dentro de tres meses y saber qué ha funcionado de verdad.

Tres: el presupuesto. Cuando el aprendizaje toca lo que cuesta traer un cliente —el CAC de un canal, el ROAS al que se sostiene— no cambia la lista de ideas: cambia dónde va el dinero el mes que viene. Ese es el aprendizaje caro, y el que menos veces llega a escribirse.

Hay un sesgo que hay que romper para que esto funcione. Cuando algo va mal, lo analizamos todos: qué ha podido fallar, quién, cuándo. Cuando algo va bien no lo analiza nadie —nosotros tampoco, la primera vez—. Y tiene más sentido analizar lo que funciona que lo que no, aunque sea menos instintivo. Un cliente llegó con la idea de crecer hasta X con anuncios y a partir de ahí ya se vería. Los anuncios no fueron bien. El email, que no miraba nadie, sí. Todo su modelo de crecimiento acabó montado sobre maximizar el impacto del email marketing, creciendo a x2 mensual. Si miras solo por qué no funcionan los anuncios, se te ocurren mil maneras de intentar arreglarlos. Si miras por qué sí funciona el email, lo vitaminas y sigues buscando qué más funciona. Es la misma energía apuntada al sitio correcto.

12243648600S3S6S9S12SPRINTS DE 15 DÍASAPRENDIZAJES ESCRITOS60 aprendizajes36 aprendizajes
5 experimentos por sprint, documentados al 100%15 por sprint, documentados al 20%
Es una multiplicación, no el dato de ningún cliente: aprendizajes retenidos = experimentos cerrados × tasa de documentación. El equipo que va tres veces más despacio termina el año con casi el doble de conocimiento.

Y de aquí sale la conclusión que más cuesta aceptar: el ritmo no es la palanca. Un equipo que cierra cinco experimentos por sprint y documenta todos termina doce sprints después con 60 aprendizajes escritos; uno que lanza quince por sprint y documenta uno de cada cinco termina con 36, habiendo trabajado el triple. No es una hipótesis de laboratorio: hemos visto proyectos que, tocando solo cuatro o cinco cosas, logran más que otros que lanzan quince tests a la semana durante meses. El objetivo nunca fue lanzar el máximo número de experimentos posible.

Los errores

Cuatro maneras de creer que estás aprendiendo y no estar aprendiendo nada.

Confundir el resultado con el aprendizaje

“Subió un 14%” no es conocimiento, es un dato. El conocimiento es por qué subió, y el porqué casi nunca está en el panel de la herramienta: está en mirar qué más pasó esas semanas. Si el aprendizaje se puede escribir sin haber pensado, es que no se ha pensado.

Darlo por validado sin muestra que lo aguante

Un A/B por debajo de 8.000 usuarios al mes por URL no decide nada, y un aprendizaje apoyado en él es una superstición con gráfico. Peor todavía: entra en el archivo con el mismo aspecto que uno bueno, y dentro de un año nadie recordará cuál de los dos era el flojo. Escribe la muestra en el campo del resultado, siempre.

Hacer autopsias solo de lo que sale mal

Un archivo lleno de post-mortems y vacío de porqués de lo que funciona es un mapa de dónde no ir, y ninguno de dónde sí. El canal que hoy te sostiene lo entiende una persona y de oídas. El día que se caiga, se cae con el conocimiento dentro.

Escribirlo donde no lo va a encontrar nadie

Un aprendizaje en un hilo de chat, en la memoria de quien lo vivió o en un documento que solo abre su autor no existe. Vive donde vive el trabajo —la tarjeta del experimento, con fecha y con nombre— y se relee entero antes de puntuar la siguiente tanda de ideas. Si nunca se relee, deja de escribirlo: al menos ahorras el rato.

Preguntas

Lo que se pregunta sobre aprendizaje validado.

¿Qué diferencia hay entre un resultado y un aprendizaje validado?

El resultado dice qué pasó; el aprendizaje validado dice por qué pasó, comprobado. Sin el porqué, un pico de ventas es ruido: lo replicas donde no toca y no entiendes por qué deja de funcionar. Con el porqué es una receta que puedes repetir a propósito.

¿Cómo se escribe una nota de aprendizaje?

En cuatro campos y siempre los mismos: hipótesis (escrita antes del experimento), resultado (con su ventana y su muestra), aprendizaje (el porqué, en una frase que se entienda sin haber estado en la reunión) y ¿vitaminar? (qué se hace mañana con esto). Con fecha y con nombre.

¿Cuántos usuarios hacen falta para dar un test A/B por validado?

Por debajo de 8.000 usuarios al mes por URL, un test A/B deja de ser representativo. La mayoría de empresas de uno a veinte millones no llega a ese suelo, y eso no las libra de experimentar: cambia la herramienta a grabaciones, mapas de calor y entrevistas.

¿Dónde se recoge el aprendizaje de un experimento?

En el cierre del sprint, con la retro de tres preguntas: qué mantener o potenciar, qué incorporar y qué eliminar o reorientar. Y de ahí baja al backlog: si después de escribirlo ninguna idea de la cola cambia de puntuación, el aprendizaje no se ha usado.

Reservar 30 minutos