Backlog de experimentos.
La lista ordenada de lo que vas a probar y en qué orden. Cada entrada es una hipótesis con su métrica y su esfuerzo, y el corte lo pone la capacidad del sprint: lo que no cabe espera, no se pierde.
El backlog de experimentos es la lista ordenada de las hipótesis que una empresa va a poner a prueba, con el orden decidido por una puntuación y no por quien las propuso. Cada entrada lleva su hipótesis, la métrica que tiene que moverse y el esfuerzo que cuesta.
También: experiment backlog · backlog · cola de experimentos · backlog de pruebas
Agencia Snowball, Barcelona · Revisado el
La cola de lo que vas a probar, en el orden en que lo vas a probar.
Un backlog de experimentos es la lista ordenada de las hipótesis que vas a poner a prueba. Ordenada es la palabra que hace el trabajo: sin orden es un cajón de ideas, y un cajón de ideas no llega nunca al calendario. Cada entrada es un experimento con forma: qué crees que va a pasar, qué número lo demuestra y cuánto cuesta averiguarlo.
El malentendido habitual es tratarlo como un tablero de tareas pendientes. “Rehacer el checkout” no es una entrada de backlog: es un proyecto. La entrada sería “si quitamos el paso de registro obligatorio, el porcentaje de carritos que llegan a pago sube, porque el registro es donde se cae la mitad”. Una se ejecuta; la otra se gana o se pierde, y en los dos casos deja algo aprendido.
Existe por una razón muy poco romántica: en una sesión de ideación decente salen muchas más ideas de las que caben en quince días. El backlog es donde vive esa diferencia sin que se pierda ni bloquee nada. Y ojo, porque el objetivo no es lanzar el máximo número de experimentos posible. Hemos visto proyectos que, tocando solo cuatro o cinco cosas, logran más que otros que lanzan quince tests a la semana durante meses. Lo que separa a unos de otros no es la velocidad: es qué se elige tocar.
Dentro del ciclo, el backlog no es ni el principio ni el final. Es la sala de espera que hay entre pensar y ejecutar, y la que recibe de vuelta lo que se aprende cuando un experimento se cierra.
Dónde está el cuello de botella. Sin esto, las ideas son gustos.
Si cambiamos esto, ese número se mueve, y este es el motivo.
Todas las hipótesis, puntuadas y en orden. Aquí vive lo que aún no toca.
Entra lo que cabe en quince días. El resto sigue esperando, no se cae.
Qué pasó y por qué. Se escribe al cerrar la tarjeta, no tres meses después.
Las entradas no salen de la creatividad. Salen del diagnóstico.
Antes de meter nada en la cola, tres preguntas: ¿cuál es tu North Star? ¿Qué cuello de botella quieres superar? ¿Qué objetivo tiene realmente este test? Una idea que no conteste a las tres no entra, por buena que suene en la reunión.
Es la regla que más backlogs arregla de golpe, porque el reto del testing es que los experimentos vayan alineados con el objetivo del negocio y no con lo que le apetece a cada uno. Si lo que quieres es captar más leads, no toques el footer: céntrate en el mensaje, en la usabilidad y en detectar qué frena el paso de la conversión. El trabajo de verdad es analizar, investigar, volver a analizar y volver a investigar, y con eso montar el test. Probar cosas a lo loco no es rápido, es contraproducente.
La otra mitad de un backlog decente sale de un sitio incómodo: de lo que ya te está funcionando. Cuando algo va mal lo analizamos todos —qué ha podido fallar—; cuando algo va bien no lo analiza nadie. Y tiene más sentido lo segundo, aunque sea menos instintivo. La pregunta que llena la cola de entradas buenas no es por qué no funcionan los anuncios, es por qué sí funciona lo que sí funciona.
Con un matiz que ahorra trimestres. Un pico que no entiendes no es una receta. En una empresa de viajes cambiamos la imagen de una landing porque la que había era de relleno, y la que entró era un templo de Tailandia elegido sin pensar en el destino ni una décima de segundo. Ese año Tailandia se puso de moda por un trend ajeno a nosotros y las reservas se multiplicaron por cien. No fue growth: fue chiripa. Sin el porqué, un pico es ruido y lo replicas donde no toca. Con el porqué, la entrada del backlog deja de ser “poner esa foto en todos los destinos” y pasa a ser “contenido que engancha con lo que ya está en tendencia”, que sí se repite.
- Rediseños completos. No son un experimento: son un proyecto con un experimento dentro, y ese dentro es lo que va a la cola.
- Ideas sin métrica. Si nadie sabe qué número tiene que moverse, no hay forma de ganar ni de perder.
- Cosas que ya están decididas. Si se va a hacer igualmente, es una tarea del plan de trabajo, no una hipótesis.
- Tests A/B en páginas sin muestra. Por debajo de 8.000 usuarios al mes por URL, el test no decide nada.
Fíjate en el último punto de lo que se queda fuera, porque es el que más discusiones evita. Por debajo de 8.000 usuarios al mes por URL —dato contrastado con el equipo de VWO— un test A/B deja de ser representativo, y eso incluye a la mayoría de las empresas de 1 a 20 millones. Que ocho de cada diez tengan los ojos azules no dice nada del ochenta por ciento de la población. Ahí la entrada no desaparece del backlog: cambia de herramienta. Se decide con grabaciones, mapas de calor y entrevistas, que es optimización de conversión igual, solo que cualitativa. Y si no sabes qué número mueve la entrada porque no tienes medición que aguante, esa es la primera tarjeta de la cola.
Ordenar es el trabajo. Lo demás es ejecutar.
Se puntúa cada entrada con ICE —impacto, confianza y facilidad del 1 al 10, multiplicados—, se ordena de mayor a menor y se corta por la capacidad del sprint. No por número de tarjetas: por jornadas.
La cola del ejemplo se lee sola. El order bump del checkout puntúa 360 y cuesta dos jornadas; reescribir la ficha del producto que más vende, 336 y tres; recuperar carrito por email, 294 y tres; quitar tres campos del formulario, 288 y una. Suman nueve jornadas y cuatro experimentos, y ahí se acaba el sprint. La estructura de precios (160, cinco jornadas) y rehacer la home entera (90, doce) se quedan al otro lado de la línea. Rehacer la home es el caso interesante: es la idea con más impacto declarado de toda la lista, un 10, y aun así es la última, porque un 1 en facilidad se lleva por delante todo lo demás.
Lo que queda por debajo del corte no está rechazado, está esperando, y esa distinción es la que mantiene la paz. Nadie tiene que defender su idea otra vez cada lunes: está escrita, puntuada y colocada. El backlog se reordena al cierre de cada sprint, no cada vez que a alguien se le ocurre algo a media mañana. En un mes eso son dos reordenaciones —sprint 1 y sprint 2—, suficientes para que nada se quede fosilizado y pocas para que el equipo no viva renegociando la lista.
Cerrar una tarjeta no es arrastrarla a “hecho”. Documéntalo todo: no es opcional. En cada tarjeta que se cierre, exige una reflexión breve de qué tal fue, el resultado y lo que se aprendió. Es lo único que te permite mirar atrás dentro de tres meses y saber qué ha funcionado de verdad, en vez de recordarlo. Ese registro es el aprendizaje validado del equipo, y es lo que hace que el segundo año de experimentación rinda más que el primero aunque se lancen los mismos tests.
Y una vez cerrado el sprint, la retro. Tres preguntas —qué mantenemos o potenciamos, qué incorporamos, qué eliminamos o reorientamos— con las mismas cuatro o cinco personas que ya convocas para idear. De ahí salen las entradas nuevas de la cola, y también las bajas: una idea que lleva seis meses sin subir de puesto no está esperando, está muerta. El backlog convive con las acciones CORE del sprint, las recurrentes que sostienen el motor; los experimentos son la otra mitad, la que mueve el número. Si el sprint solo lleva CORE, no estás experimentando: estás manteniendo.
Cuatro formas de tener un backlog y que no sirva de nada.
Que sea una lista de tareas disfrazada
Si las entradas empiezan por un verbo —cambiar, añadir, rediseñar— y no por un “si… entonces… porque…”, no tienes un backlog de experimentos: tienes pendientes con otro nombre. La diferencia práctica es que una tarea solo puede estar hecha o sin hacer, y un experimento puede además estar equivocado, que es justo la información por la que se monta todo esto.
Que el orden lo ponga el cargo
El momento en el que la puntuación deja de mandar es el momento en el que el backlog se convierte en teatro. Si la idea del jefe entra la primera aunque puntúe 90 y la de la persona de soporte espera aunque puntúe 360, nadie va a volver a proponer nada. La puntuación no es infalible, pero es discutible en voz alta: se discute el 5 de impacto, no quién lo dijo.
Meter un A/B donde no hay muestra
Es el error más caro porque parece rigor. Lanzas el test, esperas seis semanas y sales con un resultado que no distingue una mejora real del ruido, con el coste de oportunidad de las seis semanas encima. Si la página no llega a 8.000 usuarios al mes, la entrada sigue siendo válida —lo que no vale es el método—: research cualitativo, decisión, y a la siguiente.
Que solo entre y nunca salga
Un backlog que crece cada semana y del que no sale nada al sprint no es una cola, es un cementerio de buenas intenciones, y meter ahí un test que ya sabes que funciona a ver si alguien lo ejecuta no tiene ningún sentido. Dos síntomas: nadie recuerda la mitad de las tarjetas, y ninguna de las cerradas tiene escrito qué pasó. Si al cierre de un sprint el backlog no ha perdido entradas, revisa la capacidad antes que las ideas.
Lo que se pregunta sobre backlog de experimentos.
¿Qué es un backlog de experimentos?
Es la lista ordenada de las hipótesis que vas a probar, con el orden decidido por una puntuación y no por quien las propuso. No es un tablero de tareas pendientes: cada entrada dice qué crees que va a pasar, qué número lo demuestra y cuánto cuesta averiguarlo.
¿Cómo se prioriza un backlog de experimentos?
Se puntúa cada entrada por impacto, confianza y facilidad del 1 al 10, se multiplican los tres, se ordena de mayor a menor y se corta por la capacidad del sprint. El corte no es por número de tarjetas, es por jornadas: cuatro experimentos de dos, tres, tres y una jornada llenan un sprint de nueve.
¿Cuántos experimentos deberían entrar en un sprint?
Los que quepan en las jornadas disponibles, y menos de los que crees. El objetivo no es lanzar el máximo número de experimentos posible: hemos visto proyectos que, tocando solo cuatro o cinco cosas, logran más que otros que lanzan quince tests a la semana durante meses.
¿Cada cuánto se revisa el backlog?
Al cierre de cada sprint, que en nuestro caso son unos quince días, y no cada vez que a alguien se le ocurre algo. En la retro se contestan tres preguntas —qué mantenemos, qué incorporamos, qué eliminamos— y de ahí salen tanto las entradas nuevas como las bajas.
Los que hacen falta para usar este.
Cómo se comprueba una idea antes de creérsela, y cuándo un resultado significa algo.
Un cambio hecho a propósito para contestar una pregunta, con el criterio de éxito decidido antes de mirar el resultado. Sin pregunta ni criterio no hay experimento: hay un cambio.
Impacto × Confianza × Facilidad (1-10 cada una). Cómo se puntúa una sesión de ideación sin discutir 3 horas.
Horizonte de trabajo de 15 días planificado desde la meta hacia atrás, con acciones CORE y complementarias.
Lo que sabes después del experimento y no sabías antes, escrito para que siga sirviendo dentro de un año. El único resultado que no caduca cuando cambias la creatividad.
La mejora más pequeña que tu tráfico puede llegar a demostrar. Decide si un test merece la pena antes de lanzarlo, no después de tres semanas sin conclusión.
La frase que dice qué vas a cambiar, qué métrica esperas mover y por qué crees que se moverá. Sin ella un test gana o pierde, pero no enseña nada.