Qué es un experimento.
Un cambio hecho a propósito para contestar una pregunta, con el criterio de éxito decidido antes de mirar el resultado. Sin pregunta y sin criterio no hay experimento: hay un cambio y una discusión tres semanas después.
Un experimento de crecimiento es un cambio introducido a propósito para contestar una pregunta del negocio, con la hipótesis y el criterio de éxito escritos antes de lanzarlo. Si el criterio se decide después de ver el resultado, no es un experimento: es un cambio.
También: growth experiment · experimento de growth · experimentación · prueba controlada
Agencia Snowball, Barcelona · Revisado el
Casi todo lo que se llama experimento es solo un cambio.
Se toca la home. Se cambia el asunto del email. Se sube un 20% el presupuesto del canal que peor va. Tres semanas después alguien pregunta en el comité qué tal fue, y no hay respuesta: no porque falten datos, sino porque nadie escribió antes qué habría que ver para decir que fue bien. Eso no es experimentar. Es cambiar cosas y esperar a ver qué pasa.
Un experimento de crecimiento es un cambio hecho a propósito para contestar una pregunta, con el criterio de éxito decidido antes de mirar el resultado. Son tres piezas y las tres son obligatorias: la pregunta, el criterio, y que el criterio esté escrito antes. Si falta una, tienes un cambio. Puede ser un cambio acertado —muchos lo son— pero no te deja nada que puedas usar la próxima vez.
El malentendido que resuelve la palabra es este: experimentar no significa ir probando. La versión de ir probando tiene nombre propio en dirección, y es la que suelta el director que dice “eso os lo dejo a vosotros, haced lo que queráis mientras facturemos X”. Le llamamos daigualismo: el fin justifica los medios y el medio no se analiza nunca. Suena a flexibilidad y es abandono; es delegar el criterio y cruzar los dedos. Experimentar es exactamente lo contrario: lanzar una hipótesis con fundamento —con el tiempo que llevo aquí me he dado cuenta de que pasa X, así que si en vez de hacerlo así lo hiciéramos asá, funcionaría mejor— y aceptar de antemano el número que la va a tumbar.
Y hay una asimetría que casi nadie corrige. Cuando algo va mal lo analizamos todos: reunión, hipótesis, culpables. Cuando algo va bien no lo analiza nadie. Tiene más sentido analizar lo que funciona que lo que no, aunque sea menos instintivo, porque lo que funciona es lo único que puedes multiplicar.
Seis piezas, y las tres primeras van antes de tocar nada.
Un experimento no se calcula, se diseña. Y se diseña por escrito, porque la mitad del valor está en que dentro de tres meses alguien pueda releer qué se preguntó y qué se contestó.
La pregunta. Una sola, y colgada de un cuello de botella real. Antes de tocar nada hay tres preguntas que ordenan la sala: cuál es tu North Star, qué cuello de botella quieres superar, y qué objetivo tiene realmente este test. Si la tercera no tiene respuesta corta, el experimento no está listo. De ahí sale el trabajo de cascadear la métrica hasta el equipo que puede moverla.
La hipótesis. Con fundamento, no con intuición. Una hipótesis dice qué crees que pasa, qué vas a cambiar y por qué eso debería mover el número. El “por qué” es la parte que se salta todo el mundo y es la única que sobrevive al experimento: si aciertas sabrás qué mecanismo replicar, y si fallas sabrás qué creencia tachar.
El criterio de éxito. El número y el plazo, firmados antes de lanzar. Si la lectura va a ser cuantitativa, aquí es donde se decide qué mejora merece la pena detectar —el efecto mínimo detectable— y con qué nivel de significancia estadística te vas a dar por convencido. Decidir eso después de ver la gráfica no es analizar: es buscar una lectura amable.
El cambio, la lectura y el aprendizaje. El cambio mueve una variable, no tres. La lectura usa el instrumento que la muestra permita —un test A/B si hay tráfico, research cualitativo si no—. Y el aprendizaje se escribe: en cada tarjeta que se cierra, una reflexión breve de qué tal fue, el resultado y lo que se aprendió. Eso es el aprendizaje validado, y es lo único que te permite mirar atrás dentro de tres meses y saber qué ha funcionado de verdad. La flecha de vuelta del dibujo es literal: ese aprendizaje entra en el backlog de experimentos y de ahí sale la pregunta siguiente.
Conviene decirlo antes de que alguien monte un tablero con cincuenta tarjetas: el objetivo no es lanzar el máximo número de experimentos posible. Hemos visto proyectos que, tocando solo cuatro o cinco cosas, logran más que otros que lanzan quince tests a la semana durante meses.
Primero decide el instrumento. Después, el veredicto.
La experimentación es la cultura; el testing es solo una táctica. Y esa táctica tiene una condición de entrada que se comprueba antes de contratar ninguna herramienta: cuánta gente pasa por la página que quieres tocar.
Es donde está la mayoría de las empresas de 1 a 20 millones. No te libra de experimentar: cambia el instrumento con el que lees el resultado.
Aquí la máquina hace el 90% del cálculo. Lo que sigue siendo tuyo es la pregunta, el criterio y la disciplina de no pararlo el día que va ganando.
Por debajo de 8.000 usuarios al mes por URL —dato contrastado con el equipo de VWO— un test A/B deja de ser representativo. Es la muestra estadística de toda la vida: que ocho de cada diez tengan los ojos azules no dice nada del 80% de la población. Si tu web mueve menos que eso, no montes un A/B esperando que decida por ti; decide con grabaciones, mapas de calor y entrevistas. Eso no te libra de experimentar, solo cambia la herramienta, y es el terreno natural del trabajo de CRO.
Con el resultado delante, un experimento solo puede acabar en tres sitios. Ganó: antes de replicarlo, pregunta por qué. Hace años, en una empresa de viajes, cambiamos la imagen de una landing porque la que había —unas tumbonas de playa— estaba pasadísima de moda, y apareció una foto de un templo en Tailandia elegida sin pensar ni una décima de segundo en la ubicación. Ese año Tailandia se puso de moda por su cuenta y las reservas se multiplicaron por cien. No fue growth, fue chiripa: la foto acompañó, no causó. Sin el porqué, un pico es ruido y lo replicas donde no toca. Con el porqué, es una receta. Perdió: la creencia queda tachada, y eso vale dinero si está escrito. No concluye: no es un empate, es que la muestra no daba — y eso se sabía antes de lanzar.
Lo siguiente es elegir el que viene. La lista sale de una sesión de ideación con un objetivo escrito, cuatro o cinco personas y cincuenta o sesenta minutos, sin juzgar ninguna idea mientras sale. Después se limpia y se puntúa con ICE: impacto, confianza y facilidad, del uno al diez cada uno, y se multiplican. Ese orden es el que decide por dónde empiezas.
Y hace falta un reloj, o nada de esto ocurre. En Snowball trabajamos con sprints de unos quince días: sprint 1 y sprint 2 dentro de cada mes. Se planifican en formato escalador —tengo claro a dónde quiero llegar, ¿cuál es el punto inmediatamente anterior?— y se cierran con una retrospectiva de tres preguntas: qué deberíamos mantener o potenciar, qué deberíamos incorporar, qué deberíamos eliminar o reorientar. Con las mismas cuatro o cinco personas de la ideación. No hace falta más aparato que ese.
Cuatro maneras de experimentar y no aprender nada.
Escribir el criterio después del resultado
Es el error que anula todos los demás. Con la gráfica delante siempre aparece un segmento, una semana o un dispositivo donde la cosa funcionó. Si el número y el plazo no estaban decididos antes, el experimento no contesta nada: confirma lo que ya querías hacer.
Mover dos cosas a la vez
Cambias el titular y el precio en el mismo lanzamiento, sube la conversión, y no sabes a cuál de los dos se lo debes. El resultado existe pero es intransferible: no puedes llevártelo a la siguiente página ni al siguiente canal, porque no sabes qué es lo que hay que llevarse.
Analizar solo lo que sale mal
Cuando algo falla se convoca media empresa. Cuando algo funciona, nadie pregunta por qué. Es un desperdicio: lo que ya te está funcionando es lo único que sabes que funciona en tu negocio, con tu público y con tu precio. Sin el mecanismo explicado, un buen resultado dura lo que dure la casualidad que lo produjo.
Llamar experimentación al cambio de rumbo
Una dirección que cambia de plan cada mes y lo disfraza de experimentación no está experimentando: está sin rumbo con vocabulario nuevo. La señal es fácil de ver — si nadie puede decir qué pregunta se estaba contestando el mes pasado, no había experimento. Y su gemelo es contar experimentos como si fueran producción: quince tests a la semana con cero aprendizajes escritos valen menos que cuatro bien leídos.
Lo que se pregunta sobre experimento.
¿Qué diferencia hay entre un experimento y un test A/B?
El test A/B es un instrumento de lectura; el experimento es la decisión de qué preguntar y qué contaría como respuesta. Puedes tener un experimento sin test A/B —leído con entrevistas o grabaciones— pero no al revés: un test sin pregunta ni criterio previo es un cambio con gráfica.
¿Cuánto tráfico hace falta para experimentar?
Para que un test A/B sea representativo hacen falta unos 8.000 usuarios al mes por URL, dato contrastado con el equipo de VWO. Por debajo de esa cifra no dejas de experimentar: cambias de instrumento y decides con research cualitativo, es decir grabaciones, mapas de calor y entrevistas.
¿Cuántos experimentos hay que lanzar al mes?
No es un objetivo de volumen. Hemos visto proyectos que, tocando solo cuatro o cinco cosas, logran más que otros que lanzan quince tests a la semana durante meses. Lo que se cuenta no son los experimentos lanzados, son los aprendizajes escritos.
¿Qué se hace cuando un experimento sale mal?
Se escribe. Una hipótesis descartada es un resultado válido y ahorra el mismo dinero dos veces: la próxima vez que alguien proponga eso, ya está contestado. El experimento que no deja nada no es el que pierde, es el que nadie documenta.
¿Y si el resultado no es concluyente?
No es un empate: es que la muestra no daba para distinguir. Se sabe antes de lanzar, calculando qué mejora quieres poder detectar. Si no llegas, decide con research cualitativo en vez de esperar tres meses a que un test se pronuncie.
Los que hacen falta para usar este.
Cómo se comprueba una idea antes de creérsela, y cuándo un resultado significa algo.
Lo que sabes después del experimento y no sabías antes, escrito para que siga sirviendo dentro de un año. El único resultado que no caduca cuando cambias la creatividad.
La lista ordenada de lo que vas a probar y en qué orden. Convierte las ideas sueltas de una reunión en trabajo de las próximas semanas.
La frase que dice qué vas a cambiar, qué métrica esperas mover y por qué crees que se moverá. Sin ella un test gana o pierde, pero no enseña nada.
Dos versiones de lo mismo enseñadas a la vez a públicos equivalentes para ver cuál convierte mejor. Con poco tráfico no separa la señal del ruido.
Impacto × Confianza × Facilidad (1-10 cada una). Cómo se puntúa una sesión de ideación sin discutir 3 horas.
Horizonte de trabajo de 15 días planificado desde la meta hacia atrás, con acciones CORE y complementarias.
