Lo que aprenderás
La experimentación no es la práctica de cambiar los colores de los botones hasta que cambie la tasa de conversión. Es una forma de reducir la incertidumbre sobre una decisión significativa. Un experimento útil comienza con un problema real, un mecanismo plausible y un cambio que podría mejorar la experiencia del cliente o el resultado comercial. Define quién se ve afectado, cómo son el éxito y el daño, cuánto tiempo durará y qué acción justificará el resultado. Esta lección hace que las pruebas sean más rigurosas sin convertir cada mejora en un proyecto de investigación.
Podrá escribir un resumen de un experimento práctico, elegir una comparación válida, establecer el éxito y las barreras de seguridad, interpretar los resultados con cautela y decidir si adoptar, iterar, detener o investigar más a fondo.
Por qué esto importa
Sin una hipótesis clara, las pruebas se convierten en una acumulación de opiniones. Los equipos pueden celebrar un pequeño impulso local que provino de clientes de menor calidad, daños a largo plazo, errores de medición, tráfico estacional o un cambio que no se puede explicar lo suficientemente bien como para escalarlo.
El diseño del experimento es el diseño del cliente. Una prueba que cambia el precio, la divulgación de riesgos, la fricción en la forma, la claridad del mensaje, el acceso o el soporte puede afectar a personas reales. Las barreras de seguridad, las reglas de detención y la propiedad clara evitan que la búsqueda de una métrica anule la confianza. Los experimentos sólidos también crean lecciones que se transfieren más allá de una página o campaña.
Un experimento útil vincula la incertidumbre con una decisión
Ideas clave
Hipótesis
Una hipótesis predice que cambiar un elemento específico para una audiencia definida afectará un resultado definido debido a un cliente o mecanismo del sistema establecido. Es más que "creemos que esta versión ganará".
Úselo cuando: ¿Puedes completar: ‘Porque…, cambiar… por… mejorará… sin perjudicar…’?
Métrica primaria
La métrica principal es el resultado sobre el que está diseñada la prueba para influir, como la reserva calificada, la activación, la compra o la conversión retenida. Elige una métrica principal para que la decisión no cambie después de que lleguen los resultados.
Úselo cuando: ¿Se eligió esta métrica antes de que la gente viera el resultado de la prueba?
Barandilla
Una barrera de seguridad es una medida que revelaría un daño o una compensación inaceptable: reembolsos, tasa de quejas, calidad de clientes potenciales, errores de accesibilidad, volumen de soporte, cancelación, tiempo de respuesta o conversión del segmento incorrecto.
Úselo cuando: ¿Qué haría que fuera inaceptable adoptar un ascensor local?
Efecto mínimo detectable
El efecto mínimo detectable es el cambio más pequeño sobre el que vale la pena actuar dado su tráfico, riesgo y costo de implementación. Impide que los equipos traten movimientos triviales como prueba de que un cambio complicado debería volverse permanente.
Úselo cuando: ¿Esta magnitud de mejora justificaría el esfuerzo y la posible compensación del cliente?
Cómo hacerlo
Elige una incertidumbre importante
Empieza con un diagnóstico o una pregunta estratégica: ¿Esta explicación mejora el ajuste? ¿Un tipo de prueba diferente aclara la oferta? ¿Un camino de incorporación más corto ayuda a los clientes a alcanzar el primer valor? Evita probar un cambio sólo porque una idea es fácil de implementar.
Escribe la hipótesis y el mecanismo.
Indique la audiencia afectada, el obstáculo actual, el cambio propuesto, por qué el cambio debería ayudar, la métrica principal, la barrera de seguridad y qué resultado alteraría su decisión. Si no puede explicar el mecanismo, mejore la investigación antes de realizar la prueba.
Seleccione una comparación válida
Usa una comparación A/B controlada cuando el tráfico y las condiciones lo permitan. Usa antes y después, reserva, implementación por fases, prueba de usabilidad o experimento cualitativo cuando sea más apropiado. Sea honesto acerca de la certeza que cada método puede brindar.
Establecer reglas de elegibilidad, duración y detención
Define quién está incluido, cómo funciona la asignación, cuánto tiempo debe ejecutarse la prueba, muestra esperada, restricciones estacionales u operativas y condiciones que requieren una parada inmediata. No mires y cambies la regla repetidamente porque quieres un resultado antes.
Instrumento y control de calidad de la prueba.
Verifica la exposición, los eventos, la asignación, el comportamiento del formulario, el pago, los errores y la compatibilidad del dispositivo antes de interpretar los resultados. Esté atento a la contaminación, el tráfico de bots, las variantes rotas y los cambios que impiden contar a las personas adecuadas.
Leer resultados en contexto
Compara métricas primarias, barreras de seguridad, segmentos, comentarios cualitativos y efectos operativos. Un resultado puede ser positivo en general, pero perjudicial para los usuarios de dispositivos móviles o los clientes con un determinado caso de uso. Busca un patrón coherente en lugar de un número atractivo.
Tomar una decisión documentada
Adoptar cuando el resultado sea significativo y seguro, repetirlo cuando el mecanismo parezca prometedor pero incompleto, detenerlo cuando falle o resulte perjudicial e investigar cuando el resultado no esté claro. Registra las advertencias y las siguientes preguntas para que las pruebas futuras se basen en la lección.
Monitorear después del lanzamiento
Un entorno de prueba puede diferir de las operaciones normales. Después de la adopción, observe la métrica principal, las barreras de seguridad, los comentarios de los clientes, el soporte y el rendimiento técnico el tiempo suficiente para detectar los efectos retrasados. Mantén un plan de reversión para cambios materiales.
Ejemplo resuelto: simplificar una página de solicitud de demostración
Una empresa cree que su formulario es demasiado largo porque los visitantes móviles lo abandonan en el paso de detalles de la empresa. En lugar de eliminar inmediatamente la mitad de las preguntas, el equipo verifica las grabaciones, las notas de soporte y las necesidades de ventas. Encuentra que dos campos son esenciales para el enrutamiento, pero un campo de texto libre obligatorio que solicita "detalles del proyecto" no está claro y no lo utilizan las ventas. El mecanismo del cliente es la incertidumbre y el esfuerzo innecesario, no simplemente el recuento de campos.
El experimento reemplaza el campo vago con una breve selección de objetivos principales y hace que un campo de notas no esenciales sea opcional. La métrica principal son las reuniones reservadas calificadas, no la finalización de formularios. Las barreras de seguridad incluyen la calidad de la preparación de ventas, la tasa de no presentación, las quejas de los clientes y la accesibilidad móvil. El equipo ejecuta la prueba durante un período definido, verifica los datos de asignación y eventos, luego compara los resultados por fuente y dispositivo antes de decidir si adoptarla.
El equipo descubre que una pregunta más clara mejora las reservas cualificadas sin reducir las necesidades de venta de información. Puede aplicar la lección a otras formas: haga solo preguntas útiles y explique por qué cada una es importante.
Cómo mejorarlo
Una sesión de usabilidad, una entrevista con un cliente, una revisión de una llamada de ventas o una prueba de mensaje pueden revelar por qué una persona malinterpreta una página. Usa evidencia cualitativa para encontrar hipótesis prometedoras antes de gastar el escaso tráfico en un gran experimento controlado.
Un nuevo diseño, incentivo o mensaje puede producir una respuesta de corta duración porque es nuevo. Cuando las decisiones tengan consecuencias duraderas, supervise las cohortes, la calidad de los clientes y la retención después del lanzamiento, en lugar de asumir que el impulso inicial persistirá.
Almacene la pregunta, el contexto, la audiencia, el cambio, las notas de calidad de los datos, el resultado, la decisión y la lección reutilizable. Un registro de experimentos evita que los equipos revisen la misma idea sin saber qué sucedió antes.
Llévalo a un embudo real
Escribe un resumen de experimento que un compañero de equipo pueda revisar y ejecutar sin necesidad de adivinar lo que significa el éxito.
Problema: Indique el problema observado del cliente o del negocio y la evidencia detrás de él.
Hipótesis: Escribe la audiencia, el cambio, el mecanismo, la métrica principal y el efecto esperado.
Protección: Define barreras de seguridad, reglas de exclusión, duración, condiciones de parada y revisión de riesgos del cliente.
Método: Elige el método de comparación y observe lo que puede y no puede probar.
Decisión: Especifique los criterios de adopción, iteración, detención y seguimiento antes de que los resultados estén disponibles.
Antes de seguir adelante
- La prueba comienza con una incertidumbre significativa sobre el cliente o el negocio.
- La hipótesis establece un mecanismo plausible, una audiencia y un resultado esperado.
- Las métricas primarias, las barreras de seguridad, la elegibilidad y las reglas de detención se establecen de antemano.
- La calidad de la instrumentación y las variantes se verifica antes de la interpretación.
- Los resultados producen una decisión documentada de adopción, iteración, parada o investigación.
Constrúyelo en la práctica
Lleva la lección a la práctica.
Usa Spacebrain para implementar el siguiente paso en un espacio de trabajo conectado.