Ce que vous serez en mesure de faire : effectuer des expériences utiles et prendre des décisions
L'expérimentation n'est pas la pratique de changer les couleurs des boutons jusqu'à ce qu'un taux de conversion se déplace. C'est un moyen de réduire l'incertitude concernant une décision significative. Une expérience utile commence par un problème réel, un mécanisme plausible et un changement qui pourrait améliorer l'expérience client ou les résultats commerciaux. Il définit qui est touché, à quoi ressemblent le succès et les dommages, combien de temps courir et quelle action le résultat justifiera. Cette leçon rend les tests plus rigoureux sans transformer chaque amélioration en un projet de recherche.
Vous serez en mesure de rédiger un résumé d'expérience pratique, de choisir une comparaison valide, de définir le succès et les garde-fous, d'interpréter les résultats avec prudence et de décider d'adopter, d'itérer, d'arrêter ou d'enquêter davantage.
Pourquoi ce travail est important : Exécuter des expériences utiles et prendre des décisions
Sans hypothèse claire, les tests deviennent un arriéré d'opinions. Les équipes peuvent célébrer un petit ascenseur local provenant de clients de moindre qualité, de dommages à plus long terme, d'erreurs de mesure, de trafic saisonnier ou d'un changement qui ne peut pas être expliqué assez bien pour évoluer.
La conception expérimentale est la conception du client. Un test qui modifie le prix, la divulgation des risques, la friction du formulaire, la clarté du message, l'accès ou l'assistance peut affecter de vraies personnes. Les garde-fous, les règles d'arrêt et la propriété claire empêchent la poursuite d'une métrique de l'emer sur la confiance. Des expériences fortes créent également des leçons qui se transfèrent au-delà d'une page ou d'une campagne.
Une expérience utile relie l'incertitude à une décision
L'expérience n'est pas terminée lorsqu'un rapport est généré. Il est terminé lorsque l'équipe comprend ce qui a été testé, ce qui a changé, ce qui reste incertain et quelle décision suit.
Idées clés : Exécuter des expériences utiles et prendre des décisions
Hypothèse
Une hypothèse prédit que la modification d'un élément spécifique pour un public défini affectera un résultat défini en raison d'un client déclaré ou d'un mécanisme de système. C'est plus que "nous pensons que cette version va gagner".
Utilisez-le quand : Pouvez-vous compléter : « Parce que..., changer... pour... s'améliorera... sans nuire... » ?
Métrique primaire
La mesure principale est le résultat que le test est conçu pour influencer, comme la réservation qualifiée, l'activation, l'achat ou la conversion retenue. Choisissez une mesure principale afin que la décision ne change pas après l'arrivée des résultats.
Utilisez-le quand : Cette mesure a-t-elle été choisie avant que les gens ne voient le résultat du test ?
garde-fous
Un garde-fous est une mesure qui révélerait un préjudice ou un compromis inacceptable : remboursements, taux de réclamation, qualité du plomb, erreurs d'accessibilité, volume d'assistance, annulation, délai de réponse ou conversion du mauvais segment.
Utilisez-le quand : Qu'est-ce qui rendrait un ascenseur local inacceptable à adopter ?
Effet minimal détectable
Définissez d'abord l'effet pratique minimum : le plus petit changement qui justifierait la mise en œuvre. L'effet détectable minimum est différent : c'est le plus petit effet réel que le test prévu puisse détecter avec la puissance choisie, le niveau de signification, la taille de l'échantillon, l'allocation et la variance attendue. Si l'effet détectable est supérieur au seuil pratique, le test est sous-alimenté pour la décision.
Référence statistique : Le NIST explique comment le décalage détectable, la signification, la puissance, la taille de l'échantillon et la variance s'emboignent.
Utilisez-le quand : Cette ampleur de l'amélioration justifierait-elle l'effort et l'éventuel compromis avec les clients ?
Étapes pratiques : Exécuter des expériences utiles et prendre des décisions
Choisissez une incertitude importante
Commencez par un diagnostic ou une question stratégique : Cette explication améliore-t-elle l'ajustement ? Est-ce qu'un type de preuve différent rend l'offre plus claire ? Le chemin d'intégration plus court aide-t-il les clients à atteindre la première valeur ? Évitez de tester un changement simplement parce qu'une idée est facile à mettre en œuvre.
Écrivez l'hypothèse et le mécanisme
Indiquez le public affecté, l'obstacle actuel, le changement proposé, pourquoi le changement devrait aider, la métrique principale, le garde-fous et le résultat qui modifierait votre décision. Si vous ne pouvez pas expliquer le mécanisme, améliorez la recherche avant de tester.
Sélectionnez une comparaison valide
Utilisez une comparaison A/B contrôlée lorsque la circulation et les conditions le permettent. Utilisez avant et après, holdout, déploiement progressif, test d'utilisabilité ou expérience qualitative lorsque cela est plus approprié. Soyez honnête sur la certitude que chaque méthode peut apporter.
Définir l'éligibilité, la durée et les règles d'arrêt
Définissez qui est inclus, comment fonctionne l'affectation, combien de temps le test doit fonctionner, l'échantillon attendu, les contraintes saisonnières ou opérationnelles et les conditions qui nécessitent un arrêt immédiat. Jetez un coup d'œil et ne changez pas la règle à plusieurs reprises parce que vous voulez un résultat plus tôt.
Instrument et contrôle de la qualité du test
Vérifiez l'exposition, les événements, l'affectation, le comportement du formulaire, le paiement, les erreurs et la prise en charge de l'appareil avant d'interpréter les résultats. Surveillez la contamination, le trafic de robots, les variantes cassées et les changements qui empêchent les bonnes personnes d'être comptées.
Lire les résultats en contexte
Comparez les métriques primaires, les garde-fous, les segments, les commentaires qualitatifs et les effets de fonctionnement. Un résultat peut être globalement positif, mais nuisible pour les utilisateurs mobiles ou les clients ayant un certain cas d'utilisation. Cherchez un modèle cohérent plutôt qu'un nombre attrayant.
Prendre une décision documentée
Adoptez lorsque le résultat est significatif et sûr, itérez lorsque le mécanisme semble prometteur mais incomplet, arrêtez-vous lorsqu'il échoue ou nuit, et enquêtez lorsque le résultat n'est pas clair. Enregistrez les mises en garde et les questions suivantes afin que les futurs tests s'appuient sur la leçon.
Surveiller après le déploiement
Un environnement de test peut différer des opérations normales. Après l'adoption, surveillez la mesure principale, les garde-fous, les commentaires des clients, l'assistance et les performances techniques suffisamment longtemps pour détecter les effets retardés. Gardez un plan de retour en arrière pour les changements de matériaux.
Exemple de travail : simplification d'une page de demande de démonstration
Une entreprise pense que son formulaire est trop long parce que les visiteurs mobiles abandonnent à l'étape des détails de l'entreprise. Au lieu de supprimer immédiatement la moitié des questions, l'équipe vérifie les enregistrements, les notes d'assistance et les besoins de vente. Il constate que deux champs sont essentiels pour le routage, mais un champ de texte libre obligatoire demandant des « détails du projet » n'est pas clair et n'est pas utilisé par les ventes. Le mécanisme du client est l'incertitude et l'effort inutile, pas seulement le comptage sur le terrain.
L'expérience remplace le champ vague par un petit choix d'objectifs principaux et rend un champ de notes non essentiel facultatif. La mesure principale est les réunions réservées qualifiées, et non l'achèvement du formulaire. Les garde-fous comprennent la qualité de préparation des ventes, le taux de non-présentation, les plaintes des clients et l'accessibilité mobile. L'équipe exécute le test pendant une période définie, vérifie les données d'affectation et d'événement, puis compare les résultats par source et par appareil avant de décider de l'adopter.
L'équipe apprend qu'une question plus claire améliore les réservations qualifiées sans réduire les besoins de vente d'informations. Il peut appliquer la leçon à d'autres formes : ne posez que des questions utiles et expliquez pourquoi chacune d'entre elles est importante.
Améliorer le résultat : Exécuter des expériences utiles et prendre des décisions
Une session d'utilisabilité, un entretien avec un client, un examen d'appel de vente ou un test de message peuvent révéler pourquoi une personne comprend mal une page. Utilisez des preuves qualitatives pour trouver des hypothèses prometteuses avant de dépenser un trafic rare sur une grande expérience contrôlée.
Un nouveau design, une nouvelle incitation ou un message peut produire une réponse de courte durée parce qu'il est nouveau. Lorsque les décisions ont des conséquences durables, surveillez les cohortes, la qualité des clients et la rétention après le déploiement au lieu de supposer qu'un relèvement précoce persistera.
Stockez la question, le contexte, l'audience, le changement, les notes de qualité des données, le résultat, la décision et la leçon réutilisable. Un journal d'expérience empêche les équipes de revisiter la même idée sans savoir ce qui s'est passé auparavant.
Appliquez la leçon : Exécutez des expériences utiles et prenez des décisions
Rédigez un résumé d'expérience qu'un coéquipier pourrait examiner et exécuter sans avoir à deviner ce que signifie le succès.
Problème : Indiquez le problème client ou commercial observé et les preuves qui le sous-tendent.
Hypothèse : Écrivez l'audience, le changement, le mécanisme, la mesure primaire et l'effet attendu.
Protection : Définir les garde-fous, les règles d'exclusion, la durée, les conditions d'arrêt et l'examen des risques du client.
Méthode : Choisissez l'approche de comparaison et notez ce qu'elle peut et ne peut pas prouver.
Décision : Spécifiez les critères d'adoption, d'itération, d'arrêt et de suivi avant que les résultats ne soient disponibles.
Avant de passer à autre chose
- Le test commence par une incertitude significative du client ou de l'entreprise.
- L'hypothèse indique un mécanisme plausible, un public et un résultat attendu.
- La métrique primaire, les garde-fous, l'éligibilité et les règles d'arrêt sont fixées à l'avance.
- L'instrumentation et la qualité des variantes sont vérifiées avant l'interprétation.
- Les résultats produisent une décision documentée d'adoption, d'itération, d'arrêt ou d'enquête.
Progression de la leçon
Vous avez terminé cette leçon ?
Enregistrez votre progression sur cet appareil pour reprendre facilement là où vous vous êtes arrêté.
Cette leçon n'est pas encore marquée comme terminée.
Construisez-le dans la pratique
Transformez la leçon en un système de travail.
Utilisez Spacebrain pour mettre en œuvre la prochaine étape dans un espace de travail connecté.