Je voudrais revenir sur une question sur laquelle je suis tombé sur un forum de product management.
La Question était:
Quel est la taille du groupe de contrôle lorsque l’on veut valider un problème grâce à un sondage?
(What is the sample size we should look for when conducting surveys to validate the problem ?)
Il existe dans cette question un postulat intéressant à explorer qui est:
“Un sondage permet de valider un problème”
Lors de cette discussion un autre product manager disait qu’il fallait préférer une approche quantitative pour valider un problème en faisant référence à ce post twitter.
Ma réponse à cela est beaucoup plus nuancée car pour moi il n’y a pas de solution ou de processus parfait de validation d’un problème. Il y même des aspects qui tiennent uniquement de l’intime et de l’arbitraire (éthique, philosophique, croyance politique ou religieuse)
Mais tenons nous en uniquement à l'outil, au processus du sondage. Cet outil doit pour moi être considéré comme faisant partie d’une boîte à outil plus large qui permet de récolter des informations sur une hypothèse et alimenter une réflexion.
Prenons un sondage où nous cherchons à valider ou invalider notre hypothèse / problème X.Si nous demandons:
Le danger de ce genre de question est le biais qui peut lui être associé. Ces biais existent aussi si on utilise des outils et méthodes quantitatives. Dans le jargon on appelle ça une vanity metric, indicateur flatteur d’ego.
Dans la question 1. une personne peut dire "Oui". Il faut comprendre que cela ne lui coûte pas grand chose de rêver à un monde ou X ne serait plus là. Elle n’a pas à sortir sa carte bleu ou changer son comportement , voir son identité pour cela. On peut parler ici de Social desirability bias.
Le sondage peut toujours aider à trouver un problème, donc dans un sens oui. Il s’agit d’une question de probabilité du modèle à trouver / valider un problème. Ce que suppose la personne qui répond à la question c'est que sa méthode est meilleur pour trouver un problème et le valider. Elle a surement raison. Sa méthode est aussi beaucoup plus coûteuse et longue.
Peut être alors devrions nous nous poser alors d'autres questions:
J’aime les sondages dans le but d’aider à se faire une idée sur
Cela permet de contraindre la solution d’un point de vue extérieur à l'organisation et renforcer ou affaiblir une stratégie ou la vision produit .Je n’aime pas proposer de solution dans les sondages car il est déjà difficile pour quelqu’un à l'intérieur de l’entreprise d'appréhender toutes les composantes d’un problème. Il faut aussi garder à l’esprit que certaines de ces composantes sont purement internes. (avez vous le staff, est-ce que vous avez d’autres problèmes vous contraignant économiquement dans une direction etc... )
Avec les outils de sondage d’aujourd’hui, cela ne coûte presque rien. Mais je reste toujours sur mes gardes quant aux conclusions à prendre. Cela me mène en général sur une autre étape de validation. Le test d’un prototype par exemple et ainsi de suite jusqu'à trouver ce qu’on appelle le market fit.
Le market fit étant l'étape ou il semble que l’on ait trouvé un point d'équilibre financier (marge net > 0) et qu’il semble que le nombre de nouveaux clients augmente dans le temps.
Il faut également faire attention a ne pas trop solliciter vos utilisateurs. Ils pourraient se lasser de vos demandes répétées.
Vous pouvez utilisez les sondages, mais gardez à l’esprit leur nature et limitations. Pensez bien à vos questions et aux réductions et biais qu’elles impliquent.
Bonne chance, et n'hésitez pas à me dire dans les commentaires, comment vous utilisez vos sondages.