Les sondages non-probabilistes abusent de la crédulité des gens
Dans le débat sur la nature et le financement des universités, la frénésie de sondages non probabilistes nous offre un exemple pertinent de là où nous mène la marchandisation du savoir.
Ce fut bien rafraîchissant d’écouter l’émission The Current sur CBC au lendemain des récentes élections en Alberta. Sondages téléphoniques probabilistes et sondages en ligne non probabilistes confondus, tous accordaient la victoire au Wild Rose Party par une marge de 6 ou 7 points sur le Parti conservateur. Résultats : les conservateurs ont triomphé par 10 points du Wild Rose.
Au cours de cette salutaire autopsie, la sondeuse indépendante Janet Brown a rappelé aux auditeurs que les meilleurs sondeurs soulignent que, dans leur métier, la certitude n’existe pas. Elle estime, en particulier, que des instantanés simplistes ne sont pas très fiables et que, de façon plus générale, l’activité du sondeur relève davantage d’un art que d’une science.
Pareille humilité est à des années-lumière de l’attitude des tandems CROP/La Presse et Léger Marketing/Journal de Montréal, qui rivalisent de sensationnalisme dans la présentation d’un flot incessant de sondages non probabilistes sur la grève étudiante au Québec. Il y a de l’argent à faire en abusant de la crédulité des gens.
Un étudiant en démographie vient finalement de battre la casserole du bon sens. Dans une lettre à La Presse, Guillaume Marois a opiné que les universités devraient obliger les aspirants journalistes à suivre un cours de statistique.
Il déplore notamment que CROP a mené, en plein dévoilement du projet de loi 78, un sondage qui a inspiré à La Presse du 19 mai dernier des manchettes trompeuses, voire mensongères, dont « Sondage favorable à la loi spéciale » et « Les Québécois en faveur de la ligne dure ».
Marois relève que le sondage en question était non probabiliste et, donc, non représentatif de la population. Pour de semblables sondages, note-t-il, l’échantillon est auto-sélectionné, c’est-à-dire que les sondés ont eux-mêmes choisi de faire partie d’une liste d’envoi électronique. Ajoutons qu’en outre, ils répondent contre rémunération. Et que cette méthode passe à la trappe les nombreux Québécois analphabètes ou qui ne sont pas branchés sur Internet.
Ces répondants internautes ont-ils les mêmes opinions que le reste de la population ? Des fois oui, des fois non, estime Marois.
S’il comprend que, pour des raisons pratiques et d’économie les sondeurs peuvent parfois recourir à ce genre de méthode, Marois considère qu’« il faut alors apporter toutes les nuances nécessaires aux résultats obtenus et, surtout, ne pas les utiliser de manière à influencer l’opinion publique ». Tout le contraire de ce que font La Presse et le Journal de Montréal.
L’animatrice Catherine Perrin a invité Marois à exprimer ses réserves sur les ondes de Radio-Canada. Il s’est trouvé coincé entre Alain Giguère, président de CROP, et Christian Bourque, vice-président de Léger Marketing, qui se sont évidemment portés à la défense de leur industrie.
Bourque a avancé que les sondages non probabilistes sont fiables et comparables aux sondages probabilistes, et que la méthode non probabiliste n’est pas attaquable. Mais, dit-il, « on est conscient des limites de notre science [sic] ».
Marois a répliqué qu’un échantillon non probabiliste peut être non représentatif, c’est-à-dire biaisé.
Plus racoleur que Bourque, Giguère a souligné que, contrairement à Léger Marketing, CROP n’emploie pas le mot « représentatif » en parlant d’échantillons non probabilistes. Il reconnaît en outre que les sondages non probabilistes sont « un peu plus imprécis » que les probabilistes.
Giguère ajoute qu’il faut cependant vivre avec l’époque, c’est-à-dire que le taux de réponse aux sondages probabilistes, réalisés au téléphone, est devenu extrêmement faible ; il proteste que les résultats non probabilistes obtenus au moyen de panels d’internautes ne sont « pas si mal, comme la météo » et soutient que La Presse n’a jamais déformé ou mal interprété les résultats des sondages en ligne. « J’ai jamais vu La Presse aller trop loin », a-t-il dit, et il jure que CROP « ne se laisserait pas dicter le libellé de ses questions ».
Sous la manchette « Les Québécois en faveur de la ligne dure », La Presse du 19 mai précise pourtant que l’échantillon non probabiliste de 800 personnes « est pondéré pour s’assurer qu’il représente fidèlement l’ensemble de la population selon les critères de sexe, d’âge, de scolarité et de langue maternelle ».
Ce n’est pas loin de prétendre que l’échantillon est représentatif, pratique honnie par Giguère. La Presse y déclare d’ailleurs que « Les résultats de ce type d’enquête sont aussi fiables qu’une enquête téléphonique ».
Dans ses explications supplémentaires publiées dans La Presse des 19 et 26 mai sous les titres « Sondage CROP-La Presse : la méthodologie expliquée » et « L’ABC des sondages », Giguère brode autour de la question de façon semblable.
Au moyen des sondages non probabilistes « il me semble qu’on se débrouille pas si mal, affirme-t-il dans l’édition du 19 mai […] Je ne suis pas sûr [que les sondages probabilistes soient plus fiables […] Nous avons été les premiers à détecter la vague orange des dernières élections fédérales avec un sondage non probabiliste. Elle s’est vraiment produite. Malgré toutes les limites, on n’est pas si mal ! » Et si ce sondage non probabiliste avait justement déclenché la vague orange ?
Mais face aux critiques comme celles de Marois, la pression monte. Dans ses explications du 26 mai, Giguère soutient que les internautes ont été sollicités au hasard pour faire partie des panels Web. « Certains ont accepté », écrit-il. Fort bien. Mais combien ont refusé ? Et lors d’un sondage, quel est au juste le taux de réponse des internautes auxquels on a expédié le questionnaire ? CROP ne nous le dit jamais.
Cela laisse deviner que le taux de participation à un panel Web ainsi que le taux subséquent de réponse des internautes au questionnaire font problème, tout comme pour les sondages probabilistes faits au téléphone.
Giguère poursuit : « Le profil socio-démographique de ces internautes est ensuite établi par CROP. Âge, sexe, revenus, valeurs. Ensuite, ce panel initial est ajusté par CROP de façon à reproduire la population québécoise avec la plus grande exactitude, telle qu’elle apparaît dans les chiffres de Statistique Canada. La banque de données finale reflète donc fidèlement l’image de la population. »
Valeurs ? Comme dans accès universel et gratuit aux services de santé, valeur censée faire la différence entre Canadiens et Américains ? Ou comme dans l’accès universel et gratuit aux études postsecondaires, valeur qui distinguerait peut-être les Québécois des autres Canadiens ? Impossible. Statistique Canada ne chiffre pas les valeurs de la population.
Et si, par quelque autre moyen de son cru, CROP connaît déjà la position de la population en ce qui concerne notamment la valeur que représente l’accès gratuit à l’éducation postsecondaire, afin d’« ajuster » la représentativité ou le « reflet de l’image de la population » – trêve de finasserie sémantique ! – de son panel, à quoi bon alors faire un sondage ?
La vérité, c’est qu’aucune pondération rétroactive d’un échantillon d’internautes auto-sélectionnés, opérée en fonction d’une poignée de variables, ne saurait garantir en tout point sa représentativité. Seul un sondage probabiliste, avec un échantillon élaboré entièrement au hasard, peut offrir cette garantie, en plus de permettre d’accompagner ses résultats d’une marge d’erreur.
Giguère décoche ensuite une flèche à Léger Marketing. « Aucun sondage réalisé par Internet n’a de marge d’erreur. C’est vrai pour CROP, c’est vrai pour tous ses concurrents […] Prétendre afficher une marge d’erreur pour un sondage Internet est carrément mensonger. Pourquoi ? Parce que l’échantillon utilisé pour sonder n’a pas été établi avec le hasard le plus total. »
Giguère ne s’emploie pas moins, comme Bourque, à revêtir d’une aura scientifique ce qui ne le mérite pas. Au fond, que vaut une approximation lorsqu’on n’a aucun moyen d’estimer de combien elle est susceptible d’avoir manqué sa cible ?
