Les sondages de la campagne électorale de 2008

Gallup! Gallup! We got a problem…

Pierre-Alain Cotnoir et Pierre Drouilly

Le quotidien La Presse titrait sur sa une le vendredi 5 décembre : « Sondage exclusif CROP-La Presse : Les libéraux bien en selle, l’avance du parti de Jean Charest sur le Parti québécois est la plus forte depuis un an ». Les résultats sur lesquels était établi ce verdict sans appel : Parti libéral 45%, Parti québécois 29% et ADQ 15% (voir tableau).

Des résultats qui contrastaient avec ceux qu’avaient reçus les dirigeants du Parti québécois quelques jours plus tôt et qui donnaient 40% des intentions de vote au PLQ, 35% au PQ et 17% à l’ADQ (Le Journal de Montréal, 3 décembre, p. 12). Plus significatifs, les chiffres publiés par La Presse établissaient un écart record de 16% entre le PLQ et le PQ, alors que ceux fournis à la direction du PQ ne l’estimaient qu’à un peu plus de 5%. Le problème? CROP avait presque tout faux! (PLQ +3%, PQ –6%, ADQ –1%, Autres +5%).

Le lendemain paraissait un sondage Léger Marketing (Le Journal de Montréal, 6 décembre), plaçant le PLQ à 45% et l’ADQ à 15% (comme CROP), mais le PQ à 32%. Encore là, Léger avait lui aussi presque tout faux! (PLQ +3%, PQ –3%, ADQ –1%, Autres +2%). Évidemment, les sondeurs vont invoquer le faible taux de participation, la mauvaise température, la volatilité de l’électorat, etc. pour nous expliquer qu’il s’agit d’un métier à haut risque, et que tout le monde est faillible…

Mais ces explications ne tiennent pas, car samedi le 6 décembre un sondage Angus Reid donnait l’heure juste (PLQ 42%, PQ 36%) tout en sous-estimant l’ADQ (13% au lieu de 16%). Il aura donc fallu que la vérité nous vienne de Toronto, et lors d’une élection provinciale québécoise! Remarquons au passage qu’Angus Reid avait très exactement anticipé le vote fédéral du 14 octobre dernier au Québec, dans un sondage terminé le 11 octobre : Angus Reid accordait 22% au PLC, 39% au Bloc, 22% au PC, 13% au NPD et 4% aux autres, alors que les résultats de l’élection furent de 24% pour le PLC, 38% pour le Bloc, 22% pour le PC, 12% pour le NPD et 4% pour les autres…

On pourrait dire que lorsque tous les sondeurs se trompent, il y a un phénomène général qui s’est produit, que personne ne pouvait mesurer. Quand tout le monde se trompe, personne ne s’est trompé! Cette hypothèse a été avancée : on remarque que dans les trois derniers sondages (CROP, Léger et Angus Reid), le PLQ passe de 45% à 42%, et qu’inversement le PQ passe de 29% à 32% puis à 36%. On aurait donc assisté à un mouvement de dernière minute (recul des libéraux et progression des péquistes), et on a proposé de le relier immédiatement à la crise politique à Ottawa et au «Quebec bashing» auquel on a assisté.

Malheureusement cette explication ne tient pas la route, car le sondage que nous avons effectué pour le PQ et dont les résultats ont été rendus publics dans Le Journal de Montréal du 3 décembre (PLQ 40%, PQ 35%, ADQ 17% et autres 8%) anticipaient très exactement le résultat du vote (écart de -2% pour le PLQ, pas d’écart pour le PQ, écart de +1% pour l’ADQ et écart de 1% pour les autres), mieux même que ne le ferait Angus Reid quelques jours plus tard.

Après l’insuccès des sondeurs en 1998, qui ont, dans les derniers jours de la campagne électorale, largement sous-estimé le vote libéral (CROP de 8%, SOM de 10%, Sondagem de 6% et Léger de 5%) et sur-estimé le vote péquiste (CROP et SOM de 6%, Sondagem de 4% et Léger de 5%) et après l’insuccès des sondeurs en 2007 qui ont sous-estimé le vote adéquiste de 5% (CROP tout comme Léger), il y a lieu maintenant de se poser de sérieuses questions sur la fiabilité des sondeurs québécois. Et tenter de l’expliquer, ce qui n’est pas chose facile. Donnons quelques pistes de réflexion.

Comment expliquer l’erreur de sondeurs?

On consultant le tableau, on remarque d’abord que tous les sondages ont sur-estimé le vote aux tiers partis (Québec solidaire, Parti vert et autres), leur accordant entre 8 et 12 pourcent, alors que leur résultat le soir de l’élection fut de 6,4%. En moyenne, les sondeurs ont attribué 9,5% des intentions de vote aux tiers-partis, 3,1% de plus que leur score réel. Cela s’était déjà produit en 2007, les sondages accordant aux tiers-partis un score moyen de 10,2%, alors qu’ils n’ont obtenu que 7,8% le soir du vote (un écart de 2,4%). Cela tendrait à confirmer que les intentions de vote pour les tiers-partis sont en quelque sorte un «parking» pour les répondants discrets.

Bien entendu, chaque sondeur a sa façon de traiter les réponses des répondants «discrets» (refus de répondre, indécis, ne sais pas, etc.) : soit la méthode proportionnelle qui revient à ignorer ces répondants discrets, soit diverses méthodes d’affectation propres à chaque sondeur et souvent gardées secrètes. Mais ce n’est pas de ce côté-là qu’on trouvera d’explications, parce que le pourcentage de discrets varie très peu d’un sondage à l’autre (de 11% à 16%, pour une moyenne de 13%), et qu’avec un si faible niveau de discrets, les différentes méthodes d’affectation ne peuvent générer des erreurs aussi importantes.

Autre source possible d’erreur : le questionnaire. À l’examen, les questionnaires utilisés semblent tout à fait corrects, si ce n’est que la question de l’intention de vote est posée d’entrée (chez CROP comme chez Léger). Nous sommes d’avis que ce n’est pas un bon choix (en accord sur ce point avec Maurice Pinard), car il ne permet pas au répondant de se mettre dans une situation de débat politique, ce qu’une variété de questions préalables permet de faire. Mais enfin, comme nous étions en campagne électorale, cela revient un peu au même.

Certains sondages sont faits par Internet, ce qui soulève actuellement toutes sortes d’objections : pourtant dans ce cas précis, le sondage d’Angus Reid, qui s’est révélé un des meilleurs, a été effectué par Internet. L’erreur ne peut donc pas venir de là.

Il reste enfin les questions de redressement de l’échantillon (pondération des réponses pour rendre l’échantillon représentatif de la population selon certaines caractéristiques comme le sexe, la structure d’âge, la langue maternelle, la scolarité), et de répartition des répondants discrets sur lesquelles les sondeurs demeurent d’une discrétion absolue.

Une question de confiance

Le travail des sondeurs est basé sur la confiance : nous ne sommes pas présents pour s’assurer que les entrevues ont bien été faites, ni pour s’assurer que les résultats publiés correspondent bien aux données recueillies auprès des répondants. Nous sommes obligés de croire les sondeurs sur parole, de faire confiance en leur éthique. Et comme le dit César, le personnage de Pagnol, «la confiance, c’est comme les allumettes, ça ne sert qu’une fois!».

Avec des écarts entre 3% et 6%, c’est-à-dire de une à deux fois la marge d’erreur, on est en droit de se poser des questions. C’est aux sondeurs de nous rassurer sur leur méthodologie, sur les sources possibles de leurs erreurs, car nous ne disposons pas d’éléments clairs pour poser un diagnostic. Ils doivent nous expliquer ce qui, selon eux, n’a pas marché, et pourquoi ils se retrouvent aujourd’hui dans la marge jusqu’au cou.

À défaut de quoi, c’est notre confiance qui en sera ébranlée, et pour longtemps. Les journaux devraient à l’avenir être plus retenus dans leurs titres dans la une, et les commentateurs plus prudents dans leurs conclusions. Car à quelques jours, sinon quelques heures du vote, ce qui apparaît comme des fractions de pourcentage, fait en réalité tout la différence : à partir des résultats de CROP et de Léger, nous étions dans un scénario de 80 élus libéraux et une quarantaine de péquistes, alors qu’à partir de résultats d’Angus Reid et de notre propre sondage nous étions dans un scénario d’une soixantaine d’élus libéraux et d’une cinquantaine d’élus péquistes, ce qui arriva effectivement. C’est un peu comme en météorologie : il n’y a que quelques degrés de différence entre la neige et la pluie verglaçante, ou encore entre la pluie verglaçante et la pluie tout court.

Mais il est vrai qu’un proverbe dit : «Pourquoi Dieu a-t-il inventé les sondeurs? Pour bien faire paraître les météorologues…». Pour notre part, jusqu’à explications de la part des sondeurs, nous ne les croirons plus tant qu’il ne nous aurons pas prouvé leur savoir faire lors d’une prochaine élection.

Tableau

Sondages publics de la campagne électorale québécoise de 2008

Note : les pourcentages en caractères gras indiquent un écart de 3% ou plus par rapport aux résultats de l’élection.