There are increasingly more pitfalls complicating the work of pollsters. What if polling results mean nothing anymore?
Pollsters do not have an easy life. The results of their work are perhaps the most consumed product during an election season. It is a product often misunderstood not only by the general public who drink from the results, but also by the media who comment on it.
The pollster’s task, not easy to begin with, has become increasingly more difficult over time.
The Draconian fall of landline phones (along with nearly all voters being listed in the telephone Whitepages) means that now it is next to impossible for polls to produce a random and, thus, representative sampling.
The refusal of a growing number of voters to participate in such opinion polls, particularly among certain segments of the population who are more distrustful of government institutions, introduces an ongoing risk of nonresponse bias.
In the context of the Nov. 5 election, featuring Donald Trump as a candidate once again, there is a real likelihood that individuals being polled will hesitate to admit they support the Republican candidate. This fact has been apparent since 2016. Here, too, there is potential for nonresponse bias.
The same question always comes back to haunt American pollsters: Of those who agree to respond to a poll, who will vote on Election Day? It is not a mundane question. Pollsters have brainstormed and developed various methods to determine who will actually show up at the polls. Some rely on the voting history of the person polled (a history itself based on responses that may or may not be truthful), while others pose the question directly: “Do you plan to vote in November?”
With all this in mind, it is understandable that pollsters are having a tough time. And, for the third consecutive election, many of them are getting it terribly wrong.
It is impossible to know whether Kamala Harris or Trump will win the Nov. 5 election. The candidates don't know, and neither do their campaign teams. As statistician Nate Silver pointed out earlier in the week, whoever claims that the polls are in their favor is selling you pixie dust.
Harris could sweep the seven states currently at play, which would give her the largest Electoral College victory since Barack Obama in 2008.
Trump could do the same, which would give him the biggest margin in the Electoral College of any Republican candidate in nearly 40 years.
And the two candidates could plausibly split those states in a way where Harris wins with 270 electoral votes to 268, which would be the closest margin since the 1876 election, the closest election in American history.
In short, uncertainly reigns over the outcome of the vote.
Sometimes polls can lead to aberrations. For example, if Harris really does hold the lead in Nevada by seven points (as Bloomberg reported), she cannot be behind by six in Arizona (as USA Today affirms). And vice versa.
And if Harris is leading Trump by just about three points in Minnesota (as Rasmussen maintains), a state not won by a Republican presidential candidate since 1972, she cannot be ahead by five points in Pennsylvania, the most hotly contested state in the country (as Bloomberg also reported).
This is not about simple deviations attributable to “margins of error.” It is about portraits of a world that does not exist.
Nor is this about a few polls that make up a handful of normal “aberrations” that occur when the number of samples is multiplied. It is about a persistent issue over several weeks.
In August, the same pollsters at the University of New Hampshire gave Harris a 5-point lead in New Hampshire, and an 18-point lead in Maine. As with the case of Arizona and Nevada above, here it is about two states that are not only neighbors geographically, but also politically. In the last two presidential elections, the results from these states were within 1 percentage point of each other.
It took an accumulation of senseless data like this for Nate Cohn, the excellent New York Times analyst, to ultimately write a piece shedding light on the fact that certain things were not quite right.
Among them, that the appetite of the American media for profit encourages polling firms (equally in a quest for profit) to churn out polls, with an emphasis on quantity over quality.
As revealed by a trio of political scientists 20 years ago in a classic article, nothing is more popular with consumers of election-related news than polling results. As the details of the legislative process can be boring at times, the “horse race” — a metaphor used by the authors of this article to illustrate polling results — sells.
Of course, polling firms must protect their reputations. But the fact remains that, given the quantity of polls thrown into the public arena, the collective memory tends to be short. Who remembers that pollsters from ABC gave Joe Biden a comfortable lead of 17 points in Wisconsin barely days before he won the state by a meager 0.6%?
Additionally, campaign teams have their own in-house pollsters. Their main goal is to provide the campaign, and the candidate, with the most extensive and reliable portrait of the true state of the race.
For weeks, sources close to Team Harris maintained that internal polling does not correspond to what is being disseminated in the media, who are, according to these sources, painting a rosier picture for Harris in states like Michigan. Time will tell who was right.
For the moment, two things remain.
First, polls, despite their errors and overabundance, continue to be the best tool for measuring public opinion. Second, with or without polls in the final five weeks of the race, it is impossible to predict who will win the White House on Nov. 5.
Surdose de sondages
De plus en plus d’embûches compliquent le travail des sondeurs. Et si les résultats des sondages ne voulaient plus rien dire ?
Les sondeurs n’ont pas la vie facile. Le résultat de leur travail est peut-être le produit le plus consommé pendant une période électorale. Un produit souvent incompris non seulement du grand public qui s’en abreuve, mais aussi des médias qui le commentent.
La tâche des sondeurs, déjà pas simple à la base, est devenue de plus en plus difficile au fil des ans.
La chute draconienne de l’utilisation des téléphones filaires (et du listage de la quasi-totalité des électeurs dans les « pages blanches » d’un annuaire) fait qu’il est désormais presque impossible pour eux de produire un échantillon aléatoire, et donc représentatif.
Le refus d’un nombre croissant d’électeurs de participer à de telles enquêtes d’opinion, particulièrement de la part de certains segments de la population — plus méfiants à l’endroit des institutions établies —, introduit un risque constant de biais de non-réponse.
Dans le contexte de l’élection du 5 novembre, où Donald Trump est de nouveau candidat, la possibilité que des personnes sondées hésitent à admettre qu’elles appuient le candidat républicain est bien réelle. Cette réalité a été mise en évidence depuis le scrutin de 2016. Ici aussi, on se trouve face à un risque de biais de réponse.
Et une même question revient toujours hanter les sondeurs américains : parmi ceux et celles qui acceptent de répondre au sondage, qui ira voter le jour du scrutin ? La question n’est pas banale. Les sondeurs y ont réfléchi et ont élaboré différentes méthodes pour tenter de déterminer qui se rendra effectivement aux urnes. Certains se fient à l’historique de participation électorale de la personne sondée (historique lui-même basé sur des réponses pouvant ne pas être véridiques), alors que d’autres posent la question directement : « Prévoyez-vous aller voter en novembre ? »
Sachant tout cela, on comprend que les sondeurs en arrachent. Et que, pour la troisième élection présidentielle consécutive, bon nombre d’entre eux sont en train de se tromper royalement.
* * *
Impossible de savoir qui, de Kamala Harris ou de Donald Trump, remportera le scrutin du 5 novembre. Les candidats l’ignorent, leurs équipes de campagne aussi. Comme le faisait remarquer le statisticien Nate Silver plus tôt cette semaine, quiconque prétend en ce moment que les sondages lui sont favorables vous vend de la poudre de perlimpinpin.
Harris pourrait balayer les sept États actuellement disputés par les deux partis, ce qui lui donnerait la plus grande victoire au Collège électoral depuis celle de Barack Obama en 2008.
Trump pourrait faire de même, ce qui lui conférerait la plus importante marge au Collège électoral pour un candidat républicain en près de 40 ans.
Et les deux candidats pourraient, de façon tout à fait plausible, se séparer ces États de façon à ce que Harris l’emporte par une marge de 270 grands électeurs contre 268, ce qui se révélerait le vote le plus serré depuis l’élection de 1876, la plus serrée de l’histoire américaine.
Bref, l’incertitude quant à l’issue du vote règne.
Et les sondages donnent parfois des aberrations. Par exemple, si Harris est bel et bien en avance au Nevada par sept points (comme le dit Bloomberg), elle ne peut pas tirer de l’arrière par six points en Arizona (comme l’affirme USA Today). Et vice-versa.
Et si Harris devance Trump d’à peine trois points au Minnesota (comme le soutient Rasmussen), un État jamais remporté par un candidat présidentiel républicain depuis 1972, elle ne peut pas devancer Trump par cinq points dans l’État le plus chaudement disputé du pays, la Pennsylvanie (comme le dit là aussi Bloomberg).
Il ne s’agit pas ici de simples écarts attribuables à la « marge d’erreur ». Il est question de portraits d’un monde qui n’existe pas.
Et il ne s’agit pas non plus de quelques sondages qui constituent une poignée d’« aberrations » normales lorsqu’on multiplie le nombre d’échantillons. Il est question d’un problème persistant depuis plusieurs semaines.
En août, une même maison de sondages, celle de l’Université du New Hampshire, donnait une avance à Kamala Harris de 5 points au New Hampshire et de 18 points au Maine. Comme c’est le cas pour l’Arizona et le Nevada, cités plus haut, il s’agit ici de deux États non seulement voisins géographiquement, mais aussi politiquement : lors des deux dernières élections présidentielles, les résultats du vote dans les deux États se sont trouvés à un point de pourcentage l’un de l’autre.
Il aura fallu une accumulation de ce genre de données insensées pour que Nate Cohn, l’excellent analyste du New York Times, rédige enfin un texte mettant en lumière que certaines choses ne tournaient pas rond.
Parmi celles-ci : l’appétit insatiable des médias américains pour les profits incite les sondeurs (également à la recherche de profits) à produire des sondages à la chaîne, en favorisant la quantité au détriment de la qualité.
Comme l’ont montré il y a 20 ans un trio de politologues dans un article classique, rien n’est plus « vendeur » auprès des « consommateurs » de nouvelles liées aux élections que les résultats des sondages. Les détails du processus législatif ennuient parfois ; la « course de chevaux » — métaphore utilisée par les auteurs de l’article pour illustrer les résultats des sondages —, de son côté, vend.
Bien sûr, les sondeurs doivent veiller à leur réputation. Reste qu’à la quantité de sondages balancés dans l’arène publique, la mémoire collective tend à être courte. Qui se souvient que les sondeurs du réseau ABC avaient donné à Joe Biden une confortable avance de 17 points au Wisconsin quelques jours à peine avant qu’il remporte l’État par une mince marge de 0,6 % ?
Par ailleurs, les équipes de campagne ont aussi leurs sondeurs maison. Leur objectif premier est de fournir à la campagne et au candidat le portrait le plus étoffé et le plus fiable de l’état réel de la course.
Depuis des semaines, des sources près de l’équipe Harris soutiennent que les sondages internes ne correspondent pas à ce qui est véhiculé dans les médias (ces derniers dressant, selon ces mêmes sources, un portrait plus rose que la réalité pour Harris dans des États comme le Michigan). Le temps nous dira qui disait vrai.
Pour l’instant, deux choses demeurent.
La première : les sondages, malgré leurs erreurs et leur surabondance, continuent d’être le meilleur outil de mesure de l’opinion publique. La seconde : avec ou sans sondages pour les cinq dernières semaines de la course, on peut affirmer qu’il est impossible de prédire qui gagnera la Maison-Blanche le 5 novembre prochain.
This post appeared on the front page as a direct link to the original article with the above link
.