Petite compilation n°15 : “Covid-19 : cinq ans après, le bilan des pays européens qui ont le mieux réagi »

• Denis Flandre et des membres du collectif CR •

Le 9 décembre 2024, le journal français Le Monde titre : “Covid-19 : cinq ans après, le bilan des pays européens qui ont le mieux réagi. Les pays qui ont pris des mesures de restriction des contacts sociaux sans attendre la saturation de leurs hôpitaux ont sauvé plus de vies et davantage préservé leur économie, montre une étude inédite de l’Institut Pasteur, publiée lundi.”¹ https://www.lemonde.fr/planete/article/2024/12/09/covid-19-cinq-ans-apres-le-bilan-des-pays-europeens-qui-ont-le-mieux-reagi_6437584_3244.html

Mais est-ce bien ce que démontre l’article scientifique de Galmiche et collaborateurs auquel Le Monde fait référence ²Galmiche et al. (2024). Patterns and drivers of excess mortality during the COVID-19 pandemic in 13 Western European countries. BMC Global And Public Health, … Continue reading ?

L’analyse technique qui suit tend à répondre par la négative, comme nous le résumons dans le texte en couleur verte à la fin de ce ‘post’.

L’apport majeur de l’article de Galmiche et collaborateurs est de proposer un nouveau calcul de l’excès de mortalité toutes causes confondues, dans 13 pays européens, dont la Belgique et la France. Ces estimations sont réputées plus robustes que celles d’études précédentes, car elles sont basées sur des analyses tenant compte des différences de structure de populations entre pays (par âge et selon le sexe) et de tendances de mortalité à long terme (c.-à-d. de 2010 à 2019) pour établir une projection des décès qui étaient attendus en 2020, 2021 et 2022, dans chaque pays, en l’absence de crise sanitaire.

Un résultat particulier de cet article qui a conduit au titre du Monde provient de l’étude de la corrélation statistique entre ces estimations et une donnée particulière, le chiffre des admissions à l’hôpital, cumulé sur une semaine, par million d’habitants, dans chaque pays, le jour où les mesures de restrictions strictes de contacts ont été mises en oeuvre. L’étude porte sur trois périodes correspondant aux vagues successives allant de janvier à juin 2020 (1ère vague), de juillet 2020 à juin 2021 (de la 2ème vague de 2020 mentionnée comme due aux variants EU1 et EU2, à la vague de 2021 due au variant Alpha), et de juillet 2021 à juin 2022 (vagues attribuées à Delta et Omicron).

Les chercheurs ont, en effet, trouvé, pour la 1ère vague, un résultat qui valide l’hypothèse selon laquelle l’excès de mortalité cumulé sur toute la période augmente quand l’indicateur des entrées à l’hôpital en début de vague augmente (plus précisément, avec un coefficient de corrélation statistique de Spearman de 0,63 et une valeur p de 0,03 ³Dans de telles analyses statistiques de corrélation entre 2 variables, la valeur p est comparée à une valeur de seuil permettant, si la valeur p calculée est inférieure à ce seuil, de rejeter … Continue reading). 

La donnée “nombre d’admissions à l’hôpital à une date particulière à chaque pays” a été choisie comme indicateur de la rapidité de réponse des autorités publiques et sanitaires à la montée de la vague épidémique. Toutefois ce choix n’est pas justifié par les chercheurs. D’autres indicateurs – comme le nombre de cas testés positifs ou le nombre de patients hospitalisés (qui est différent de celui des admissions) – auraient pu être utilisés mais ils ne sont pas disponibles pour tous les pays envisagés ou il sont biaisés par des stratégies de test ou d’hospitalisation différentes selon le pays envisagé, surtout lors de la première vague.

L’indicateur choisi, à savoir les admissions répertoriées “Covid”, c’est-à-dire sans discrimination entre “pour Covid” ou “avec Covid”, n’est pas non plus exempt de biais.

Enfin, la date choisie pour chiffrer cet indicateur ne reflète qu’une situation momentanée, celle de la temporalité de la réponse des autorités en tout début de crise, pas la sévérité des mesures prises à ce moment, ni la stratégie suivie par la suite.  

En utilisant les données des chercheurs — documentées dans leur dossier en ligne ⁴https://github.com/CamilleCoustaury/Excess-mortality_Western-Europe — il est possible de procéder à une analyse de sensibilité statistique. On peut ainsi, par exemple, vérifier si la corrélation reste valide quand on modifie, retire ou ajoute une des données du calcul, c’est-à-dire un point du graphe de la figure 5.A de l’article de Galmiche. La réponse est non dans les cas suivants: 

• (i) si l’on retire un des points extrêmes correspondant à l’Allemagne, au Danemark, à l’Espagne ou à l’Italie. En effet, la valeur p calculée dépasse le seuil maximum de 0,05, ce qui ne permet plus de retenir l’hypothèse de corrélation statistique entre excès de mortalité toutes causes confondues et “l’indicateur de rapidité de réponse publique” (cfr. la note de bas de page sur la qualité des analyses statistiques).
• (ii) si l’on tient compte du fait que les premières mesures de confinement en Belgique remontent au 14 mars 2020 (fermeture des écoles, des discothèques, des cafés et restaurants et annulation de tous les rassemblements publics à des fins sportives, culturelles ou festives) et non au 18 mars comme considéré dans l’article scientifique. En effet, dans ce cas, l’indicateur de rapidité de réponse descend de 51,91 à 12,96 (Our World in Data). Le test de corrélation statistique de cet indicateur avec l’excès de mortalité est alors invalidé, la valeur p dépassant 0,16. On peut observer que cette corrélation statistique devient également non significative pour toutes les valeurs de l’indicateur prises entre le 14 et le 16 mars 2020.   
• (iii) on peut encore remarquer que la Suède est absente de cette figure et donc de l’analyse de corrélation de l’article, car la Suède n’a pas pris de mesures de confinement strict. De plus, les chiffres suédois d’admissions à l’hôpital ne sont pas disponibles sur Our World in Data. Ce site permet cependant d’observer qu’au début mars 2020, la trajectoire de l’épidémie en Suède, estimée sur la base du nombre de patients hospitalisés, est très similaire à celles d’autres pays comme la Norvège, le Portugal et l’Irlande, considérés dans l’article. Si on introduit un chiffre estimé d’admissions en Suède similaire à l’un de ceux de ces pays, on réduit le coefficient de corrélation de cet indicateur avec l’excès de mortalité cumulé, ainsi que sa plausibilité statistique puisque la valeur p se rapproche, voire dépasse, le seuil de non-pertinence de l’hypothèse.

De cette lecture attentive de l’article scientifique, il ressort que l’affirmation du titre du Monde nous apparaît extrêmement péremptoire et constitue un bel exemple de “cherry-picking”, c’est-à-dire de sélection délibérée de certains chiffres et d’exclusion d’autres, pour leur faire dire ce que l’on veut.

Le Monde va même plus loin que ce titre abusif et affirme que “Les pays qui ont alors pris rapidement des mesures de restriction des contacts sociaux – seules mesures efficaces alors disponibles – s’en sont beaucoup mieux sortis. « Non seulement ils ont sauvé plus de vies, mais ils ont aussi mieux préservé leur économie » …” Ceci fait référence à la figure 5.B de l’article de Galmiche et collaborateurs qui établit une corrélation entre la perte de PIB (produit intérieur brut) de chaque pays en 2020 et, à nouveau, l’indicateur de rapidité de réponse sanitaire choisi (pour rappel : le nombre d’admissions à l’hôpital, cumulé sur une semaine, par millions d’habitants, le jour considéré par les chercheurs pour l’imposition de mesures strictes de confinement, dans chaque pays). La valeur p de pertinence de l’hypothèse mentionnée dans l’article scientifique est cependant de 0,08, supérieure au seuil de 0,05, ce qui conduit Galmiche et ses collaborateurs à écrire que l’association est ‘marginale’. A nouveau, que nous apprendrait une analyse de sensibilité ? Par exemple, que la perte de PIB de la Suède n’est que de 1,2% entre 2019 et 2020 (Our World in Data), une diminution proche de celle du PIB de la Norvège, malgré l’absence de mesures de restrictions sévères, ce qui met encore plus à mal l’hypothèse de corrélation.

Finalement, pour discuter plus directement de l’impact des mesures de restriction des contacts sociaux, il est possible, comme Galmiche et ses collaborateurs le mentionnent, de se référer au Google Mobility Index, d’autres études ayant suggéré que cet indicateur serait associé à une réduction des contacts en dehors de la résidence. L’article scientifique n’étudie pas la corrélation de cet indicateur avec l’excès de mortalité cumulé durant la 1ère vague, bien que les chiffres soient disponibles dans le tableau Excel des chercheurs eux-mêmes ⁵https://github.com/CamilleCoustaury/Excess-mortality_Western-Europe. Voici le résultat que nous obtenons en appliquant, sur ces chiffres, la même méthodologie d’analyse statistique que celle des auteurs:

Il est alors très étonnant de constater que plus la mobilité diminue, plus le nombre de morts augmente, avec une valeur p de test de pertinence statistique de 0,025, dite significative.

---

Pour notre part, nous ne nous hasarderons pas à tirer des conclusions hâtives et causales sur base d’une analyse de corrélations qui se trouve fragilisée dès que l’on modifie l’un ou l’autre choix opéré par les auteurs. Cette fragilité est liée au fait qu’il s’agit d’une analyse statistique de base: 

(i) reposant sur un très petit nombre de données, sélectionnées de manière relativement arbitraire et dont les valeurs précises sont assez incertaines,

(ii) dont les résultats sont très sensibles à la variation d’un chiffre (par ex. suppression ou ajout d’un pays ou choix de la date d’entrée en confinement), 

(iii) utilisée pour étudier l’existence ou non de relations statistiques, positives ou négatives, significatives ou non, entre seulement deux variables à la fois, d’une part, un indicateur de la rapidité ou de l’intensité des mesures de confinement, et d’autre part, une estimation d’un excès de mortalité “toutes causes confondues” ou d’un impact macro-économique (le PIB, par ailleurs régulièrement décrié) mesuré sur une période différente,

(iv) et dont finalement, un résultat de corrélation apparente pourrait reposer sur bien d’autres facteurs sous-jacents non pris en considération.

---

Pour une discussion scientifique approfondie de ce type d’analyses statistiques, nous renvoyons nos lecteurs vers des articles de référence dans le domaine, comme par exemple:

• Box G (1976). Science and statistics. Journal of the American Statistical Association 71(356): 791–9. https://www-sop.inria.fr/members/Ian.Jermyn/philosophy/writings/Boxonmaths.pdf 
• Ioannidis, J. P. A. (2005). Why most published research findings are false. PLoS Medicine, 2(8), e124. https://doi.org/10.1371/journal.pmed.0020124
• Ioannidis, J. P. A. (2019). What Have We (Not) Learnt from Millions of Scientific Papers with p Values ? The American Statistician, 73(sup1), 20‑25. https://doi.org/10.1080/00031305.2018.1447512