Exemple pédagogique de peer-review d’un extrait de rapport du GEMS concernant les métiers de contact

Nous entendons couramment évoquer dans les médias, la nécessité du “peer-reviewing” de documents publiés par des scientifiques. Cette pratique étant mal connue du grand public, nous souhaiterions en illustrer ici les principes, sur base d’un exemple concret.  

En réponse à une demande publique, légitime

GEMS rapport is gebaseerd op 100% besmettingsgraad tussen kapper en klant. Foutieve redenering! Dit is de realiteit volgens de CDC (Amerikaanse tegenhanger Sciensano). Waarom worden de rapporten van de GEMS nooit onderworpen aan een « peer review »? pic.twitter.com/A1BKHFF17e

— Belgische Beauty Federatie (@Beautyfed_BE) January 28, 2021

nous avons choisi 4 pages du rapport du GEMS du 19/01/2021, reprises ci-dessous, concernant les métiers de contact. Soumis à une revue scientifique (appelons-la ici “Covid Rationnel”), il s’agirait donc d’un article de type court, “letter” en anglais, visant une publication rapide de résultats scientifiques importants pour la communauté.

Après réception de la soumission de la proposition de “papier”, un éditeur associé à la revue est désigné et sélectionne au minimum 3 experts scientifiques du domaine (dans le cas d’un journal de qualité), à qui le papier soumis est envoyé pour relecture ou “review”. Ce sont les “pairs” ou “peers”, on parle donc de revue par les pairs ou “peer-reviewing”. L’objectif est de vérifier, questionner et finalement, valider les résultats et leur exposé qui seront éventuellement publiés.

Dans un court délai, chaque relecteur ou “reviewer” va, individuellement et confidentiellement, “critiquer” (c.-à-d. scientifiquement, de manière tant constructive que contradictoire) le papier, c.à-d. le relire et le commenter, poser des questions aux auteurs sur leurs hypothèses, méthodes, résultats, conclusions…, demander des modifications, des clarifications, des discussions supplémentaires, des références à d’autres travaux de la littérature scientifique …, exprimer des désaccords éventuels, et aboutir à une recommandation personnelle à l’éditeur, telle que “acceptation du papier tel quel, sans modification” (c’est extrêmement rare), “acceptation avec des révisions mineures” ou “avec des révisions majeures” (c’est le plus courant), ou encore “refus de publication” (cela peut concerner plus de 50% des papiers soumis dans de très bons journaux).

Sur la base des recommandations des relecteurs, l’éditeur rend une décision agrégée aux auteurs de la soumission, leur communique les retours des relecteurs (sans citer leurs noms et affiliations) et la position du journal. Le cas échéant, il leur demande de répondre point par point aux remarques des relecteurs et de soumettre une nouvelle version améliorée de leur papier, qui subira un 2ème cycle de “peer-review”. Et ainsi de suite. Deux cycles permettent souvent de prendre une décision finale, mais dans les revues de très grande qualité, 3, voire plus rarement 4 ou 5 cycles sont possibles, pour corriger finalement les détails les plus précis faisant encore l’objet de remarques.

Il va sans dire que l’éditeur n’est en aucun cas responsable des opinions exprimées par les relecteurs, il joue le rôle d’intermédiaire, de modérateur, voire il tranche entre une décision ou une autre si les relecteurs expriment des opinions divergentes.

Voici notre exemple. Le manuscrit du GEMS apparaît sous forme d’images reprises du texte complet référencé ci-dessous, puis vient la décision de l’éditeur, et enfin, les remarques des relecteurs de différentes disciplines concernées par l’extrait choisi du rapport. 

Il nous paraît indispensable de préciser qu’une telle pratique est tout-à-fait standard dans la recherche scientifique, elle ne vise aucunement à mettre en cause la qualité scientifique des auteurs d’un papier ni la qualité de leurs recherches. La relecture se base exclusivement sur le contenu du document et sa forme. Chaque reviewer remet un avis scientifique objectif, indépendant, donc éventuellement différent des autres, car se focalisant sur l’une ou l’autre partie du document qui lui pose le plus de questions. Certains sont enthousiastes, d’autres, négatifs; certains questionnent la démarche générale, d’autres, des détails; certains vont se recouper, d’autres, diverger; certains font des remarques de fond, d’autres, de forme; certains seront longs, d’autres, courts; certains peuvent mal comprendre le texte, d’autres, se tromper; certains acceptent le papier soumis, d’autres, le refusent… C’est comme cela que ça se passe réellement pour les articles scientifiques. La démarche vise en effet à donner aux auteurs un droit de réponse et l’opportunité d’améliorer leur texte. En l’occurrence, dans la crise que nous connaissons, l’objectif, commun aux auteurs et à l’éditeur, est de démontrer et quantifier, de la manière la plus précise et non univoque possible, le risque réel que représenterait la réouverture, à court terme, des métiers de contact.

• Extrait du rapport du GEMS du 19/01/20121 pp7-10 dont nous faisons la review.
• Response de l’éditeur aux auteurs.
• Review 1
• Review 2
• Review 3
• Review 4

Comité éditorial de la review :

Vinciane Debaille ULB
Melanie Dechamps UCLouvain/Cliniques Saint-Luc
Guillaume Derval UCLouvain
Christine Dupont UCLouvain
Damien Ernst ULiège
Denis Flandre UCLouvain
Raphael Jungers UCLouvain
Pierre-Francois Laterre UCLouvain/Cliniques Saint-Luc
Raphael Lefevere Université de Paris
Quentin Louveaux ULiège
Yves Moreau KULeuven
Bernard Rentier ULiège
Pierre Schaus UCLouvain

Réponse de l’éditeur aux auteurs : 

Votre manuscrit a été considéré avec attention par nos relecteurs et sur base de leurs retours, il ne peut pas être publié dans sa forme actuelle.

Nous reconnaissons cependant l’originalité, l’intérêt et l’importance de vos résultats et de vos conclusions. Des révisions majeures sont dès lors indispensables en vue de publication, telles que détaillées par les relecteurs ci-dessous. Nous attendons vos réponses point par point à toutes les remarques et questions formulées par chaque relecteur, ainsi qu’une version corrigée de votre papier présentant de manière explicite, les modifications effectuées, le plus rapidement possible. Votre nouvelle version sera reconsidérée avec intérêt par notre comité éditorial dans les plus brefs délais. 

Meilleures salutations…

Reviewer 1 : 

Les données présentées par les auteurs dans leur figure 9 sont originales et méritent publication, mais pour cela, elles doivent être consolidées. L’article requiert donc les révisions substantielles suivantes.

1° Les auteurs doivent donner la référence de leur base de données RSZ. De préférence, celle-ci devrait être publique ou, à tout le moins, les données nécessaires à l’argumentation du papier. En particulier, la Table 1 doit être complétée avec les chiffres concernant tous les secteurs utilisés comme base de comparaison.

2° La méthodologie et les données complètes (nombres exacts de personnes, de cas, de tests …) utilisées pour calculer l’incidence dans chacun de ces secteurs doivent également être explicitées. 

3° Les données de la fig. 9 sont insuffisantes pour tracer entre les points, des lignes représentatives de la réalité, il faut plus qu’un point par semaine pour toutes les courbes et autant de points significatifs pour la courbe rouge que pour les autres, puisque l’une des plus importantes du papier. Ici, seulement 3 points, espacés de 2 semaines, sont disponibles pour la période la plus critique et ne permettent pas de discriminer exactement le pic, ni les phases de montée et descente. La discussion de la comparaison par rapport aux autres courbes n’est donc pas suffisamment étayée.

4° En particulier, vu le très petit nombre de points de mesure disponibles, la courbe rouge ne me semble pas permettre de conclure de manière univoque, que l’incidence pour les métiers concernés a été supérieure à 1000 pendant 3 semaines, ni même supérieure aux autres. 

5° Vu les chiffres limités disponibles et les incertitudes sur la position des points en ordonnée et en amplitude, les intervalles de confiance statistiques (box plots) devraient être calculés et représentés.

6° Le calcul de risque utilise un nombre de personnes que les professionnels de contact sont susceptibles d’infecter fixé de manière arbitraire à 50%. Ce chiffre devrait être validé par une référence de l’état de l’art. L’étude américaine référencée en [1]  ci-dessous indique en effet, avec mesures barrière, un taux plutôt proche de 0%, sur un échantillon limité. Par rapport à une telle incertitude, un intervalle de confiance doit absolument être établi.

[1] Absence of Apparent Transmission of SARS-CoV-2 from Two Stylists After Exposure at a Hair Salon with a Universal Face Covering Policy —Springfield, Missouri, May 2020 Weekly / July 17, 2020 / 69(28);930-932.

Reviewer 2 :

Je trouve l’analyse effectuée sur la figure 9 relativement décevante. Quelques remarques et points d’amélioration:

• L’incidence peut cacher un biais dans la manière dont les tests ont été effectués. Peut-être que les coiffeurs ont été plus testés que le reste de la population? Rien ne permet de l’infirmer ou de le confirmer ici. 
• Il serait donc intéressant de montrer en parallèle le nombre de tests effectués par professionnel (donc bien sous la forme d’un ratio test/habitant). Une différence entre le nombre de tests effectués par coiffeur (par exemple) et le nombre de tests effectués par employé (db RSZ/ONSS) serait un problème; au contraire, montrer que le ratio (taux de positivité) est similaire renforcerait l’argument.
• Montrer le nombre absolu de tests sur ces populations serait également intéressant, pour éviter un hypothétique effet aléatoire dû à un trop faible nombre de tests.
• La comparaison avec la courbe de la population générale est inutile car trompeuse. D’abord, vous n’en parlez que peu dans le texte; et la population générale contient beaucoup de personnes ne travaillant pas/plus (jeunes, retraités). 
• La comparaison avec l’incidence dans la population active (db RSZ/ONSS) est intéressante mais peut ne pas être assez fine : il a été démontré qu’un biais socio-économique existe dans les mécanismes de contamination. Prendre en compte les différences d’âge, de sexe, de rémunération, d’études, de métiers, … permettrait d’appuyer le propos. 
• Pour appuyer le point précédent: l’âge semble être un facteur prépondérant ignoré ici. Je n’ai pas trouvé de données pour la Belgique, mais la pyramide des âges des coiffeurs français semble fort différente de celle de la population générale ou active (https://www.inrs.fr/dms/inrs/CataloguePapier/DMT/TI-TC-99/tc99.pdf, page 2). Il faudrait donc comparer avec un échantillon de population comparable. La pyramide des âges des coiffeurs belges devrait être extractible de la BDD ONSS.
• Idem pour les différences de % d’hommes et de femmes dans les métiers de contact; or, dans la population active entre 20 et 59 ans, les cas de Covid-19 détectés parmi les femmes sont de 20 à 30% plus élevés que pour les hommes.
• La BDD RSZ/ONSS comprend-elle les indépendants ou seulement les employés? Et la liste des tests attribués aux “coiffeurs” ?
• Plus spécifiquement: comment est fait le recoupement entre la BDD ONSS et celle des tests? 
• Remarque mineure: merci d’indiquer RSZ/ONSS plutôt que RSZ, ce n’est pas évident à comprendre à la lecture.

Par ailleurs, merci d’indiquer une référence donnant le taux de 20% de contamination effective.

Reviewer 3 :

Merci de cette contribution importante à l’état de l’art. Je recommande les modifications mineures suivantes :

• Pourriez-vous expliquer la phrase “Stores personnel scores below the general RSZ population” ? Merci de discuter les raisons de cette observation très importante. 
• La qualité du graphique de la fig. 9 doit être améliorée. Elle ne rencontre pas les standards de qualité habituels.
• En ce qui concerne le calcul de risques, merci de décrire aussi la situation hors pic épidémique. Actuellement, l’incidence sur 7 jours est plus proche de 130 cas pour 100000 selon Sciensano. Merci de compléter votre discussion et d’étoffer votre conclusion. Il serait intéressant de discuter l’impact du chiffre obtenu (+/- 185 par jour) par rapport au nombre total de cas en Belgique (de l’ordre de 2000 par jour) et au risque relatif d’hospitalisations et de décès supplémentaires. 
• Pourriez-vous donner une référence pour l’effet des séchoirs (hair dryers) sur la propagation aérosol du Covid-19 ? A défaut, expliciter ou retirer.
• Corriger “by half the 14-day incidences” par “by the half of the 14-day incidences”.

Reviewer 4 :

Cette analyse sur les métiers de contact présente l’intérêt d’utiliser des données propres à la Belgique. Cependant, le reviewer émet de sérieuses réserves quant à la validité des conclusions chiffrées pour les raisons détaillées ci-dessous.

L’argument principal mis en avant pour évaluer les risques des métiers de contact est la formule suivante:

Nombre de contacts à risque sur une période donnée généré par les métiers de contact sur les clients = NP  x I x N x D x C

NP = nombre de professionnels (unité = personnes)

N = nombre de semaines considérées dans la période (unité = semaines)

I = incidence (unité = personnes/100K/semaine)

D = nombre de jours contagieux sans symptôme (unité = jours)

C = nombre de clients par jours (unité = personnes par jour)

Prenons maintenant le point de vue du coiffeur contaminé par ses clients (et pas l’inverse). Selon la même formule, nous pouvons estimer le nombre de contacts à risque rencontrés par le coiffeur. Il suffit pour cela d’utiliser l’incidence de la population globale. L’incidence utilisée dans le rapport du GEMS est de 1000 pour les métiers de contact. Soyons conservateurs et utilisons 750 pour l’incidence de la population. Selon la formule, les métiers de contact ont subi 50,000 x (750/100,000 x 3) x 2 x 10 = 22,500 contacts rapprochés dangereux sur 3 semaines. Supposons comme dans le rapport de manière conservative que 20% de ces contacts dangereux ont donné lieu à des contaminations. Cela signifie 4,500 infections supplémentaires sur trois semaines, soit 1500 par semaine, ou encore une incidence additionnelle de 3000 (en plus de l’incidence normale de la population!) par semaine (car NP = 50,000).  Ceci ne semble pas compatible avec l’incidence rapportée dans la courbe de la figure 9 qui plafonne à 2100 au maximum pour la semaine du 27/10. Il nous semble que l’argument des auteurs montre que selon leur propre courbe et hypothèses, que le modèle semble exagérer les contagions effectives dans les métiers “hair and beauty”.

Nous souhaiterions également une justification du 20% de contagions par rapport aux contacts à risque malgré les gestes barrière. Est-ce qu’une étude pourrait être référencée pour venir soutenir cette valeur du paramètre de la formule ?

Nous souhaiterions au minimum obtenir un descriptif de quelques caractéristiques (âge, sexe, etc) permettant de prendre connaissance de biais possibles et les corriger éventuellement s’ils sont significatifs selon la méthodologie utilisée dans l’étude norvégienne.

Finalement, il faudrait rendre disponibles les données (éventuellement à la demande)  afin de rendre le calcul du graphique 9 reproductible. Nous n’avons aucune idée de la taille de l’échantillonnage que représente le data-set. Il est nettement moins lisse que celui que nous pouvons calculer sur base des données de Sciensano (ci-dessous). Pourquoi le présenter par semaine plutôt que par jour avec une fenêtre glissante et centrée ? Vous pourriez par exemple utiliser un rééchantillonnage pour calculer une marge d’erreur sur cette incidence. Il est très important de le faire pour permettre les comparaisons de manière fiable.

En conclusion, nous recommandons une major revision prenant en compte les remarques afin de pouvoir renforcer la confiance dans les conclusions avancées.

Extrait du rapport du GEMS référencé par

“Beheerstrategie (19/01/2021) | Stratégie du gestion (19/01/2021)”,  pp. 7-10.