«J’ai de la peine à compter les demandes de peer review que je reçois, il y en a tellement. Peut-être deux par semaine? Je dois en refuser la plupart et n’accepte que si je vois une bonne raison de le faire. J’en ai deux en cours. Un article a été écrit par une personne dont le travail m’intéresse. Faire cette review me donne l’occasion de mieux connaître ses travaux, et pourrait, qui sait, déboucher sur une collaboration. L’autre demande vient d’un journal ­assez prestigieux pour lequel je n’ai encore jamais écrit d’évaluation. C’est une nouvelle expérience et, soyons sincère, plutôt bonne pour mon CV.

Les conférences sont plus importantes que les revues spécialisées

Je fais chaque année entre cinq et dix évaluations d’articles. S’y additionnent des dizaines de soumissions envoyées à des conférences que j’évalue en tant que membre du comité du programme. Dans mon domaine, avoir une contribution acceptée dans l’une des deux grandes conférences peut être plus difficile que de publier dans un journal prestigieux.

J’écris pratiquement toutes mes évaluations dans le train ou en avion. Je me pose d’abord deux questions: l’article est-il solide? Apporte-t-il quelque chose? Si la réponse est non, j’essaie d’expliquer mon raisonnement. Si c’est oui, j’essaie de m’en tenir à l’essentiel et indique clairement les suggestions qui sont optionnelles. Je ne veux pas surcharger les autrices de travail pour une amélioration finalement incrémentielle. J’ai appris sur le tas comment faire des évaluations, n’ayant reçu pratiquement aucun conseil de la part de collègues. J’essaie de changer les choses: j’en confie certaines à mes étudiantes et on en discute. J’accepte plutôt bien les évaluations que je reçois. Il est rare que je me dise que mon article a été mal lu. En général, je comprends les points soulevés et ils me permettent d’améliorer le texte. Récemment, un commentaire fait sur une subtilité conceptuelle m’a fait changer de perspective. Cela arrive rarement, mais est très précieux.

Les manuscrits déposés sur le serveur de prépublication Arxiv jouent un rôle prépondérant en physique, bien avant qu’ils soient passés en peer review. Qu’ils soient ensuite publiés représente avant tout une marque d’honneur. Certains travaux très importants sont d’ailleurs restés sur Arxiv sans jamais avoir été publiés. J’utilise le site Scirate qui permet de recommander et commenter les preprints d’Arxiv, une bonne aide pour filtrer la centaine d’articles mis en ligne chaque semaine. Je m’informe aussi sur X, qui héberge de nombreuses discussions.

J’écris parfois directement à une autrice si j’ai des questions ou des remarques sur son manuscrit. Je me concentre alors sur l’essentiel – on ne contacte pas quelqu’un pour corriger des fautes de grammaire. Cette forme d’évaluation officieuse prend une importance croissante en marge du système. Le peer review paraît parfois – du moins dans mon domaine – jouer davantage un rôle pour la carrière que pour la science de qualité.»

«J’essaie de ne pas changer ma manière d’évaluer un article selon le journal auquel il est soumis. Ce que je regarde avant tout, c’est si les conclusions sont bien soutenues par les données. Certains journaux aimeraient une réponse claire, un oui ou un non, mais je préfère rédiger des évaluations qualitatives. En tant que reviewer, mon rôle n’est pas de décider si l’article soumis va bien avec le journal. Il revient à ses éditrices de le faire sur la base de nos évaluations. Et c’est ce que je fais lorsque j’agis comme éditrice.

J’accepte les demandes de peer review lorsque l’article m’intéresse et que je ne suis pas complètement débordée de travail. J’en fais entre dix et quinze par an, chacune m’occupant pendant une bonne demi-journée. Je prends d’abord des notes, laisse reposer deux jours, puis finalise le rapport. Comme chaque publication passe par plus ou moins trois reviewers, j’essaie par principe de faire à peu près trois fois plus d’évaluations que le nombre d’articles que je publie.

Une évaluation est rarement complètement à côté de la plaque

J’ai tendance à refuser les demandes de journaux que je ne connais pas bien, les articles de synthèse dont on apprend peu et qui exigent un gros travail ainsi que les travaux qui semblent dès le début ne rien apporter d’intéressant. Je reçois parfois un article que j’avais déjà refusé pour un autre journal; dans ce cas, je préfère ne pas faire de nouvelle évaluation afin de lui laisser une deuxième chance avec quelqu’un d’autre.

Ma manière d’accueillir les évaluations portant sur mon travail a évolué. Au début de ma carrière, je prenais les critiques personnellement. Aujourd’hui, j’ai davantage de recul et vois plus facilement là où mon texte pourrait en effet être amélioré. Avec l’expérience, je remarque qu’il est rare qu’une évaluation soit complètement à côté de la plaque.

On entend beaucoup parler de l’open peer review, dans lequel les évaluatrices signent leur rapport. Il semblerait que certaines scientifiques, surtout en début de carrière, hésitent à critiquer ouvertement un ponte du domaine par peur des conséquences, mais je pense que cette crainte est souvent exagérée. Une bonne approche est de faire circuler les rapports parmi les reviewers. Cela prend du temps, mais cela les responsabilise et atténue les positions extrêmes.

L’idée de publier d’abord et d’évaluer ensuite est intéressante, mais a ses défauts. Les commentaires postés en ligne qui accompagnent un article pas encore passé en peer review peuvent aider les non-spécialistes à se faire une idée de sa qualité. Mais qui a le temps de tous les lire? Et les éditrices rejettent un certain nombre de manuscrits directement, sans bénéficier de l’avis de scientifiques spécialistes du domaine. Cela dit, je salue ce genre d’initiatives, car le système actuel est surchargé et il faut trouver des solutions. Le peer review a ses défauts, mais il n’existe pas de bonne alternative.»

«Pour moi, l’objectif fondamental du peer review est de déterminer si un travail soumis constitue une contribution utile à la science ou pas. C’est la première chose que je fais avant d’entrer dans les détails. Si la réponse est non – par exemple parce que le travail ne représente pas une avancée significative ou qu’il n’est pas assez connecté aux faits connus –, j’argumente et suggère des alternatives pour le journal. Au début de ma carrière, j’avais tendance à me plonger tout de suite dans les détails, mais on finit par perdre la vue d’ensemble.

Certaines évaluations passent à côté de la science présentée

Je reçois plusieurs demandes de peer review par mois, j’essaie d’en accepter une. Je regarde si le sujet m’intéresse, ou si j’ai déjà soumis des travaux au journal – dans ce cas, il avait organisé des évaluations pour moi et il est normal que je le fasse pour lui. En général, je refuse lorsque je ne connais pas bien le domaine, ou alors je n’évalue que certaines parties du document. Certains journaux divisent le travail: des spécialistes vont évaluer la partie statistique, d’autres les analyses linguistiques. C’est une très bonne chose qui nous permet de nous focaliser sur notre domaine d’expertise.

Comme auteur, j’apprécie les rapports qui nous font réfléchir, relèvent une faiblesse dans notre argumentation ou nous aident à être plus clairs. On a assez souvent l’impression que notre manuscrit n’a pas vraiment été lu et compris, et il n’est pas rare de recevoir des rapports qui laissent à désirer. Ils passent à côté de la science présentée, demandent des compléments superflus et des citations supplémentaires, ou suggèrent de refaire l’étude comme le reviewer l’aurait faite. Les scientifiques expérimentés sont assez sûrs d’eux pour ignorer ce genre de critiques, mais ceux qui débutent n’osent pas forcément. Ils se donnent alors bien du mal pour répondre à chaque point soulevé, tout le monde perd énormément de temps et parfois l’article finit même par pâtir du peer review.

Les éditeurs de journaux (les scientifiques qui organisent le peer review, ndlr) devraient prendre un rôle bien plus actif, et notamment évaluer les évaluations. Ils peuvent commenter les rapports avant de les envoyer aux auteurs en leur suggérant d’ignorer tel ou tel point, ou encore en ne repassant plus par un reviewer ayant délivré un rapport de piètre qualité. Je me suis beaucoup engagé pour être un éditeur actif, mais cela prenait énormément de temps et j’ai arrêté après six ans. On peut réduire la charge de travail en ayant davantage d’éditeurs.

Il y a un manque de formation à l'évaluation par les pairs. On peut discuter de bons et mauvais exemples lors de cours proposés pendant le doctorat, mais le plus important est d'accompagner les postdocs lorsqu’ils commencent à faire un grand nombre d’évaluations: rappeler que le reviewer n’est pas un coauteur, qu’on ne doit pas suggérer des axes de recherche différents ni chasser les fautes d’orthographe, mais se concentrer sur l’essentiel: juger si l’argumentation est claire et bien étayée ou non.»