Pratique d’évaluation
La quantité perdure obstinément
De nombreuses personnes souhaitent que l’évaluation de la recherche se concentre sur le contenu individuel. Mais le facteur d’impact et le facteur H restent des critères tentants. Où en est aujourd’hui le mouvement DORA?
Les préjugés dans la recherche ont de nombreux visages et de nombreux effets, comme le montre DORA. Par exemple, le fait que les ressources circulent là où elles sont déjà nombreuses (effet Matthieu) ou que l'on ignore les évidences qui ne confirment pas ses propres hypothèses (Confirmation bias). | Graphique: A. Hatch, R. Schmidt
Lorsqu'on se porte candidate ou candidat en tant que scientifique à un poste de professeur ou qu'on souhaite obtenir des fonds, l’essentiel est le nombre de publications dans des revues renommées et une grande quantité de citations. Ces valeurs, réunies dans le facteur d’impact et l’indice H, simplifient la procédure de sélection, mais avec des inconvénients de taille: une focalisation unilatérale sur la quantité et les publications.
Depuis 2012, la San Francisco Declaration on Research Assessment (DORA) est censée y remédier. En octobre 2020, près de 2050 institutions l’avaient signée, dont 713 en 2019. Et sur Twitter, DORA compte 6000 abonnés.
Pourtant, les critères de DORA ne sont toujours pas respectés. Exemple à l’EPF de Zurich en 2019: un postdoc mis au concours pour des candidates et candidats ayant publié dans des revues à haut facteur d’impact. La communauté Twitter de l’EPF lui ayant rappelé qu’elle avait signé DORA, le groupe de recherche a modifié sa mise au concours et a présenté ses excuses.
Les bailleurs et bailleuses de fonds de la recherche tentent de faire pression avec diverses initiatives. L’organisation scientifique néerlandaise NWO, par exemple, a modifié ses exigences en matière de curriculum et mise sur une structure narrative, exclut le facteur d’impact et prie les membres du panel d’élargir leur objectif.
Le Fonds national suisse procède de façon similaire. Il veut exclure le facteur d’impact et se focaliser davantage sur la qualité. Outre les publications, d’autres prestations, telles que la communication avec le public, les brevets ou les logiciels, doivent être incluses.
Le Wellcome Trust britannique exige de la part des institutions de chercheurs et chercheuses soutenues qu’à partir de 2021 elles soumettent un plan concret de mise en œuvre de DORA.
