MONDIAL
En raison de la récente vague de massification de la production de connaissances, dans le cadre de la dynamique « publier ou périr » (dans certains cas « publier et périr »), le volume accru de soumissions de manuscrits aux revues a surchargé ceux impliqués dans la gestion et les activités d’évaluation par les pairs (c’est-à-dire les éditeurs et les évaluateurs).
Ce défi est particulièrement sérieux dans les revues internationales à comité de lecture indexées par le Web of Knowledge et Scopus. Ces revues ont tendance à être les plus reconnues scientifiquement et sont donc utilisées par les universités pour le recrutement, la promotion et d’autres évaluations des universitaires. Ces données sont également utilisées par les organismes de financement pour évaluer les projets et les institutions. Les chercheurs comptent également sur les publications dans ces revues pour démontrer leurs compétences et leurs capacités de recherche.
Dans le contexte d’une massification rapide de la production (et de la concurrence) des connaissances, de nombreux auteurs se plaignent du temps trop long des évaluations par les pairs. Ils craignent que les résultats de leurs recherches ne soient obsolètes au moment où la revue accepte le manuscrit pour publication. La situation est encore pire dans les cas où le manuscrit est rejeté et que les auteurs doivent le soumettre à nouveau.
Les auteurs se plaignent également du fait que les évaluations aboutissent souvent à des décisions injustes et sans fondement, parfois basées sur des commentaires bâclés, de mauvaise qualité et peu constructifs, ainsi que sur des opinions biaisées des évaluateurs, y compris des préjugés idéologiques. Bien que l’évaluation en double aveugle ait été introduite pour atténuer les préjugés liés au sexe, à l’origine ethnique, à la nationalité, à la réputation institutionnelle ou aux réalisations antérieures des auteurs, plusieurs revues continuent de s’appuyer sur l’évaluation en simple aveugle.
Malgré les processus d’évaluation en double aveugle, le système actuel d’évaluation par les pairs continue de se heurter à une multitude de biais, de problèmes de fiabilité ou de normes éthiques douteuses. Les rédacteurs en chef de revues internationales évaluées par les pairs se plaignent de recevoir trop de soumissions, tout en peinant à trouver des évaluateurs qualifiés.
Le taux de refus des invitations à évaluer des manuscrits est en hausse, et ceux qui effectuent des évaluations de qualité ont tendance à être submergés par des sollicitations incessantes. Certains éditeurs ont signalé qu’ils devaient envoyer plus de 20 invitations à évaluer pour trouver un évaluateur disposé à évaluer un seul manuscrit.
Une partie du défi ici peut être liée au fait que les comités de rédaction ont tendance à être dominés par des chercheurs issus de pays développés, souvent des communautés anglophones, et peuvent trop s’appuyer sur des groupes d’évaluateurs ayant des antécédents et des épistémologies similaires.
Cela peut avoir deux effets : une sous-représentation des évaluateurs issus de sujets non conventionnels et de pays en développement, ce qui peut les conduire à continuer d’être isolés de la science mondiale tout en empêchant l’émergence de nouvelles idées, et l’exploitation d’un bassin potentiellement important d’évaluateurs qui pourrait atténuer les défis tels que le temps d’évaluation et même, éventuellement, la qualité des évaluations.
Les chercheurs qui sont submergés d’invitations à évaluer doivent décider combien et quels manuscrits évaluer, compte tenu des charges de travail croissantes et de la nécessité de se publier, parfois pour des raisons de survie ou de progression de carrière.
Les chercheurs sont souvent contraints d’être très sélectifs dans leur acceptation des invitations à soumettre des travaux. Il est important de considérer que le fait d’être évaluateur est un type de travail de service largement invisible qui n’est souvent pas reconnu dans l’institution où il travaille. Pendant longtemps, il s’agissait d’un travail bénévole qui ne reposait que sur la bonne volonté, la citoyenneté scientifique et universitaire, l’identité et le devoir envers sa communauté.
Le système d’évaluation par les pairs tel que nous le connaissons aujourd’hui est relativement récent, mais la crise de l’évaluation par les pairs fait partie du développement continu de la science, et les solutions actuelles présentées continuent de s’appuyer sur les principes centraux du système d’évaluation par les pairs, ce qui suggère que la pratique est plus susceptible d’être affinée et améliorée, plutôt que complètement remplacée par un nouveau système.
Que pourrait-on faire ?
Des discussions ont eu lieu autour de solutions possibles pour améliorer l’évaluation par les pairs, et certaines disciplines ont initié des pratiques différentes. Nous mettons en évidence ces solutions possibles autour de trois axes.
• Être plus inclusif. Le travail que les évaluateurs effectuent au service de la communauté scientifique est inestimable. Bien que le bassin d’évaluateurs soit limité, il pourrait être considérablement élargi. Cela peut se faire en ouvrant le bassin d’évaluateurs à des groupes qui, jusqu’à présent, n’ont participé à l’évaluation par les pairs que de manière limitée.
Les femmes chercheurs, par exemple, sont moins souvent invitées à faire des évaluations que les hommes. Les chercheurs des pays en développement peuvent également être plus impliqués dans les activités d’évaluation par les pairs, tout comme les doctorants et les postdoctorants.
Il existe un ensemble croissant de ressources et de formations sur l’évaluation fournies par les revues, les chercheurs et les communautés scientifiques qui peuvent être utilisées pour former et donner des compétences à ces groupes afin qu’ils effectuent davantage d’évaluations pour les revues, mais ils doivent être engagés et encouragés par les revues et les éditeurs.
• Proposer des mesures incitatives. Il apparaît clairement que le simple fait de s’appuyer sur les comportements prosociaux et volontaires des chercheurs pour procéder à des évaluations n’est pas suffisant. Cela ne signifie pas que ces valeurs ne constituent pas une motivation essentielle pour procéder à des évaluations, mais d’autres mesures incitatives sont nécessaires.
Des mesures incitatives telles que le paiement des évaluateurs peuvent avoir des effets pervers, mais d’autres mesures incitatives pourraient être mises en place, comme la renonciation par une revue aux frais de traitement des articles pour les publications en libre accès pour les évaluateurs après avoir effectué quelques évaluations pour la revue. La reconnaissance de l’évaluation par les pairs dans les évaluations de projet et de carrière peut également instaurer une reconnaissance institutionnelle bien nécessaire.
• Améliorer la transparence. Bien que le processus d’évaluation en double aveugle ait amélioré la transparence, il ne suffit pas. Les soumissions aux revues devraient probablement faire l’objet d’une évaluation en triple aveugle, dans laquelle les rédacteurs en chef ne savent pas non plus qui sont les auteurs et leurs institutions. Il faudrait également s’efforcer d’atténuer certains problèmes liés aux biais.
Crise ou opportunité
Les solutions ci-dessus peuvent être synergiques et contribuer à atténuer certains des problèmes liés au processus d’évaluation par les pairs. D’autres solutions peuvent également être imaginées, et celles qui ont été conçues jusqu’à présent – certaines plus originales que d’autres – tendent à conserver les éléments clés existants du processus d’évaluation par les pairs à leur base.
Les défis actuels liés à l’évaluation par les pairs sont préoccupants, mais ils représentent également des opportunités pour l’évaluation par les pairs de s’adapter à un système scientifique en évolution rapide qui serait plus participatif, complexe et global, et de favoriser une évaluation plus inclusive, transparente et équitablement récompensée des travaux scientifiques.
Hugo Horta est professeur associé à la faculté d’éducation de l’Université de Hong Kong, Hong Kong SAR, Chine. E-mail : [email protected]. Jisun Jung est professeur associé à la faculté d’éducation de l’Université de Hong Kong. E-mail : [email protected]. Cet article est basé sur Horta, H et Jung, J (2024) La crise de l’évaluation par les pairs : un élément de l’évolution de la science. Higher Education Quarterly. Cet article a été publié pour la première fois dans l’édition actuelle de Enseignement supérieur international.
2024-07-21 11:11:50
1721552303
#crise #lévaluation #par #les #pairs #des #revues #qui #doit #changer