
MERIT (Manuscrit Évalué selon les Référentiels Intrinsèques et Théoriques) : Un cadre pour une évaluation académique par les pairs efficace et équitable
Schepens Eye Research Institute of Mass Eye and Ear | Department of Ophthalmology, Harvard Medical School, Boston (USA)
On this page
Abstract
L’évaluation par les pairs est la pierre angulaire de l’intégrité et de la rigueur académique dans la diffusion de la recherche. Ce processus, qui fait le lien entre la création du savoir et sa publication, exige un investissement considérable en temps et en effort de la part des auteurs, des évaluateurs et des éditeurs. L’évaluation par les pairs implique souvent plusieurs cycles de révision dans différentes revues, nécessitant des centaines d’heures d’investissement et menant fréquemment à la frustration. Néanmoins, ce processus peut s’avérer fructueux, permettant d’améliorer la qualité des manuscrits, de corriger les erreurs et d’assurer un meilleur ciblage du lectorat. Collectivement, l’évaluation par les pairs mobilise des millions d’heures et engendre des coûts de plusieurs milliards, principalement supportés par les agences de financement et les gouvernements. Cette situation soulève des questions cruciales sur l’optimisation du processus et l’impact potentiel de la formation des évaluateurs sur l’efficacité et les résultats. De manière surprenante, la formation formelle des évaluateurs est rare dans les programmes de premier cycle et de cycles supérieurs à l’échelle mondiale. L’apprentissage est principalement informel, par le biais du mentorat ou de l’expérience personnelle. Les revues offrent généralement peu de directives, s’appuyant sur des questions basiques et des classements pour assister les éditeurs. Il est donc remarquable qu’une approche aussi peu structurée, avec un minimum d’orientations, soit la norme pour un processus d’une telle importance. Les résultats de l’évaluation par les pairs peuvent retarder des publications pendant des années, avoir un impact significatif sur les carrières et influencer les décisions en matière de subventions et de promotions. Ce cours introduit de nouveaux outils et concepts pour améliorer le processus d’évaluation par les pairs : 1) La «Feuille de Justification du Résultat Principal», conçue pour rendre les évaluations plus efficaces et transparentes pour les lecteurs ; 2) Le «publicon», un terme inspiré des unités fondamentales de la physique quantique, comme le photon, représentant le quantum minimal d’information nécessaire pour faire progresser un domaine et mériter une publication dans une revue avec évaluation par les pairs ; 3) Un modèle d’évaluation par les pairs basé sur MERIT (Manuscrit Évalué selon les Référentiels Intrinsèques et Théoriques), qui propose de nouvelles lignes directrices fondées uniquement sur les mérites intrinsèques du manuscrit, tandis que l’évaluation du public cible et de la distribution est déterminée ultérieurement. Une innovation clé du modèle basé sur MERIT est la séparation entre le processus d’évaluation par les pairs et la distribution du manuscrit. Une fois un manuscrit validé par une évaluation indépendante, sa distribution devient une considération distincte. Les auteurs ou des plateformes indépendantes peuvent diffuser les travaux validés de manière efficace, que ce soit par le biais des formes évolutives de ce que nous appelons actuellement des revues ou via les réseaux sociaux. Cette séparation garantit que l’accent reste mis sur la qualité de la recherche elle-même, plutôt que sur le prestige de l’entité distributrice. Ce cours vise à fournir un cadre structuré pour l’évaluation académique par les pairs, dans le but d’élever la qualité, de favoriser l’équité et de minimiser les biais. Il comprend des sections interactives avec des questions ouvertes et des questions à choix multiple pour stimuler la réflexion et la compréhension. Conçu à la fois pour les novices et les évaluateurs expérimentés, ce cours les aide à affiner leurs compétences et à les adapter aux exigences spécifiques de leur domaine académique.
Keywords
- évaluation par les pairs
Questions ouvertes
» Partage d’expérience : Veuillez considérer votre expérience la plus difficile avec le processus d’évaluation par les pairs, que ce soit en tant qu’auteur, évaluateur ou éditeur. Qu’est-ce qui a rendu cette expérience difficile et comment pensez-vous qu’elle aurait pu être améliorée ?
» Lacunes perçues dans la formation : À votre avis, quels sont les domaines clés de l’évaluation par les pairs qui manquent actuellement de formation ou de directives suffisantes ? » Suggestions d’amélioration : Quels aspects spécifiques ou compétences aimeriez-vous voir abordés dans un cours de formation sur l’évaluation par les pairs ?
» Impact de la formation : Comment pensez-vous qu’une formation formelle en évaluation par les pairs pourrait changer votre approche de l’évaluation des manuscrits ?
» Mécanisme de retour d’information : Quel serait un mécanisme de retour d’information efficace pour un cours sur l’évaluation par les pairs afin d’assurer sa pertinence et son utilité pour les participants ?
Questions à choix multiples
Expérience préalable avec l’évaluation par les pairs :
A) Je n’ai jamais participé à l’évaluation par les pairs
B) J’ai une certaine expérience en tant qu’évaluateur par les pairs
C) J’ai une expérience approfondie en tant qu’évaluateur par les pairs
D) J’ai de l’expérience à la fois en tant qu’évaluateur et éditeur
Mode de formation préféré :
A) Modules en ligne
B) Ateliers en présentiel
C) Webinaires avec sessions de questions-réponses
D) Mentorat et observation d’évaluateurs expérimentés
Défis du processus actuel d’évaluation par les pairs :
A) Contraintes de temps
B) Manque de directives claires
C) Incohérence dans la qualité des évaluations
D) Biais dans le processus d’évaluation
Avantages d’une formation efficace à l’évaluation par les pairs :
A) Amélioration de la qualité des manuscrits
B) Processus de publication plus rapide
C) Réduction des biais et augmentation de l’équité
D) Satisfaction et engagement accrus des évaluateurs
Pourquoi l’évaluation par les pairs est importante : Un aperçu historique
La pratique de l’évaluation par les pairs, telle qu’on la connaît aujourd’hui, est apparue comme un élément pivot de la publication académique après la Seconde Guerre mondiale (Burnham, 1990). Son développement a été principalement motivé par deux facteurs. À l’origine, il s’agissait d’une réponse au déséquilibre croissant entre le volume toujours plus important de publications académiques et la disponibilité limitée d’espaces de publication sur support imprimé. Ce problème a été encore aggravé par l’essor de la spécialisation dans diverses disciplines, ce qui a mis en évidence la nécessité pour les éditeurs de faire appel à des experts de domaines spécifiques afin d’évaluer le mérite et l’exactitude des soumissions.
L’avènement de l’ère numérique a transformé ce paysage. Aujourd’hui, la majorité des publications académiques peut trouver un espace en ligne, que ce soit dans des revues classiques ou sur des serveurs de prépublication. Dans ce contexte, l’évaluation par les pairs sert non seulement de mécanisme permettant de filtrer et d’orienter les articles vers des publics appropriés en fonction de la qualité perçue, mais joue également un rôle essentiel dans le maintien de l’intégrité, de la validité et de la fiabilité des travaux scientifiques. L’importance accordée à la qualité par rapport aux tendances du moment varie d’une revue à l’autre, soulignant ainsi le caractère subjectif du processus.
Le processus d’évaluation par les pairs, bien qu’essentiel, est souvent un parcours exigeant et itératif. Une comparaison appropriée pourrait être établie avec le processus d’évaluation des demandes de subvention. Tout comme les demandes de subvention, où le financement est une ressource limitée, les publications académiques se disputent des places restreintes dans des revues prestigieuses, subissant un examen rigoureux afin de déterminer leur contribution relative au domaine
L’innovation au sein du système d’évaluation par les pairs a été progressive. Le changement le plus significatif ces dernières décennies a été la transition des communications postales traditionnelles vers l’email et les soumissions en ligne, améliorant ainsi l’efficacité. Néanmoins, les modifications ultérieures, telles que les changements dans les politiques d’anonymat des évaluateurs ou les tentatives d’équilibrer la rigueur scientifique avec les tendances actuelles, ont été relativement mineures. Le consensus général suggère que le système, bien que fonctionnel, pourrait bénéficier grandement de réformes plus substantielles et innovantes pour améliorer à la fois l’efficacité et la qualité (Jefferson, 2002 ; Tennant, 2018; Craig, 2022; Garcia, 2022).
Questions ouvertes
» Perspectives historiques : Comment pensez-vous que le processus d’évaluation par les pairs a évolué au fil des années dans votre domaine d’étude ?
» Innovations et améliorations : Quelles innovations ou quels changements aimeriez-vous voir mis en place dans le processus d’évaluation par les pairs ?
» Impact de la digitalisation : Comment le passage aux plateformes numériques a-t-il affecté le processus d’évaluation par les pairs, selon votre expérience ?
» Orientations futures : Comment envisagez-vous l’avenir de l’évaluation par les pairs dans la publication académique ?
» Rôle de la technologie : Comment pensez-vous que les technologies émergentes pourraient transformer le processus d’évaluation par les pairs ?
» Adaptation personnelle : Comment avez-vous adapté votre approche de la rédaction ou de l’évaluation des articles en réponse aux évolutions du système d’évaluation par les pairs ? » Équilibrer qualité et rapidité : Comment le processus d’évaluation par les pairs peut-il concilier la nécessité d’évaluations approfondies et de qualité avec l’exigence d’une publication rapide ? » Perspectives globales : Comment le processus d’évaluation par les pairs varie-t-il selon les pays ou les cultures, et qu’est-ce que l’on peut apprendre de ces différences ?
Questions à choix multiples
Satisfaction vis-à-vis du processus actuel d’évaluation par les pairs :
A) Très satisfait
B) Satisfait
C) Neutre
D) Insatisfait
E) Très insatisfait
Impact de l’évaluation par les pairs sur la qualité du manuscrit :
A) Améliore significativement la qualité
B) Améliore généralement la qualité
C) N’a aucun impact sur la qualité
D) Diminue parfois la qualité
E) Diminue souvent la qualité
Formation à l’évaluation par les pairs :
A) Fortement nécessaire
B) Quelque peu nécessaire
C) Neutre
D) Pas très nécessaire
E) Pas du tout nécessaire
Efficacité perçue du système actuel d’évaluation par les pairs :
A) Inefficace
B) Moyennement efficace
C) Efficace
D) Très efficace
Impact de la spécialisation sur l’évaluation par les pairs :
A) A eu un impact négatif sur le processus d’évaluation
B) N’a eu aucun impact significatif
C) A eu un impact positif sur le processus d’évaluation
L’évaluation par les pairs aujourd’hui et demain : Maintenir l’intégrité et la rigueur à l’ère de la surcharge d’informations
L’évaluation par les pairs est un élément indispensable pour préserver l’intégrité et la rigueur du travail académique, et elle est cruciale pour le progrès de l’humanité. Alors que nous avançons vers 2024 et au-delà, le rôle de l’évaluation par les pairs prend une importance accrue. Qu’est-ce qui perdure à travers les générations ? Nos gènes, nos connaissances, nos valeurs et nos traditions. L’évaluation par les pairs joue un rôle vital pour garantir l’exactitude et la fiabilité des connaissances que nous transmettons, des valeurs que nous inculquons, et des traditions que nous préservons.
À une époque où toute personne disposant d’une importante audience sur les réseaux sociaux peut diffuser des informations, la distinction entre opinions, croyances et connaissances validées scientifiquement devient de plus en plus floue. Bien que la liberté d’expression soit une pierre angulaire de nombreuses sociétés, elle souligne également la nécessité de mécanismes permettant de différencier les points de vue personnels des preuves empiriques. L’évaluation par les pairs offre un tel outil, apportant une couche de contrôle et de validation, en particulier dans les domaines où se croisent certitude et controverse – allant du changement climatique et de la politique à l’économie, la biologie, la médecine et le domaine en plein essor de l’intelligence artificielle.
Prenez, par exemple, l’histoire récente avec la pandémie de COVID-19, où le débat public sur les masques, les vaccins, les ventilateurs et les origines du virus s’est souvent heurté aux conclusions scientifiques. Durant ces périodes, le rôle de l’évaluation par des experts pour analyser et communiquer le savoir scientifique est devenu d’une importance toujours croissante (Horbach, 2021). Il convient d’adopter une approche humble face à ces défis sociétaux, en préconisant que le savoir validé par l’évaluation par les pairs soit universellement accessible en tant que référence. Même s’il n’appartient pas aux universitaires d’imposer le contenu validé par l’évaluation par les pairs comme vérité définitive, ce processus apparaît à la fois précieux et pertinent, non seulement au sein des cercles académiques, mais aussi comme une composante essentielle du débat sociétal et du processus décisionnel.
Questions ouvertes
» Transformation du rôle de l’évaluation par les pairs : Comment pensez-vous que le rôle de l’évaluation par les pairs a évolué à l’ère de l’information numérique et des réseaux sociaux ? » Défis et opportunités : Quels sont, selon vous, les plus grands défis et opportunités que présente l’évaluation par les pairs pour maintenir l’intégrité des connaissances académiques dans la société actuelle ?
» Équilibrer liberté et exactitude : Comment pouvons-nous concilier la liberté d’expression inhérente aux plateformes telles que les réseaux sociaux avec la nécessité de disposer d’informations précises validées par l’évaluation par les pairs ?
» Impact de la technologie : De quelles manières pensez-vous que les technologies émergentes influenceront davantage le processus d’évaluation par les pairs ?
» Perception publique : Comment la communauté académique peut-elle mieux communiquer l’importance et le rôle de l’évaluation par les pairs au grand public ?
Questions à choix multiples
Importance de l’évaluation par les pairs à l’ère des réseaux sociaux :
A) Plus important que jamais
B) Aussi important qu’auparavant
C) Moins important qu’auparavant
D) Pas important
Impact de la désinformation sur l’évaluation par les pairs :
A) A considérablement accru le besoin d’évaluation par les pairs
B) A quelque peu accru le besoin
C) Aucune modification du besoin
D) A diminué le besoin
Confiance dans l’information validée par les pairs :
A) Je fais entièrement confiance
B) J’ai généralement confiance
C) Neutre
D) Sceptique
E) Je n’ai pas du tout confiance
Rôle de l’évaluation par les pairs dans le débat public :
A) Essentiel pour des décisions éclairées
B) Utile mais non essentiel
C) Neutre
D) Peu important
E) Inutile
Un changement de paradigme dans l’évaluation par les pairs
La tension entre les créateurs de contenu (auteurs) et les curateurs (éditeurs, évaluateurs et éditeurs de revues) dans le processus traditionnel d’évaluation par les pairs repose souvent sur des critères subjectifs : la nouveauté des résultats, l’impact de l’article sur le domaine et le fardeau de la preuve pour étayer les affirmations. Les auteurs ne mesurent pas toujours avec précision l’importance de leur travail, tandis que les revues et les évaluateurs peuvent peiner à apprécier pleinement la véritable valeur d’une avancée scientifique. Cette subjectivité a favorisé l’évolution de l’écosystème actuel des revues, qui constitue essentiellement un marché des éditeurs. Les auteurs visent des revues à fort impact par le biais d’un processus de soumission itératif, adoptant une approche d’essais-erreurs pour trouver le placement le plus adapté à leurs articles
À leur tour, les revues s’efforcent de publier les articles les plus remarquables en imposant des critères de plus en plus stricts. Cette dynamique souligne l’influence considérable dont disposent les éditeurs pour déterminer la visibilité et le prestige de la recherche, principalement à travers les facteurs d’impact et le ciblage de l’audience. Bien que ce système ait facilité une communication scientifique et un avancement remarquables, il n’est pas exempt d’inefficacités, de biais et d’éléments élitistes (Lee, 2012 ; Haffar, 2019). Pourtant, son rôle dans le progrès académique demeure vital. Sous certains aspects, le système peut être considéré comme équitable, puisqu’il permet à quiconque, de n’importe où, de soumettre ses articles à des revues de haut rang. Même si la majorité des soumissions se voient refuser, l’opportunité d’une considération reste présente. Nous reviendrons sur cette question d’équité ultérieurement dans cette section.
Ce cours préconise une transition vers un marché des auteurs dans l’édition académique. Cette approche s’inscrit dans les tendances modernes, reconnaissant les créateurs de contenu comme des acteurs centraux tant dans la génération que dans la diffusion du savoir. Bien que nous reconnaissions la valeur des serveurs de préprints comme une avancée (Wingen, 2022), nous estimons que leur impact demeure limité, notamment pour les non-spécialistes et le grand public qui bénéficient davantage de contenus validés par l’évaluation par les pairs. Ce cours comble ce fossé en proposant une évaluation par les pairs efficace tout en maintenant la prééminence de l’auteur dans le processus de publication.
Dans le paysage actuel de l’évaluation par les pairs, on constate souvent une exécution sans but précis des tâches, principalement en raison du manque de directives explicites de la part des revues. Cette situation peut entraîner un cycle durant lequel auteurs et évaluateurs s’engagent dans un processus prolongé aux objectifs flous. Ce cours propose de modifier cette dynamique en définissant clairement les objectifs de l’évaluation par les pairs.
L’évaluation par les pairs est un processus conçu pour fournir aux auteurs des retours constructifs et impartiaux qui améliorent véritablement leur travail. Cette approche reconnaît la nature évolutive de la validité académique, qui, bien qu’étant un objectif crucial, reste toujours un travail en cours et sujette à l’influence de diverses méthodologies. Il est important de noter que la garantie de la validité d’un travail incombe en définitive aux auteurs, qui en sont à la fois les créateurs et les garants.
» Accent sur l’amélioration: L’objectif principal de l’évaluation par les pairs devrait être d’améliorer la qualité du manuscrit. Cela consiste à offrir des retours constructifs, à suggérer des améliorations et à identifier les domaines où l’argumentation, la méthodologie ou la présentation peuvent être renforcées. L’amélioration englobe également la nécessité de rendre le manuscrit clair, bien rédigé et bien structuré, afin de le rendre accessible et compréhensible pour son public cible.
» Maintien de la validité : Tout en mettant l’accent sur l’amélioration, il est essentiel de ne pas négliger la validité du travail. La validité se réfère à la solidité et à la robustesse de la méthodologie de recherche, à la pertinence des analyses ainsi qu’à l’exactitude et la fiabilité des conclusions tirées. Les évaluateurs doivent examiner ces aspects de manière critique pour garantir que la recherche est crédible et digne de confiance.
» Trouver un équilibre : Pour concilier ces objectifs, les évaluateurs devraient aborder les manuscrits avec une mentalité critique constructive. S’il est important d’identifier les faiblesses ou les erreurs pour maintenir la validité, il est tout aussi crucial de fournir des suggestions précises et actionnables pour améliorer le travail. L’objectif est d’aider les auteurs à affiner leur travail, et non de se contenter de le critiquer.
» Favoriser un esprit coopératif : Le processus d’évaluation par les pairs devrait être envisagé comme un effort coopératif entre auteurs et évaluateurs pour faire progresser le savoir. Les évaluateurs doivent communiquer leurs retours de manière à encourager le dialogue et la compréhension, plutôt que la confrontation. Employer le terme « coopératif » plutôt que « collaboratif » dans le contexte de l’évaluation par les pairs est approprié, compte tenu des rôles et responsabilités distincts des évaluateurs et des auteurs.
» Rôles distincts : Dans le processus d’évaluation par les pairs, auteurs et évaluateurs jouent des rôles différents. Les auteurs créent et présentent leur recherche, tandis que les évaluateurs l’examinent et fournissent des retours. Le terme « collaboratif » pourrait impliquer un effort commun dans la création ou la recherche, ce qui n’est pas le cas dans l’évaluation par les pairs.
» Nature coopérative : Le terme « coopératif » décrit précisément la nature de l’interaction dans l’évaluation par les pairs. Il suggère un processus où les deux parties, bien qu’indépendantes, œuvrent ensemble pour un objectif commun : l’amélioration et la validation du manuscrit. Il implique un engagement mutuellement respectueux et constructif, où les retours sont donnés et reçus dans le but de faire progresser le savoir et d’assurer la qualité
» Distance objective : Le terme « coopératif » préserve et promeut le concept de distance objective, qui est crucial dans l’évaluation par les pairs. Les évaluateurs fournissent des évaluations indépendantes et impartiales sans être directement impliqués dans la recherche. Ce terme respecte les frontières entre la création (l’auteur) et l’évaluation.
» Encourager un environnement positif : Mettre l’accent sur cette approche coopérative dans l’évaluation par les pairs favorise un environnement positif et soutenant. Cela encourage les auteurs à considérer les retours non pas comme des critiques, mais comme des apports précieux de pairs éclairés, contribuant ainsi à l’amélioration globale de leur travail.
» L’évaluation par les pairs comme service : Reconnaître l’évaluation par les pairs comme un service rendu aux auteurs marque une étape cruciale dans notre transition vers un marché centré sur l’auteur dans l’édition académique. Dans ce modèle, l’auteur est considéré comme le client, ayant droit à un service de haute qualité, respectueux et rapide – un changement significatif par rapport aux pratiques traditionnelles. Cette redéfinition est au cœur de la transformation du paysage de l’édition académique, qui tend à devenir plus centré sur l’auteur et efficace.
Questions ouvertes
» Évaluation du changement de paradigme : Comment percevez-vous le passage d’un marché dominé par les éditeurs à un marché centré sur les auteurs dans l’édition académique ? » Objectifs du processus de révision : À votre avis, quels devraient être les objectifs principaux du processus d’évaluation par les pairs dans un modèle centré sur l’auteur ?
» Gestion de la subjectivité : Comment les évaluateurs peuvent-ils gérer efficacement la subjectivité inhérente à l’évaluation de la nouveauté et de l’impact de la recherche ? » Rôle des serveurs de préprints : Quel rôle, selon vous, les serveurs de préprints devraient-ils jouer dans le paysage actuel de l’édition académique ?
» Coopération vs. collaboration :Selon vous, comment la distinction entre un rôle coopératif et un rôle collaboratif des évaluateurs et éditeurs aide-t-elle l’évaluation par les pairs ?
Questions à choix multiples
Importance de l’approche centrée sur l’auteur :
A) Crucial
B) Important
C) Modérément important
D) Légèrement important
E) Pas important
Efficacité des serveurs de préprints :
A) Très efficace
B) Efficace
C) Neutre
D) Inefficace
E) Très inefficace
Rôle de l’évaluateur dans un marché centré sur l’auteur :
A) Guide et mentor
B) Évaluateur critique
C) Gardien
D) Collaborateur
E) Coopérateur
Décentralisation et perspective de la théorie des jeux dans l’évaluation par les pairs académiques
Ce cours préconise un modèle d’évaluation par les pairs dans lequel les évaluateurs et les éditeurs ne se concentrent pas sur la sélection des articles pour publication dans une logique de compétition, mais sur la fourniture de retours constructifs visant à améliorer les travaux. La question directrice passe de « Cet article devrait-il être publié compte tenu des places limitées dans une revue ? » à « Pourquoi ne devrait-il pas être publié, si, grâce à l’évaluation par les pairs, il a démontré une amélioration et une validité ? » Cette approche vise à instaurer un modèle plus inclusif et centré sur l’auteur, axé sur l’amélioration du manuscrit plutôt que sur l’exclusion et la sélectivité.
Cette évolution des objectifs et du processus d’édition académique pourrait nécessiter une transformation des pratiques actuelles de publication pour s’éloigner des approches traditionnelles qui aboutissent souvent à de multiples rejets et à des retards. Dans ce nouveau modèle, l’acceptation pour publication est déterminée uniquement sur la base du mérite, les décisions concernant l’audience et la distribution étant prises ultérieurement. Un nom proposé pour cette approche est « Manuscript Evaluation Reflecting Intrinsic Tenets » (MERIT – Manuscrit Évalué selon les Référentiels Intrinsèques et Théoriques), qui résume une approche centrée sur les principes de l’évaluation par les pairs académiques, en mettant l’accent sur les qualités essentielles de l’œuvre. Une approche basée sur MERIT suggère que le processus d’évaluation reflète les valeurs fondamentales de la recherche scientifique inhérentes au manuscrit.
Pour être déployée à grande échelle, cette nouvelle approche nécessitera le développement d’outils supplémentaires afin de garantir que les travaux révolutionnaires d’intérêt général atteignent une diffusion plus large, tandis que les articles plus spécialisés parviennent à l’audience appropriée. Cependant, bien que le développement de tels outils intéresse l’auteur, il est hors du cadre du présent manuscrit et pourra être réalisé par d’autres si MERIT est largement adopté.
En dissociant l’évaluation de la qualité de la distribution du contenu, un nouveau modèle d’édition académique aspirera à un système plus équitable et efficace, favorisant le progrès académique dans diverses disciplines.
Ce nouveau modèle d’évaluation par les pairs peut être conceptualisé, selon la théorie des jeux, comme une transition d’un jeu compétitif à un jeu coopératif. Dans l’édition traditionnelle, le jeu est compétitif, les auteurs et les revues évoluant dans un environnement à enjeux élevés d’acceptation et de rejet, semblable à un jeu à somme nulle. Le modèle MERIT, mettant l’accent sur l’amélioration et une évaluation centrée sur l’auteur, transforme cela en un jeu coopératif, où le succès d’une partie (les auteurs) ne nécessite pas l’échec d’une autre (les revues). Ce modèle est innovant dans la mesure où il réduit la nature conflictuelle de l’édition et s’aligne davantage sur les tendances coopératives modernes dans la création et la diffusion de contenu. Il répond aux inefficacités et aux biais inhérents à l’évaluation par les pairs traditionnelle en favorisant une approche plus inclusive et constructive.
Le modèle compétitif traditionnel dans l’édition académique implique plusieurs cycles de soumissions, d’évaluations par les pairs et de rejets avant d’aboutir à la publication et à un classement dans une revue, ce qui peut s’avérer inefficace. Ce classement fait référence à la publication dans une revue spécifique dotée de rangs prédéfinis (par exemple, les facteurs d’impact (IF) associés à la revue, un IF élevé étant un indicateur de haute qualité). Être accepté dans une revue de haut rang implique actuellement la qualité d’un article et offre une exposition à un large public. Par exemple, si l’éditeur du journal Science Magazine reçoit un article, le soumet à une évaluation par les pairs et qu’il est finalement accepté, la majorité du grand public, ainsi que les comités de recrutement, de promotion et les agences de financement, pourraient supposer que le contenu de l’article est de haute qualité et/ou d’intérêt général. Cela s’explique en grande partie par le fait que Science dispose d’un IF élevé, publiant généralement très peu d’articles (taux de rejet élevé), et ceux-ci tendent à être fréquemment cités.
Cependant, cela se produit rarement de manière linéaire, car le même article peut avoir déjà été soumis à une ou deux évaluations par les pairs dans différentes revues et avoir finalement été rejeté avant d’aboutir à Science. En pratique, dans le système actuel, les revues gèrent l’évaluation par les pairs, la publication et agissent en tant que gardiennes de l’accès. L’article a-t-il été rejeté auparavant parce que le contenu était douteux, en raison d’une décision éditoriale, ou parce que la revue était complète avec tous ses espaces limités déjà pourvus ? L’auteur et les revues peuvent avoir des perceptions différentes quant aux raisons, mais le processus est assurément itératif, souvent inefficace et habituellement lent.
En revanche, le modèle MERIT simplifie cette démarche en dissociant l’approbation pour publication via l’évaluation par les pairs du classement et de la distribution à des publics spécifiques. Dans le système nouvellement proposé, un article sera évalué par les pairs et approuvé pour publication sur la base de ses mérites, sans tenir compte du facteur d’impact de la revue. La distribution sera effectuée à des publics spécifiques, qu’ils soient spécialisés ou larges, une fois l’évaluation par les pairs terminée et l’article accepté. Cela modifie la dynamique de gratification pour les auteurs, car la récompense d’une large distribution survient après la publication, en fonction de l’impact mesuré et de la pertinence de l’article, qui peuvent croître ou être limités au fil du temps. Cette reconnaissance différée (d’environ une à deux semaines), mais potentiellement plus étendue, pourrait constituer un aspect crucial, mettant l’accent sur l’efficacité et la reconnaissance basée sur le mérite plutôt que sur le succès immédiat du placement. Ce changement fondamental pourrait être considéré comme une évolution majeure dans le processus d’édition académique s’il est largement mis en œuvre.
Une question logique se pose : Qui ou quoi distribue le manuscrit après son approbation par l’évaluation par les pairs dans le cadre de MERIT ? D’un point de vue pratique, cela a-t-il de l’importance ? Ou, plus précisément, est-ce important de savoir qui distribue l’article s’il a déjà été validé par une évaluation par les pairs indépendante ? La réponse est qu’il ne compte probablement pas autant qu’aujourd’hui. Aujourd’hui, la distribution est primordiale, et le distributeur sert de proxy pour la qualité.
Après une évaluation par les pairs basée sur MERIT, les travaux peuvent être distribués par de nouvelles plateformes issues de ce que nous appelons actuellement des revues. Alternativement, certains pourraient choisir de distribuer eux-mêmes leur travail après l’évaluation par les pairs s’ils disposent d’une plateforme suffisamment efficace, telle que les réseaux sociaux.
Du point de vue de la théorie des jeux, le modèle MERIT peut être conceptualisé comme passant d’un jeu compétitif à haute fréquence (édition traditionnelle) à un jeu coopératif et axé sur les résultats à basse fréquence. Dans le modèle traditionnel, les auteurs participent à de nombreuses séries itératives (soumissions et rejets), semblables à des parties répétées dans un jeu, cherchant le succès immédiat. MERIT transforme cela en une interaction unique et coopérative, axée sur l’amélioration et la reconnaissance finale basée sur le mérite. Cela réduit le « jeu » à une seule itération avec des récompenses différées mais potentiellement plus importantes, mettant l’accent sur l’efficacité et la valeur à long terme plutôt que sur la gratification immédiate. Cette approche s’aligne avec la théorie des jeux coopératifs, où l’accent est mis sur le bénéfice mutuel et le succès partagé. Une représentation mathématique simple est présentée ci-dessous.
Modèle d’édition traditionnel (Jeu compétitif) :
Itérations (n) : Multiples (n élevé), représentant des cycles de soumission et de rejet Récompense (R) : Élevée si acceptée dans une revue à fort impact ; faible ou nulle en cas de rejet Probabilité de succès (P) : Plus faible en raison de la nature compétitive
Fonction d’utilité (U) : U = P(succès) × R - Coût(n), où Coût(n) augmente à chaque itération
Modèle MERIT (Jeu coopératif, axé sur les résultats) :
Itérations (n) : Unique (n = 1), représentant une seule phase d’évaluation et d’amélioration Récompense (R) : Reconnaissance post-publication basée sur le mérite, potentiellement élevée mais retardée
Probabilité de succès (P) : Plus élevée, puisque l’accent est mis sur l’amélioration
Fonction d’utilité (U) : U = P(succès) × R - Coût(n), avec un Coût(n) significativement inférieur
En termes de théorie des jeux, le modèle traditionnel peut être assimilé à un dilemme du prisonnier répété, comportant des coûts individuels plus élevés, tandis que le modèle MERIT s’apparente davantage à un jeu ponctuel, mettant l’accent sur des stratégies coopératives visant un bénéfice mutuel. Cette représentation simplifiée souligne l’efficacité et la nature collaborative de l’approche MERIT par rapport à la méthode traditionnelle.
En théorie des jeux, un « dilemme du prisonnier répété » implique que les joueurs soient confrontés à maintes reprises à la même décision stratégique. Ce scénario se produit souvent dans des environnements compétitifs où les individus choisissent entre coopérer et agir dans leur intérêt personnel. La nature répétée du jeu signifie que les joueurs ont de multiples interactions, ce qui influence leurs stratégies en fonction des résultats passés.
En revanche, un « jeu ponctuel » se joue une seule fois, de sorte que les décisions sont prises sans possibilité de modifier les stratégies en fonction des interactions antérieures. Ce dispositif est courant dans des situations où les joueurs n’ont qu’une seule opportunité de coopérer ou d’agir dans leur intérêt personnel, mettant souvent en avant les bénéfices mutuels et les stratégies collaboratives.
L’édition traditionnelle suit un dilemme du prisonnier répété, dans lequel les auteurs sont constamment confrontés à un environnement compétitif à enjeux élevés, influençant leurs stratégies au fil de multiples itérations. En revanche, l’approche de MERIT simplifie cette dynamique en se concentrant sur la coopération et l’amélioration lors d’une unique interaction. Ce changement ne modifie pas seulement la stratégie, il change également la nature fondamentale du « jeu » de l’édition, favorisant l’efficacité et le bénéfice mutuel. Une telle transition dans l’édition académique représente une application novatrice des principes de la théorie des jeux coopératifs.
Le dilemme du prisonnier original est un problème de théorie des jeux qui illustre pourquoi des individus pourraient ne pas coopérer, même lorsque cela serait dans leur intérêt. Deux prisonniers, isolés l’un de l’autre, se voient proposer un accord par les autorités. Si l’un d’eux se confesse (trahit l’autre) tandis que l’autre reste silencieux (coopère), le traître est libéré alors que le prisonnier silencieux reçoit une lourde peine. Si les deux restent silencieux, ils reçoivent des peines légères, mais si les deux trahissent, ils reçoivent des peines modérées. Bien que la coopération mutuelle soit l’issue la plus bénéfique, le dilemme découle du manque de confiance et de communication, conduisant souvent les deux à choisir de trahir.
Dans un jeu unique, contrairement à l’interaction répétée du dilemme du prisonnier, les joueurs n’interagissent qu’une seule fois. Le processus de prise de décision ne bénéficie pas de l’apprentissage ou d’ajustements stratégiques fondés sur les résultats passés. Chaque joueur fait son choix (coopérer ou faire défection) sans possibilité de modifier sa stratégie lors des rounds suivants. Ce dispositif met souvent l’accent sur les gains immédiats et sur l’évaluation individuelle du risque et de la récompense, sans la dynamique d’une confiance évolutive ou de représailles.
Dans le contexte de l’édition académique, si nous devions utiliser le modèle du dilemme du prisonnier, on pourrait conceptualiser l’auteur et la revue comme les deux « prisonniers ». Chaque cycle de soumission et d’évaluation représente une itération, au cours de laquelle les deux parties décident de coopérer (accepter et publier l’article) ou de faire défection (rejeter l’article). Les auteurs visent des revues à fort impact, tandis que les revues recherchent des articles de haute qualité. Ce processus itératif reflète un jeu de stratégie et de prise de décision dans l’incertitude, similaire au scénario du dilemme du prisonnier.
L’application d’une approche de jeu unique pour résoudre les dynamiques typiques du dilemme du prisonnier pourrait révolutionner l’édition académique. Cette approche marque un changement significatif par rapport au processus traditionnel de soumission itératif, en passant à une interaction unique, simplifiée, axée sur la collaboration et l’amélioration. En modifiant la nature fondamentale du jeu dans l’édition académique, elle introduit une nouvelle manière de concevoir et de gérer le processus de publication. Cette innovation pourrait potentiellement transformer le modèle traditionnel d’édition, en mettant l’accent sur l’efficacité et des pratiques centrées sur l’auteur.
Dans le cadre du modèle MERIT – Manuscrit Évalué selon les Référentiels Intrinsèques et Théoriques, les éditeurs décentralisés auront l’autorité d’approuver les publications, mais leurs décisions devront être justifiées par le processus d’évaluation par les pairs et ne pas être arbitraires. Un comité éditorial centralisé sera chargé de vérifier et d’établir les politiques éditoriales, et disposera de l’autorité nécessaire pour annuler des décisions arbitraires ou non justifiées et retirer des articles après une procédure régulière. Cette structure vise à préserver l’intégrité académique tout en répondant aux enjeux clés de l’évaluation par les pairs.
Selon le modèle MERIT, seules les soumissions répondant aux critères définis pour les « publicons » — c’est-à-dire celles qui font progresser le domaine et ont fait l’objet d’une évaluation par les pairs rigoureuse (comme expliqué dans la section suivante) — seront publiées. Cela garantit que, même si toutes les soumissions ne seront pas acceptées, celles qui se qualifient en tant que publicons seront diffusées de manière efficace, équitable et rapide.
Ce tableau offre un aperçu concis de la comparaison entre les risques et les récompenses du modèle traditionnel d’évaluation par les pairs et du modèle basé sur MERIT, mettant en lumière les principales différences et les bénéfices potentiels de l’approche proposée.
Tableau 1. Comparaison risque-récompense entre le modèle traditionnel d’évaluation par les pairs et le modèle basé sur MERIT
| Critère | Évaluation par les pairs traditionnelle | Évaluation par les pairs basée sur MERIT |
|---|---|---|
| Risque | Les itérations multiples et les rejets peuvent entraîner de la frustration et des retards. Biais possible et favoritisme dans la sélection des évaluateurs. Accent excessif sur le facteur d'impact. | Scepticisme initial et résistance au changement de la part de la communauté académique. Nécessité d'ajustements significatifs dans l'infrastructure éditoriale. Risque de sous-évaluer les normes établies. |
| Récompense | Un processus de filtrage rigoureux garantit des publications de haute qualité. Prestige associé aux revues à fort impact. | Processus optimisé mettant l'accent sur la qualité intrinsèque du manuscrit. Plus grande inclusion et équité dans les publications académiques. Délais de publication plus rapides et moins de retards. |
| Cohérence | Format et style cohérents dans les revues à fort impact. Respect strict des directives spécifiques de la revue. | Flexibilité dans la présentation et la structure du manuscrit. Accent sur la cohérence et le flux logique plutôt que sur un format strict. |
| Nouveauté | Centré sur les découvertes innovantes et les méthodologies nouvelles. | Définition plus large de la nouveauté, incluant les avancées incrémentales et les travaux interdisciplinaires. |
| Rigueur académique | Normes élevées de minutie méthodologique et de qualité des données. | Promotion d'une évaluation par les pairs rigoureuse avec des directives structurées (Feuille de justification des principaux résultats). |
| Aspects éthiques | Établissement de normes éthiques et de directives pour les études sur les humains et les animaux. | Accent continu sur l'intégrité éthique, avec des vérifications détaillées pour l'approbation de l'IRB/IACUC et l'intégrité des données. |
| Efficacité du processus d'évaluation | Fort investissement en temps, avec de multiples séries d'évaluation et de corrections. | Plus grande efficacité, avec un processus d'évaluation unique et coopératif, centré sur l'amélioration et le mérite. |
» Multiples itérations et rejets pouvant entraîner de la frustration et des retards.
» Risque de biais et de favoritisme dans la sélection des évaluateurs.
» Surestimation du facteur d’impact.
» Mise en forme et style constants dans les revues à fort impact.
» Respect strict des directives spécifiques à chaque revue.
» Accent mis sur les découvertes révolutionnaires et les méthodologies novatrices.
» Normes élevées pour la rigueur méthodologique et la qualité des données.
» Normes éthiques établies et directives pour les études sur l’humain et l’animal.
» Besoin d’ajustements significatifs dans l’infrastructure de publication. » Risque de sous-estimer les normes établies.
» Processus simplifié axé sur la qualité intrinsèque du manuscrit.
» Augmentation de l’inclusivité et de l’équité dans l’édition académique. » Délais de publication plus courts et réduction des retards.
» Accent sur la cohérence et la logique du contenu plutôt que sur une mise en forme rigide.
» Définition élargie de la nouveauté, incluant les avancées progressives et le travail interdisciplinaire.
» Encouragement d’une évaluation par les pairs rigoureuse avec des directives structurées (Feuille de Justification du Résultat Principal).
Formation des évaluateurs
Expérience de l'auteur
Impact sur les carrières
Innovation et réforme
Inclusivité et équité
Concept de publicon
Questions ouvertes
» Processus long avec plusieurs cycles d’évaluation et de révisions.
» Formation formelle minimale ; les évaluateurs apprennent par l’expérience et le mentorat.
» Potentiellement frustrante en raison de multiples rejets et de longs délais d’attente.
» Les publications à fort impact peuvent considérablement dynamiser les carrières académiques.
» Adoption lente des changements ; transition progressive des plateformes traditionnelles vers le numérique.
» Risque de biais dans la sélection des évaluateurs et dans les opportunités de publication.
» Aucun concept spécifique comparable au « publicon ».
» Processus plus efficace avec une évaluation coopérative unique axée sur l’amélioration et le mérite.
» Modules de formation structurés et directives pour améliorer les compétences et l’objectivité des évaluateurs.
» Expérience plus positive avec des retours clairs et constructifs et une prise de décision plus rapide.
» Reconnaissance plus équitable des contributions scientifiques, réduisant ainsi les biais et le favoritisme.
» Adopte les tendances modernes, y compris l’utilisation de plateformes numériques et des approches centrées sur l’auteur.
» Favorise la diversité et l’inclusivité en se concentrant sur le mérite et en réduisant les biais systémiques.
» Introduit le « publicon » comme le quantum minimal d’information nécessaire pour faire progresser un domaine, garantissant ainsi qualité et pertinence.
» Comment l’approche décentralisée de l’évaluation par les pairs de MERIT modifie-t-elle le rôle des éditeurs et des évaluateurs par rapport aux modèles traditionnels ?
» Pouvez-vous discuter des avantages et des inconvénients potentiels du découplage de l’évaluation de la qualité de la distribution du contenu dans l’édition académique ? » Comment la transformation du processus d’évaluation par les pairs, passant d’un jeu compétitif à un jeu coopératif, modifie-t-elle les incitations pour les auteurs ?
» Considérez l’impact d’une reconnaissance différée sur la motivation des auteurs et sur la qualité des soumissions à un éditeur utilisant le modèle d’édition basé sur MERIT.
» Selon vous, comment le concept d’une interaction unique et coopérative dans le processus d’évaluation par les pairs favorise-t-il ou freine-t-il le progrès académique ?
Questions à choix multiples
Quelle autorité ont les éditeurs et les évaluateurs dans le modèle d’édition basé sur MERIT ? A) Limitée à recommander uniquement des révisions.
B) Pleine autorité pour approuver les manuscrits en vue de leur publication.
C) Aucune autorité ; les décisions sont prises par un comité central.
D) Autorité de rejeter directement les manuscrits sans fournir de retour.
Dans le modèle MERIT, le processus d’évaluation par les pairs est conceptualisé comme : A) Un jeu compétitif avec des places limitées pour la publication.
B) Un jeu coopératif axé sur l’amélioration du manuscrit.
C) Un jeu à somme nulle où le succès d’une partie nécessite l’échec de l’autre. D) Un processus de soumission itératif avec des récompenses immédiates.
Laquelle des propositions décrit le mieux le modèle compétitif traditionnel dans l’édition académique ? A) Il implique une seule phase de soumission et d’acceptation.
B) Il implique de multiples cycles de soumissions et de rejets.
C) Il repose sur une évaluation post-publication pour la distribution des articles. D) Il utilise une approche de théorie des jeux coopérative.
Du point de vue de la théorie des jeux, le modèle traditionnel de l’édition est comparable à : A) Un dilemme du prisonnier répété.
B) Un jeu ponctuel.
C) Un jeu de stratégie coopérative.
D) Un jeu de stratégie de domination.
Le modèle MERIT réduit le « jeu » de l’édition à :
A) Plusieurs itérations avec des récompenses immédiates.
B) Une seule itération avec des récompenses différées mais potentiellement plus élevées. C) Une boucle continue de soumissions compétitives.
D) Une série d’interactions coopératives avec une publication garantie.
Plaidoyer en faveur d’une présentation plus flexible des manuscrits : rapprocher les formats traditionnels et diversifiés dans l’édition académique
Historiquement, les revues académiques ont évolué, passant de plateformes où les auteurs pouvaient présenter des manuscrits dans une variété de formats à des entités dotées de directives strictes en matière de mise en forme et de style. Des revues prestigieuses, telles que Cell ou le New England Journal of Medicine, illustrent bien cette tendance. Un examen superficiel des articles publiés dans ces revues révèle un degré élevé d’uniformité dans le style et le type de contenu, ce qui contribue à forger le caractère distinctif de la revue. Cette uniformité, bien qu’elle soit bénéfique pour maintenir la cohérence, peut involontairement limiter la diversité de l’exploration scientifique, en particulier pour les travaux interdisciplinaires qui pourraient chevaucher différentes conventions stylistiques.
Les éditeurs académiques gagneraient à adopter une approche plus ouverte, allant au-delà de la perspective traditionnelle des revues actuelles, et ainsi permettre une plus grande variété de styles et de disciplines dans les manuscrits soumis. Cette ouverture requiert une flexibilité que l’on ne retrouve pas habituellement dans les revues à comité de lecture, nécessitant une articulation claire des éléments essentiels du manuscrit. Ce cours fournit aux auteurs et aux éditeurs des directives précises, définissant les attentes et rationalisant le processus d’évaluation.
Au cœur de l’article, il est impératif d’inclure deux sections fondamentales : le résumé et le corps de l’article. Le résumé est essentiel pour l’indexation et est généralement accessible gratuitement, servant de synopsis du travail. En revanche, le corps de l’article, qui contient le contenu principal, peut être librement accessible ou placé derrière un mur payant, en fonction du modèle d’accès adopté par la revue.
Directives suggérées pour les soumissions et l’évaluation par les pairs dans un modèle d’édition basé sur MERIT
En redéfinissant les directives pour les soumissions et l’évaluation par les pairs dans le cadre de MERIT, ce cours vise à déclencher un changement transformateur dans l’édition académique. Le système actuel, dominé par les facteurs d’impact des revues, privilégie souvent le prestige perçu au détriment de la valeur intrinsèque de la recherche. Les éditeurs et les évaluateurs, contraints par ce paradigme, peuvent involontairement perpétuer des biais et du favoritisme. Le modèle MERIT remet en question ce statu quo en plaçant la véritable qualité, la pertinence et l’intégrité scientifique des soumissions au premier plan. MERIT vise à instaurer un modèle équitable de plateformes de publication où le mérite est reconnu exclusivement sur la base de la contribution académique, indépendamment des influences externes ou des ressources disponibles.
Le modèle d’évaluation par les pairs basé sur MERIT a pour objectif de créer un paysage académique plus juste et inclusif, dans lequel chaque chercheur dispose d’une voix. Dans une évaluation par les pairs basée sur MERIT, les évaluateurs sont encouragés à se concentrer sur la rigueur académique des soumissions, en les jugeant uniquement sur la base de leur mérite scientifique. Une fois qu’un travail est approuvé, un éditeur ou une plateforme s’engage à en assurer la diffusion auprès du public le plus adapté – qu’il soit spécialisé ou large – en fonction du mérite et de l’attrait du contenu. Cette approche peut aider l’éditeur à promouvoir un environnement de publication académique plus inclusif et impartial.
Selon MERIT, il est impératif que les évaluateurs et les éditeurs reconnaissent leur rôle central dans la structuration du discours académique et exercent leur jugement avec la diligence requise. Voici des considérations détaillées pour aborder les problèmes rencontrés lors du processus d’évaluation :
» Exagération des résultats : Lorsque les auteurs présentent des méthodologies solides mais vont au-delà dans leurs conclusions, les évaluateurs doivent les guider pour modérer leurs affirmations, en veillant à ce que les interprétations soient plus en adéquation avec les données.
» Mauvaise interprétation des données : Les évaluateurs doivent faire preuve de constructivité en suggérant des réinterprétations ou des clarifications des données, notamment en tenant compte de leur accès limité à l’ensemble des données. Les auteurs pourraient être invités à fournir des informations supplémentaires afin de résoudre ces préoccupations.
» Insuffisance de preuves : Les normes quant à la suffisance des preuves varient selon les disciplines. Les évaluateurs devraient considérer si la répétition d’expériences ou l’emploi de méthodologies diversifiées permet de démontrer plus efficacement une constatation. Les institutions d’élite disposent souvent de plusieurs méthodologies de pointe, ce qui peut ne pas être accessible à tous les auteurs. Il convient donc de rester conscient de ces disparités.
» Problèmes méthodologiques : Dans les cas où les méthodes employées ne correspondent pas aux objectifs de l’étude, les évaluateurs doivent évaluer la faisabilité des modifications proposées. Ils devraient envisager des alternatives, telles que la suppression de certains résultats ou la qualification supplémentaire des interprétations, si les méthodes sont jugées inappropriées
» Considérations éthiques et plagiat : Les évaluateurs doivent être particulièrement vigilants quant aux préoccupations éthiques, incluant le plagiat potentiel, la falsification de données et les conflits d’intérêts. Cette vigilance est cruciale pour maintenir l’intégrité de l’édition académique
Ces directives visent à établir un processus d’évaluation équitable et inclusif, qui tient compte de la diversité des environnements académiques et des disparités de ressources. Il est recommandé aux évaluateurs de classer leurs retours en fonction des critères définis, afin d’aider les éditeurs dans leur prise de décision. Cette approche structurée est essentielle pour améliorer l’efficacité et la performance du processus d’évaluation par les pairs chez tout éditeur adoptant le modèle basé sur MERIT.
Ces considérations représentent un changement significatif par rapport à la norme actuellement répandue en évaluation par les pairs, où les évaluateurs se contentent généralement d’énumérer les forces et les faiblesses en classant les problèmes en majeurs ou mineurs. Nous jugeons cette méthode conventionnelle trop simpliste et pas particulièrement efficace ni objective pour orienter le processus d’évaluation.
Il est d’autant plus remarquable qu’une approche aussi peu structurée, avec un minimum de directives, soit la norme pour un processus aux conséquences si importantes. Les résultats des évaluations par les pairs peuvent retarder les publications pendant des années, avoir un impact significatif sur les carrières et influencer les décisions relatives aux subventions et aux promotions.
Questions ouvertes pour les évaluateurs
» Interprétation des résultats : Comment aborderiez-vous une situation où vous pensez qu’un auteur a surestimé ses résultats ?
» Gestion des interprétations erronées : Comment guideriez-vous un auteur qui a mal interprété ses résultats, surtout lorsque vous avez un accès limité à ses données ?
» Évaluation de la suffisance des preuves : Dans les cas où les preuves sont insuffisantes, comment détermineriez-vous si le problème est dû à un manque de ressources ou à une lacune dans la méthodologie de recherche ?
» Pertinence méthodologique : Comment identifiez-vous et traitez-vous les problèmes lorsque la méthodologie ne correspond pas aux objectifs de l’étude ?
» Préoccupations éthiques : Quelles mesures prendriez-vous si vous suspectez des problèmes éthiques, tels que le plagiat ou la falsification de données, dans un manuscrit ?
Questions à choix multiples pour les évaluateurs
Gestion des exagérations :
A) Suggérer de tempérer les conclusions.
B) Recommander des expériences supplémentaires.
C) Rejeter purement et simplement le manuscrit.
D) Demander une réanalyse des données.
Gestion des interprétations erronées :
A) Conseiller sur des interprétations alternatives.
B) Suggérer des données supplémentaires à l’appui.
C) Recommander de consulter un expert.
D) Encourager une réécriture complète.
Évaluation de la suffisance des preuves :
A) Demander des expériences supplémentaires.
B) Suggérer des méthodologies différentes.
C) Prendre en compte les limitations en termes de ressources.
D) Recommander une collaboration pour accéder à de meilleures ressources.
Problèmes méthodologiques :
A) Insister sur la modification de la méthodologie.
B) Suggérer de supprimer certains résultats.
C) Conseiller une qualification supplémentaire des résultats.
D) Recommander de consulter un expert en méthodologie.
Exigences relatives aux résumés pour les auteurs
Auparavant, les résumés étaient limités à 250–400 mots ou à moins de 10 000 caractères. Après 2016, ces contraintes ont été levées, offrant ainsi davantage de flexibilité. Le résumé est crucial pour la visibilité ; il influence souvent la décision du lecteur de consulter l’article complet. Un résumé efficace doit présenter de manière concise le résultat principal, la méthode employée et ses implications. Il convient d’éviter des introductions ou des contextes trop étendus ; il faut plutôt se concentrer sur le manque de connaissances ou l’hypothèse de départ. Bien que certains auteurs préfèrent des résumés structurés avec des sous-titres, un flux logique de l’information reste essentiel.
Revue des résumés pour une publication basée sur MERIT
Un bon résumé doit respecter les critères énoncés et refléter fidèlement le contenu de l’article. Les évaluateurs doivent veiller à ce que les affirmations présentes dans le résumé soient étayées par les données de l’article principal. Les résultats surestimés ou sous-estimés doivent être signalés pour révision. L’objectif est de s’assurer que le résumé offre un aperçu véritable et concis des conclusions de l’étude et de leur importance.
Lors de l’évaluation des résumés, notamment pour des domaines spécifiques, il est important de reconnaître que différentes disciplines peuvent avoir des normes et des attentes variées. Les domaines techniques, tels que le génie ou l’informatique, peuvent accorder une plus grande importance à la méthodologie et aux résultats, tandis que les sciences humaines peuvent mettre l’accent sur les implications théoriques. Il est crucial que les évaluateurs soient familiarisés avec les standards et les attentes propres à chaque domaine afin de garantir une évaluation juste et efficace. De plus, la clarté et l’accessibilité pour un public plus large peuvent être déterminantes, en particulier pour les éditeurs disposant de plateformes multidisciplinaires.
Types de manuscrits pertinents pour une publication basée sur MERIT
Dans l’évaluation de ce qui constitue un article académique publiable, il est essentiel de reconnaître que nos perspectives ont évolué. Il faut considérer la substance de chaque manuscrit et évaluer sa contribution au domaine, que ce soit par le biais de découvertes révolutionnaires, de synthèses éclairantes des connaissances existantes, d’analyses critiques ou d’évaluations de la rigueur et de la reproductibilité des recherches. Cette évolution des critères reflète une compréhension plus large de ce que représente un travail académique de valeur.
» Découverte et innovation: Manuscrits présentant de nouvelles découvertes ou observations qui font progresser le domaine.
» Synthèse des connaissances : Articles compilant ou examinant les connaissances existantes de manière à offrir une synthèse éclairante.
» Análisis crítico: Envíos que presentan opiniones originales o críticas del trabajo de otros. » Rigueur et reproductibilité : Une attention croissante est accordée à l’évaluation de la rigueur et de la reproductibilité des recherches publiées précédemment, afin de répondre aux préoccupations liées à la réplication dans les études scientifiques.
» Articles méthodologiques : Axés sur le développement de nouvelles méthodes ou l’amélioration substantielle des méthodes existantes.
» Études de cas : Analyses détaillées d’un cas ou d’un petit nombre de cas, offrant des perspectives uniques.
» Articles de données : Axés sur des ensembles de données, fournissant des informations précieuses pour le domaine sans recourir à de nombreux tests d’hypothèses. » Rapports techniques : Fournissant des détails sur des recherches techniques ou scientifiques, souvent de nature préliminaire.
» Commentaires et perspectives : Offrant des points de vue ou des opinions personnelles sur des sujets de recherche, sans être nécessairement basés sur de nouvelles investigations.
Selon la catégorie, le corps du manuscrit doit présenter la recherche de manière cohérente et logique, en incluant les sections nécessaires telles que l’introduction, la méthodologie, les résultats, la discussion et la conclusion. Les auteurs sont encouragés à utiliser un format qui correspond le mieux à leur discipline et à leur style, et à inclure ou non des sous-titres pour les sections spécifiques, selon leurs préférences et les normes de leur domaine. La seule section obligatoire serait celle de la méthodologie, qui est plus efficacement évaluée comme une section distincte de l’introduction, des résultats et de la discussion.
En autorisant des soumissions dans n’importe quel format choisi, à condition qu’elles comprennent un résumé et un corps de manuscrit, l’édition basée sur MERIT embrasse la diversité de la pensée et de l’expression académique. Cette approche cherche à combler le fossé entre les normes traditionnelles de l’édition et la nature dynamique et interdisciplinaire de la recherche scientifique moderne.
Introduction ou contexte
L’introduction d’un manuscrit remplit une fonction essentielle en fournissant au lecteur le contexte indispensable à la recherche entreprise. Elle doit décrire succinctement ce qui est actuellement connu dans le domaine, identifier les lacunes existantes dans les connaissances, et préciser le problème spécifique que le manuscrit entend aborder. Un écueil fréquent consiste à inclure des informations excessives, plus adaptées à un article de synthèse, ou, à l’inverse, à omettre des éléments de contexte indispensables pour comprendre le manuscrit et interpréter ses résultats. Il est essentiel de citer correctement la littérature existante. Il est conseillé aux auteurs de référencer à la fois des articles de recherche originaux et des revues contemporaines sur le sujet, offrant ainsi aux lecteurs des ressources pour approfondir leurs connaissances.
Il est essentiel que l’introduction présente de façon explicite les objectifs de l’étude, ce qui peut se faire en formulant une hypothèse ou en indiquant les buts poursuivis. Bien qu’elle soit traditionnellement placée en premier, rédiger l’introduction après la section des résultats peut s’avérer bénéfique. Cette approche permet aux auteurs de s’assurer que tous les éléments pertinents sont inclus dans l’introduction, en se basant sur les résultats, et aide à éviter d’introduire des informations inappropriées ou excessives.
Ce conseil peut s’avérer très utile pour plusieurs raisons :
» Contenu ciblé : La rédaction de l’introduction après l’analyse des résultats permet aux auteurs d’adapter celle-ci aux conclusions effectives de leur étude. Cela garantit que l’introduction est directement pertinente par rapport aux éléments présentés par la suite.
» Clarté des objectifs : Connaître les résultats facilite la formulation des objectifs et des hypothèses de l’étude de manière à ce qu’ils s’alignent directement avec les découvertes, offrant ainsi un récit clair et cohérent.
» Éviter les informations non pertinentes : Cette approche aide à éliminer la mention de concepts ou de méthodologies qui, bien qu’envisagés initialement, n’ont pas été intégrés dans l’étude finale. L’introduction reste ainsi concise et axée sur ce qui est réellement discuté dans l’article.
» Meilleure fluidité et cohérence : Rédiger l’introduction en ayant une vision claire des résultats permet d’assurer une transition fluide entre ce qui est introduit et ce qui est développé par la suite, contribuant à maintenir une cohérence dans l’ensemble de l’article.
» Rédaction réflexive : Le processus d’analyse et d’interprétation des résultats peut conduire à une compréhension plus approfondie du sujet. Rédiger l’introduction après coup permet à l’auteur d’intégrer ces nouvelles perspectives, conduisant potentiellement à une introduction plus complète et perspicace.
Cette approche ne convient pas à tous les auteurs ni à tous les types de recherche. Certains préfèreront rédiger l’introduction en premier afin de définir clairement dès le départ leurs objectifs et questions de recherche. Cela dépend du mode de travail de l’auteur et de la nature de l’étude.
Résultats
La publication basée sur MERIT offre aux auteurs une flexibilité considérable dans la présentation de leurs résultats, permettant des sections avec ou sans sous-titres. Les auteurs peuvent choisir de discuter et d’interpréter leurs découvertes simultanément avec la présentation des données ou de consacrer une section distincte à la discussion. Par ailleurs, aucune restriction n’est imposée quant au nombre d’images, de figures ou de tableaux inclus. Cependant, l’édition basée sur MERIT doit décourager l’usage de figures, tableaux ou vidéos supplémentaires. La préférence est donnée à l’intégration de la majorité, voire de l’ensemble, des données dans le manuscrit principal. Des exceptions pourront être envisagées pour les liens vers des dépôts ou ensembles de données trop volumineux, lesquels pourront être placés dans une annexe supplémentaire. La tendance actuelle à inclure des éléments supplémentaires a souvent conduit à une présentation fragmentée des résultats et à l’inclusion de découvertes moins rigoureusement vérifiées.
Une innovation majeure dans l’évaluation par les pairs basée sur MERIT est la mise en place d’une « Feuille de Justification du Résultat Principal ». Cet outil vise à rationaliser le processus d’évaluation et à améliorer la transparence pour les lecteurs. Les auteurs doivent y formuler de manière succincte trois aspects cruciaux de leur étude :
» Identification du résultat principal : Indiquer clairement la découverte ou l’issue principale de la recherche.
» Évaluation de la nouveauté : Fournir une appréciation de l’originalité ou du caractère révolutionnaire de ce résultat dans le contexte de la littérature existante.
» Solidité des preuves : Décrire la robustesse des éléments qui soutiennent la conclusion, notamment en précisant la méthodologie employée et la qualité des données.
Pour faciliter cela, les auteurs sont priés de remplir le modèle suivant, qui aide les évaluateurs à apprécier le travail et fournit également aux lecteurs une compréhension claire des contributions essentielles de l’étude :
Feuille de Justification du Résultat Principal
Titre du manuscrit
Titre du manuscrit
Auteurs :
Noms des auteurs
1. Résultat principal de l’étude :
Décrivez clairement la découverte ou le résultat principal de la recherche.
2. Nouveauté du résultat :
Fournissez une évaluation de l’originalité et de l’innovation de ce résultat. Comparez-le aux recherches existantes et mettez en lumière les nouvelles contributions apportées.
3. Solidité des preuves :
Décrivez les méthodes, la qualité des données et les techniques analytiques utilisées pour étayer la conclusion. Abordez la fiabilité et la validité des résultats.
Commentaires supplémentaires :
Toute autre information pertinente que les auteurs souhaitent communiquer concernant la justification du résultat.
Ce format encourage les auteurs à être directs et précis quant aux contributions de leur travail et aux bases probantes qui sous-tendent leurs conclusions. Il constitue également une ressource précieuse pour les évaluateurs et les lecteurs, leur permettant de comprendre rapidement la signification et la fiabilité de la recherche présentée.
Le concept de « Feuille de Justification du Résultat Principal » dans le cadre de l’évaluation par les pairs basée sur MERIT présente plusieurs avantages notables :
» Clarté et focalisation : Il incite les auteurs à exprimer clairement les résultats essentiels de leur recherche. Cette focalisation sur le résultat principal aide à concentrer l’attention des auteurs et des lecteurs sur les aspects les plus significatifs de l’étude.
» Amélioration du processus d’évaluation : En fournissant des informations structurées sur le résultat principal, la nouveauté et la solidité des preuves, les évaluateurs peuvent apprécier plus efficacement la qualité et l’importance de la recherche. Cette approche structurée permet de rationaliser le processus d’évaluation et d’en améliorer l’efficacité globale.
» Transparence accrue : La mise à disposition de cette feuille aux lecteurs augmente la transparence, leur permettant de saisir rapidement les aspects fondamentaux de la recherche, de comprendre la perspective des auteurs quant à la nouveauté de leur travail et d’évaluer la robustesse des preuves présentées.
» Évaluation de la nouveauté : En demandant aux auteurs de discuter explicitement de la nouveauté de leurs résultats, ce format aide à mettre en lumière la contribution de la recherche au corpus existant de connaissances, ce qui est particulièrement utile dans des domaines où les avancées incrémentales sont courantes.
» Qualité des preuves : En exigeant que les auteurs décrivent la solidité de leurs preuves, cette approche favorise des méthodes scientifiques rigoureuses et une analyse approfondie des données, ce qui peut conduire à des soumissions de meilleure qualité.
» Découragement des exagérations : Ce format peut dissuader les auteurs de surestimer leurs résultats, puisqu’ils doivent justifier explicitement la robustesse de leurs preuves et la nouveauté de leurs découvertes.
En utilisant la Feuille de Justification du Résultat Principal, les auteurs peuvent se rendre compte que leur travail n’est pas encore suffisamment abouti pour être publié. Dans ce cas, nous encourageons à poursuivre le développement de l’étude avant de la soumettre. Cette étape est cruciale, particulièrement dans le cadre d’un débat académique continu sur ce qui constitue une contribution significative digne de publication.
Le concept du « publicon » représente la quantité minimale d’informations nécessaire pour faire progresser un domaine et justifier la publication dans une revue à comité de lecture.
Pour aider les auteurs à déterminer si leur travail est apte à être publié, et pour guider les évaluateurs dans l’appréciation de son mérite, l’évaluation par les pairs basée sur MERIT définit un publicon comme une production qui, au minimum, présente un résultat principal. Ce résultat ne doit pas seulement faire progresser un domaine académique, mais il doit également être soutenu par des preuves solides. Nous soulignons que le travail fragmentaire n’est pas encouragé dans une approche basée sur MERIT. Il est recommandé aux auteurs de soumettre des articles complets, qui peuvent comporter plusieurs résultats principaux, pour lesquels plusieurs Feuilles de Justification du Résultat Principal pourront être complétées selon les besoins. Cela dit, il peut s’avérer plus utile pour les évaluateurs que les auteurs identifient clairement le résultat principal parmi les nombreuses découvertes. Il est toutefois important de reconnaître que certains manuscrits révolutionnaires peuvent se concentrer sur un unique point, mais celui-ci doit être bien validé.
La Feuille de Justification du Résultat Principal est conçue pour aider les évaluateurs et les éditeurs dans leur processus de prise de décision. L’absence de cette feuille dans un manuscrit peut constituer un signal en faveur d’une révision ou d’un rejet. À l’inverse, si un manuscrit présente un résultat principal bien justifié, les évaluateurs et éditeurs doivent se demander pourquoi ils pourraient le retenir. On s’attend à ce que cette approche structurée suscite l’intérêt et le débat dans les cercles académiques.
La Feuille de Justification du Résultat Principal pourrait en effet jouer un rôle significatif dans la clarification et la définition de la paternité principale dans les publications académiques. En exigeant des auteurs qu’ils détaillent le résultat principal de leur étude, sa nouveauté et la solidité des preuves, cette feuille peut aider à délimiter les contributions de chaque auteur, en particulier celle de l’auteur ayant joué un rôle clé dans l’obtention du résultat principal. Cette approche pourrait renforcer la transparence dans l’attribution des crédits et garantir que les auteurs principaux reçoivent la reconnaissance appropriée pour leurs contributions centrales à la recherche. Cela pourrait être particulièrement bénéfique dans les études à auteurs multiples, où les contributions spécifiques de chaque collaborateur peuvent parfois être moins claires.
Il est essentiel de noter que l’édition basée sur MERIT doit soutenir et encourager activement l’inclusion d’une section dédiée aux « Résultats négatifs ou divergents » dans les articles. Ceci répond à un problème courant dans la recherche académique, où les publications présentent principalement des données positives ou des résultats qui confirment l’hypothèse initiale. Malgré les efforts continus pour remédier à ce biais, il demeure fréquent que les articles ne présentent que des données favorables, ce qui ne reflète pas l’expérience typique des chercheurs. La plupart des expériences produisent des résultats mixtes, fournissant souvent des données à la fois en faveur et en défaveur d’une hypothèse. Ce sont ces données non conformes, souvent omises dans les publications, qui peuvent parfois conduire à des découvertes révolutionnaires. L’édition basée sur MERIT préconise l’inclusion et la discussion de tels résultats nuancés dans les manuscrits. Cette approche offre non seulement des avantages éducatifs pour les chercheurs en formation, mais renforce également la rigueur académique en dissuadant la manipulation et la falsification des données.
Nous soulignons que les données n’ont pas besoin d’être impeccables pour être publiées ; l’objectif de l’édition basée sur MERIT est la qualité, non la perfection.
Questions ouvertes pour les auteurs
» Comment pensez-vous que la flexibilité offerte par la présentation des résultats, avec ou sans sous-titres, influencera votre manière d’organiser la présentation de vos résultats de recherche ? » De quelle manière pensez-vous que l’inclusion d’une section dédiée aux résultats négatifs ou divergents pourrait impacter la perception et l’accueil de la recherche dans les cercles académiques ?
» Selon vous, comment la Feuille de Justification du Résultat Principal contribuera-t-elle à améliorer la transparence et la qualité des recherches publiées ?
» Pouvez-vous discuter des avantages potentiels et des défis liés à l’intégration de l’ensemble des données dans le manuscrit principal, par opposition à l’utilisation de matériaux supplémentaires ?
Questions à choix multiples
Que préconise l’édition basée sur MERIT pour que les auteurs incluent dans leur section résultats ? A) Uniquement des résultats positifs
B) Un mélange de résultats positifs et négatifs
C) Uniquement des images et des tableaux
D) Uniquement des résultats négatifs
Comment l’édition basée sur MERIT envisage-t-elle l’utilisation de figures, tableaux ou vidéos supplémentaires ?
A) Fortement encouragée
B) Découragée mais autorisée
C) Obligatoire
D) Strictement interdite
Quel est le but de la Feuille de Justification du Résultat Principal ?
A) Exposer la méthodologie de recherche
B) Justifier le résultat principal, évaluer sa nouveauté et décrire la robustesse des preuves C) Fournir une biographie des auteurs
D) Résumer l’ensemble du manuscrit
Dans le contexte de l’édition basée sur MERIT, qu’est-ce qui définit un « publicon » ?
A) Un manuscrit présentant plusieurs résultats principaux
B) Tout article scientifique publié
C) Une œuvre qui présente au moins un résultat principal qui fait avancer le domaine
D) Une publication avec des données parfaites
Discussion ou Conclusions
Dans l’édition basée sur MERIT, les auteurs ont la flexibilité d’intégrer la discussion ou les conclusions à la section des résultats ou de créer une section distincte. L’objectif de cette partie est d’interpréter les résultats dans le contexte plus large des recherches existantes, en élaborant un récit cohérent ou contrasté. Les auteurs doivent principalement se concentrer sur l’interprétation des résultats principaux, tout en étant encouragés à explorer d’autres aspects de leur recherche. De plus, une section intitulée « limites de l’étude » est recommandée, afin que les auteurs puissent aborder les contraintes méthodologiques et proposer des améliorations potentielles. Les discussions doivent être pertinentes et ciblées, en se centrant sur les résultats — qu’ils soient positifs, négatifs, divergents ou convergents — sans s’égarer dans des détails superflus.
Les auteurs sont encouragés non seulement à interpréter leurs résultats, mais aussi à les situer dans le contexte des évolutions ou tendances plus larges du domaine. Cette contextualisation des résultats aide à comprendre la signification du travail.
Les auteurs peuvent comparer leurs résultats à ceux d’études similaires, discuter des écarts et en explorer les raisons possibles. Ils sont également invités à suggérer des pistes de recherche futures basées sur leurs constatations, ce qui peut être particulièrement utile pour les chercheurs en début de carrière
Méthodes
Dans la section Méthodes, l’édition basée sur MERIT préconise des descriptions détaillées en utilisant des sous-titres spécifiques pour chaque méthode, en mettant l’accent sur la reproductibilité. Les auteurs doivent se demander : « Y a-t-il suffisamment de détails pour qu’une autre personne puisse reproduire cette expérience ? »
Il est souvent utile de se rappeler que, en tant qu’auteur, vous pourriez être amené à vous référer à ces détails ultérieurement. Nous déconseillons de simplement faire référence aux méthodes par une citation accompagnée d’une note telle que « réalisée comme décrit dans… ». Cela est particulièrement important si la référence citée est derrière un mur payant, ce qui pourrait restreindre l’accès à des informations cruciales. Conformément aux nouvelles normes de rigueur et de reproductibilité, il est recommandé de spécifier les fournisseurs et les numéros de catalogue pour des produits spécifiques. Pour les études impliquant des sujets humains ou animaux, les approbations éthiques et les affiliations institutionnelles doivent être clairement indiquées. Nous déconseillons la séparation des méthodes principales et des méthodes supplémentaires ; toutes les méthodes pertinentes pour le manuscrit doivent être intégrées de manière exhaustive dans le texte principal.
Les auteurs sont encouragés à inclure les réglages ou paramètres spécifiques utilisés dans leurs expériences, ce qui peut être essentiel pour assurer la reproductibilité. Il est également crucial de détailler les méthodes d’analyse statistique, y compris le logiciel et la version utilisés, un aspect souvent négligé dans les sections de méthodes.
Pour les études impliquant des sujets humains ou animaux, au-delà de la simple mention des approbations institutionnelles, il est important d’inclure une brève description des considérations éthiques intégrées dans la conception de l’étude. Les auteurs doivent préciser si un consentement éclairé a été obtenu auprès des participants, ou, le cas échéant, fournir une justification pour son absence.
Enfin, les auteurs doivent inclure une déclaration de disponibilité des données, en intégrant une section dédiée à ce sujet, notamment pour les études générant de grands ensembles de données, afin de faciliter les pratiques d’open science.
Comment évaluer le contenu du corps des manuscrits pour une publication basée sur MERIT
Dans l’évaluation des manuscrits dans le cadre de l’approche basée sur MERIT, l’accent est mis sur les domaines clés suivants, que nous définissons comme les quatre piliers de l’évaluation par les pairs académique :
Cohérence: Les évaluateurs doivent vérifier si le manuscrit maintient une cohérence tout au long du document. Dans l’évaluation basée sur MERIT, nous considérons la cohérence en termes de complétude. La cohérence inclut également des aspects externes liés à la contextualisation appropriée de la nouveauté et de l’impact du travail dans le domaine. Cela comprend :
» Des méthodes détaillées et justifiées : Chaque résultat doit être accompagné de méthodes décrites de manière complète et justifiée.
» Des résultats alignés sur le manque de connaissances : Les résultats doivent répondre directement au problème identifié et être en cohérence avec l’objectif de la recherche. » Une interprétation exhaustive dans la discussion : La discussion doit interpréter de manière complète tous les résultats pertinents, en décrivant justement le manque de connaissances. » Une Feuille de Justification du Résultat Principal en accord complet : Cette feuille doit refléter fidèlement les données présentées dans le manuscrit.
» Une Feuille de Justification du Résultat Principal fidèle en termes de nouveauté : Elle doit représenter correctement la perception de la nouveauté du travail par rapport à ce qui est déjà connu dans le domaine.
» Une citation appropriée des travaux antérieurs : Les références doivent être actuelles, pertinentes, et issues de sources crédibles et traçables. Le manuscrit doit reconnaître correctement la recherche antérieure sans négliger des travaux essentiels.
Tout manque de cohérence, tel que des résultats issus de méthodes non expliquées, des interprétations manquantes, une discordance entre la Feuille de Justification du Résultat Principal et le contenu du manuscrit, ou l’absence de références fondamentales, doit être noté comme point de critique. Il est important de souligner que la cohérence ne signifie pas que toutes les données présentées doivent nécessairement soutenir l’hypothèse, comme nous l’avons expliqué précédemment.
Nouveauté: La nouveauté est définie comme la réalisation d’une avancée significative dans le domaine. Cela peut inclure de nouvelles découvertes, des méthodes nouvelles qui confirment ou remettent en question des résultats antérieurs issues de la synthèse des travaux existants. Les évaluateurs doivent :
» Évaluer le manuscrit selon une définition large de la nouveauté dans le domaine. » S’assurer de la classification correcte de l’article, en distinguant entre contributions originales et synthèses de type revue.
» Comparer le manuscrit au standard du « publicon » : il doit présenter au moins un résultat principal qui fait progresser significativement le domaine, soutenu par des preuves solides. » Vérifier que la Feuille de Justification du Résultat Principal est en accord avec le manuscrit.
Rigueur académique: La rigueur concerne la robustesse des preuves qui soutiennent les conclusions, ce qui est distinct de la nouveauté. Les évaluateurs doivent :
» Déterminer si les preuves présentées soutiennent de manière adéquate les conclusions, en particulier dans les articles présentant des affirmations importantes.
» Évaluer si les méthodes utilisées sont correctement et suffisamment adaptées à l’objectif recherché.
» Examiner l’utilisation appropriée des méthodes statistiques afin de garantir la rigueur et la reproductibilité.
» Prendre en compte le fait que les travaux étendus peuvent ne pas explorer en profondeur tous les aspects ou utiliser des méthodologies uniques pour des études d’envergure. Bien que cela puisse sembler superficiel, cela peut constituer un choix stylistique.
» Considérer que si au moins un résultat principal est solidement étayé, l’article peut satisfaire aux critères de publication basés sur MERIT.
Considérations éthiques : Garantir l’intégrité éthique de la recherche est d’une importance capitale dans l’évaluation par les pairs. Les considérations éthiques englobent divers aspects, notamment le traitement des participants à la recherche, l’intégrité des données, les conflits d’intérêts et le respect des normes éthiques dans la recherche et la rédaction des travaux. Il est essentiel d’évaluer si la recherche a été menée de manière éthique et moralement responsable. La liste de vérification suivante aidera à évaluer les aspects éthiques clés de la soumission de la recherche : » Vérifier si des sujets humains ont participé à la recherche.
» Confirmer si les normes éthiques approuvées par le Comité d’Examen Institutionnel (IRB) ont été suivies pour la recherche impliquant des sujets humains.
» Si des animaux ont été utilisés, confirmer le respect des normes éthiques approuvées par le Comité Institutionnel de Soins et d’Utilisation des Animaux (IACUC).
» Évaluer la disponibilité des données et des matériaux sources pour vérifier l’intégrité. » Si des indices de fabrication ou de falsification de données sont détectés, les signaler directement à l’éditeur.
» Vérifier si les auteurs ont déclaré d’éventuels conflits d’intérêts.
» Confirmer si les auteurs ont explicitement déclaré ne pas avoir de conflits d’intérêts. » Garantir que la recherche adhère aux normes éthiques non seulement dans sa réalisation mais aussi dans la présentation et le compte rendu des résultats.
Tableau 2. Grille d’évaluation pour l’évaluation par les pairs basée sur MERIT des manuscrits
| Critères | Description | Points d'évaluation |
|---|---|---|
| Cohérence | Alignement de l'introduction, des méthodes, des résultats et de la discussion. | Toutes les parties du manuscrit sont-elles logiquement connectées et complètes ? |
| Nouveauté | Contribution à l'avancement du domaine. | Le travail présente-t-il de nouvelles découvertes, méthodologies ou synthèses ? La classification est-elle adéquate ? Répond-il à la norme de « publicon » ? |
| Rigueur académique | Justification et solidité des preuves. | Les principaux résultats sont-ils étayés par des preuves solides ? La profondeur de l'analyse est-elle adéquate pour la portée de l'étude ? |
| Considérations éthiques | Recherche menée avec intégrité éthique. | La recherche a-t-elle été menée et présentée selon des normes éthiques appropriées pour le domaine ? |
Le travail présente-t-il de nouvelles découvertes, méthodologies ou synthèses ? La classification est-elle appropriée ? Répond-il au standard du « publicon » ?
Justification et robustesse des preuves
Le(s) résultat(s) principal(aux) est/sont il(s) soutenu(s) par des preuves solides ? La profondeur de l’analyse est-elle adaptée à l’ampleur de l’étude ?
La recherche a-t-elle été conduite et présentée conformément aux normes éthiques appropriées pour le domaine ?
Cette grille d’évaluation a été conçue pour guider les évaluateurs dans la réalisation d’analyses complètes et structurées des manuscrits. Cette approche met en avant quatre piliers fondamentaux de l’évaluation par les pairs :
» Normes éthiques : Avant tout, il convient de respecter les normes éthiques. L’édition académique applique une politique de tolérance zéro à l’égard des recherches compromettant l’intégrité éthique. Toute infraction à cet égard entraînera le rejet ou le retrait de la publication, comme l’exigent les conseils éditoriaux centraux.
» Rigueur académique : Ensuite, la rigueur académique de la recherche est primordiale. Nous privilégions les études qui démontrent une minutie méthodologique et qui contribuent de manière significative à leur domaine. Les manuscrits faisant preuve de négligence ou utilisant des méthodes ou des normes statistiques inappropriées sont susceptibles de devoir être révisés ou rejetés.
» Nouveauté : Nous attachons une grande importance à la production de nouvelles connaissances et perspectives, qui constituent un élément essentiel de la recherche académique. La nouveauté, entendue au sens large, peut englober des découvertes révolutionnaires, des avancées progressives, des synthèses ou des validations de théories existantes. L’objectif est de s’assurer que tant les contributions majeures que les apports plus spécialisés atteignent leur public cible.
» Cohérence : La cohérence, tant sur le fond que sur la forme, est cruciale pour l’intégrité de la recherche. Les articles doivent refléter avec précision leur portée et leur impact. Nous encourageons une représentation claire et honnête de l’étendue et des résultats de l’étude, qu’il s’agisse de percées majeures ou de contributions plus modestes.
Ce cours présente un guide sous forme d’arbre décisionnel destiné à aider les évaluateurs dans ce processus. En raison de l’absence de précédent pour un tel guide dans notre domaine, nous espérons qu’il suscitera des discussions approfondies et contribuera à un processus d’évaluation plus structuré et transparent. Ce guide débute par une évaluation des normes éthiques, suivie d’une analyse de la rigueur académique. Si ces critères sont remplis, la nouveauté du manuscrit est alors examinée au regard de sa cohérence. L’objectif de cet arbre décisionnel est d’améliorer l’équité et la clarté du processus d’évaluation, au bénéfice final de la communauté académique.
Aborder l’intégrité et les biais dans l’évaluation par les pairs
En reconnaissant le caractère crucial de l’intégrité et des biais dans l’évaluation par les pairs, l’auteur estime que ces sujets méritent des modules de formation dédiés. Néanmoins, nous proposons un aperçu initial dans ce cours général d’évaluation par les pairs pour plus de clarté et d’exhaustivité.
L’importance de l’intégrité dans l’évaluation par les pairs
L’intégrité est primordiale dans l’évaluation par les pairs, reposant sur la confiance que les auteurs placent dans l’éditeur et ses évaluateurs. Les auteurs investissent un effort et un temps considérables dans leurs recherches, en s’attendant à recevoir une évaluation honnête et de bonne foi. Toute perception d’une intégrité compromise peut engendrer une crise de confiance, comme le montrent les critiques formulées lors de discussions personnelles, de conférences scientifiques et dans des publications.
Principe directeur pour l’intégrité
Le principe directeur de l’intégrité dans l’évaluation par les pairs est la réciprocité : les évaluateurs doivent fournir le type de retours honnêtes et de bonne foi qu’ils attendraient eux-mêmes pour leurs soumissions.
Aspects clés de l’intégrité dans l’évaluation par les pairs
» Confidentialité : La confidentialité constitue une attente fondamentale. Les évaluateurs ne doivent pas partager ni utiliser les informations issues des manuscrits à des fins personnelles ou pour le bénéfice d’autrui. Cette approche est conforme au principe de bienfaisance, qui privilégie l’intérêt des auteurs. De plus, la confidentialité sert de garantie pour maintenir des normes académiques élevées et préserver la confiance du public.
» Évaluation par des experts : Les évaluateurs et les éditeurs doivent s’assurer de leur expertise avant d’accepter une mission d’évaluation. Si un manque de qualification est constaté, il est conseillé de se retirer et de proposer à l’éditeur des évaluateurs alternatifs. Cela permet de garantir que les manuscrits sont examinés par des experts du domaine.
» Équité et évaluation basée sur MERIT : L’équité est essentielle. Les évaluateurs doivent s’auto évaluer afin de déterminer leur capacité à fournir une évaluation impartiale, en tenant compte des conflits d’intérêts potentiels. Bien que des liens avec les auteurs ne nuisent pas forcément à l’équité, il est essentiel de prendre en compte consciencieusement les biais moins apparents tels que les préjugés ou la discrimination fondée sur le genre, l’orientation sexuelle, la religion, l’ethnicité ou le lieu d’origine. La plupart des éditeurs s’engagent désormais à lutter contre la sous-représentation dans le milieu académique et incitent les évaluateurs à juger les manuscrits uniquement sur la base de leur mérite.
» Qualité et rapidité : La qualité et la rapidité du processus d’évaluation par les pairs sont des éléments indispensables de son intégrité. Un processus d’évaluation de faible qualité ou trop long peut entraver le progrès académique, entraîner un gaspillage de ressources et désavantager injustement les auteurs. Il est donc crucial que les évaluations soient à la fois efficaces et de haute qualité pour favoriser l’avancement de la communauté académique.
» Diversité et inclusion : Aborder les biais est fondamental, mais il est tout aussi important de promouvoir la diversité et l’inclusion dans le processus d’évaluation par les pairs. Par exemple, il convient de considérer l’équité dans un contexte où la majorité des recherches académiques en provenance de pays en développement serait évaluée principalement par des individus issus de pays riches et développés. Il est essentiel de constituer un groupe d’évaluateurs diversifié, couvrant différentes régions géographiques, genres, origines ethniques et parcours académiques. Une telle approche permet d’obtenir une évaluation plus équilibrée et complète, tout en assurant une pertinence locale et une compréhension contextuelle des travaux.
» Transparence dans le processus d’évaluation : Les évaluateurs doivent également pouvoir s’attendre à une transparence totale du processus d’évaluation et être informés à chaque étape de l’évolution de leur soumission. Cela inclut la clarification sur le type d’évaluation employé (double aveugle, simple aveugle ou ouverte) et l’impact de ces modalités sur la perception et la gestion des biais ainsi que sur l’intégrité globale du processus.
» Formation et soutien des évaluateurs : Peut-on raisonnablement attendre autant des évaluateurs et des éditeurs sans leur offrir une formation adéquate ? Il est essentiel de mettre en avant la formation et le soutien dont disposent les évaluateurs, notamment pour identifier et gérer leurs biais. Cela comprend la mise à disposition de ressources et de directives par les éditeurs, afin d’aider les évaluateurs à réaliser des évaluations justes et approfondies.

Comment rédiger un manuscrit pour une publication basée sur MERIT
Bien que les revues et plateformes puissent autoriser une flexibilité quant à la forme de soumission d’un manuscrit, il est plus efficace de fournir des directives concernant le contenu, conformément aux catégories traditionnelles que l’on retrouve dans les manuscrits. Les directives suivantes peuvent s’avérer utiles pour l’évaluation par les pairs dans le cadre du modèle MERIT ainsi que pour l’évaluation par les pairs standard.