Quels arguments en faveur d'un recours accru et plus judicieux à l'IA dans la production et l'évaluation de la recherche ?

Le comité éditorial d’Organization Science, une revue scientifique internationale de premier plan, a récemment publié une analyse sur la manière dont l’IA générative est en train de transformer le processus de publication académique (1). S’appuyant sur près de 7 000 manuscrits et plus de 10 000 rapports d’évaluation par les pairs, leurs conclusions mettent en évidence un système d’évaluation qui se dirige tout droit vers une crise majeure : augmentation du nombre de soumissions, baisse de la qualité rédactionnelle et tendance à privilégier la quantité plutôt que la qualité dans la recherche.

Jana Thiel, Professeure associée à l'EDHEC Business School, tout en partageant les préoccupations du comité et ses principales conclusions, estime que certaines des données mises à disposition méritent une analyse plus approfondie. Dans cet article, elle propose trois interprétations alternatives : sur ce que les données révèlent réellement concernant le désavantage des chercheurs non natifs en anglais, sur la zone intermédiaire ambiguë de l'utilisation de l'IA, et sur le rôle que l'IA joue déjà dans le processus d'évaluation lui-même. Elle propose ensuite trois réponses concrètes : un co-rédacteur en chef IA "formé" par la revue pour fournir aux auteurs des commentaires ciblés ; un modèle de soumission sur invitation utilisant une présélection par IA pour réduire les biais culturels et linguistiques ; et un "partenaire IA" pour les évaluateurs, afin de libérer du temps humain pour les évaluations qui comptent le plus.

En résumé, l'approche défendue est que l'IA n'est pas la source de tous les problèmes, mais qu'elle fait partie de la solution. Utilisée à bon escient, elle pourrait contribuer à mettre fin à des exclusions de longue date et à accélérer la publication de connaissances véritablement novatrices.

Récemment, j'ai eu le malheur d'être l'évaluatrice chargée d'examiner un article en grande partie généré par l'IA et qui, de surcroît, reprenait sans autorisation des travaux antérieurs. Consacrer du temps à cette tâche était non seulement exaspérant, mais aussi démoralisant. Un tel article n'aurait tout simplement pas dû m'être transmis.

Les éditeurs et les évaluateurs de toutes les revues sont submergés par les soumissions d'articles. Une publication récente du comité de rédaction d'Organization Science illustre cette dynamique à l'aide de chiffres impressionnants (1). Ils ont analysé cinq années de soumissions d'articles et de rapports d'évaluation par les pairs (près de 7 000 manuscrits et plus de 10 000 évaluations). À l'aide de Pangram, l'un des principaux outils de détection de textes générés par l'IA, ils ont suivi la manière dont l'IA générative a modifié le processus de publication de la revue depuis que ChatGPT est entré dans notre quotidien fin 2022.

Voici ce qu'ils ont mis en lumière :

• Le nombre de soumissions a augmenté de 42 % depuis 2022, une hausse presque entièrement due à la rédaction assistée par l'IA.
• Les textes rédigés avec l'aide de l'IA obtiennent de moins bons résultats selon l'indice de lisibilité de Flesch.
• Les contenus rédigés en grande partie par l'IA (score IA > 30 %) sont rejetés d'emblée à des taux nettement plus élevés.
• Les rapports des évaluateurs sont également de plus en plus assistés par l'IA, ce qui se traduit par une lisibilité moindre et un champ d'analyse plus restreint. Les évaluations générées par l'IA ont tendance à privilégier la théorie plutôt que les données empiriques.
• Les établissements qui encouragent fortement la publication enregistrent l'augmentation la plus marquée des soumissions fortement assistées par l'IA.

Sur cette base, l'équipe éditoriale a conclu que l'IA encourageait une augmentation du volume des recherches plutôt qu'une amélioration de leur qualité. Le volume actuel est insoutenable pour le système de révision par les pairs bénévole. Elle recommande aux établissements de privilégier la qualité plutôt que la quantité, et aux revues de se doter de meilleurs outils de sélection, par exemple en instaurant des frais de soumission.

Une perspective inquiétante. Je comprends l'exaspération des éditeurs et des relecteurs. Je partage pleinement leurs inquiétudes face à l'afflux d'articles contenant une part importante de travaux de mauvaise qualité, réalisés à l'aide de l'IA, qui alourdissent le système d'évaluation.

Cependant, le système a toujours fonctionné à la limite de ses capacités (2). L'IA n'est qu'un catalyseur. À cet égard, j'aurais aimé que les rédacteurs examinent certaines de leurs impressionnantes données sous un angle légèrement différent. Je voudrais ici proposer quelques interprétations alternatives

Première relecture : l'analyse centrée sur les non natifs (anglais)

Dans leur analyse, les rédacteurs ont créé la variable « Auteurs dont l’anglais n’est pas la langue maternelle » et ont constaté qu’elle permettait de prédire un rejet en première lecture, indépendamment du score attribué par l’IA. Il s’agit là d’une conclusion majeure ! Les rédacteurs reconnaissent que cela pourrait s’expliquer par « la pertinence du sujet, le cadre théorique, les méthodes, les différences de style rédactionnel, entre autres », mais ils n’approfondissent pas cette dimension. Je pense que cette conclusion mérite d’être examinée de plus près, en particulier dans le contexte de la qualité rédactionnelle générée par l’IA.

Choisir les bons indicateurs

L'indicateur clé utilisé pour évaluer le style rédactionnel — l'indice de lisibilité de Flesch — reflète les préférences anglo-américaines en matière de lisibilité : phrases courtes, structures argumentatives linéaires, mots courants et voix active. Il ne s'agit pas d'un indicateur de la profondeur de l'argumentation, de la sophistication théorique ou de la précision conceptuelle (3).

• Un chercheur formé à la tradition philosophique allemande, ou à l’art de l’argumentation des grandes écoles françaises, produira systématiquement des textes qui obtiennent de mauvais résultats au test de Flesch, mais qui sont peut-être tout à fait brillants sur le fond.
• La facilité de lecture n'est pas un indicateur permettant d'évaluer la contribution intellectuelle. C'est un indicateur qui permet de prédire avec quelle facilité une contribution intellectuelle sera accueillie et jusqu'où elle pourra se propager auprès d'un public ayant des préférences de lecture anglo-américaines.
• Ce qui est étonnant, c'est que les éditeurs prouvent involontairement ce point : l'analyse révèle que les textes rédigés par l'IA obtiennent de meilleurs scores en matière de précision et de moins bons en matière de formulation évasive et de voix passive – autant de résultats tout à fait souhaitables dans une certaine mesure. Pourtant, ils obtiennent également un score plus faible selon l'indice de Flesch.

Pour affirmer que tous ces manuscrits supplémentaires rédigés à l'aide de l'IA sont d'une qualité nettement inférieure, il faudrait analyser non seulement l'indice de lisibilité de Flesch, mais aussi les contributions intellectuelles qu'ils apportent.

Le terme « écriture » peut être un euphémisme pour désigner autre chose

De nombreux auteurs non natifs sont habitués à recevoir des critiques de la part des relecteurs. C'est curieux. Beaucoup d'entre nous n'ont peut-être pas réellement de problème d'écriture au sens strict du terme, c'est-à-dire ne sachant pas construire des arguments ou rédiger dans un anglais correct. Au contraire, nous avions – et continuons d'avoir – un problème de reproduction culturelle (4).

Les auteurs non natifs peuvent produire de nouvelles connaissances en s'appuyant sur des schémas de pensée qui structurent les arguments complexes différemment du registre privilégié par la communauté. Le recours à l'IA pour traduire ensuite cette réflexion en prose anglaise risque de ne pas être utile si le résultat ne correspond pas au registre académique anglo-américain, qui est lui-même un artefact culturel, et non une norme de qualité universelle (5).

Dans cette optique, il convient de faire preuve de prudence dans nos jugements. En tant que locuteur non natif, le recours à l'IA peut constituer une stratégie rationnelle pour faire face aux critiques incessantes dont fait l'objet notre écriture. Il se peut simplement que nous utilisions mal les outils de correction basés sur l'IA. L'analyse devrait permettre de distinguer cette situation d'une simple substitution par une IA de mauvaise qualité.

Deuxième relecture : la fourchette de 30 à 70 % concernant l'utilisation de l'IA

Le tableau 1 de l'article des éditeurs d'Organization Science est révélateur. Ils classent les articles en quatre catégories d'utilisation de l'IA : 0-15 %, 15-30 %, 30-70 % et plus de 70 %. Environ 1 200 articles (soit environ 25 % de l'échantillon postérieur à 2022) relèvent des deux dernières catégories. Les éditeurs affirme qu'au-delà du seuil de 30 %, les auteurs accordent à l'IA un contrôle considérablement plus important, s'éloignant de plus en plus d'un travail dirigé par l'humain.

L'information retenue par les éditeurs

Au-delà de 30 % d'utilisation de l'IA, les taux de rejet commencent à augmenter. L'utilisation de l'IA semble réduire considérablement les taux de R&R, déjà faibles (11 à 13 %) pour les articles ne recourant pas ou peu à l'IA, les ramenant à 3 à 5 % lorsque l'utilisation de l'IA est plus importante.
 

Il convient d'examiner de manière plus approfondie tant les seuils que les résultats qui y sont associés :

• Il est possible de conserver la paternité intellectuelle principale d’un article même si la part de rédaction par IA dépasse le seuil des 30 %. Quiconque a sérieusement utilisé ces outils de pointe comme aide à la rédaction, et non comme substitut à sa propre réflexion, le comprend.
• Ce n’est pas parce qu’un texte est en grande partie rédigé par une IA que ses arguments ne sont pas le fruit d’une réflexion humaine. L’hypothèse selon laquelle, au-delà de la barre des 30 %, on commence à renoncer à la paternité intellectuelle manque de fondement clair. Cela peut être vrai, mais cela peut aussi simplement signifier que l’auteur a laissé l’éditeur IA rédiger le texte.

L'augmentation du taux de rejet pourrait être liée à la rédaction assistée par l'IA, mais n'en est pas nécessairement la cause.

Celle qui aurait pu faire la une

Il semble y avoir autre chose à l'œuvre lorsque l'on examine l'augmentation des taux de rejet dans la fourchette de 30 à 70 %. Cette conclusion, qui aurait pu être mis en une dans le papier, est reléguée dans la note de bas de page n° 8. Lorsqu'on compare les textes d'un même auteur soumis avec des scores d'IA élevés et ceux soumis avec des scores d'IA faibles, l'effet de l'utilisation de l'IA sur les taux de rejet disparaît complètement.

Cela signifie que l'impact de l'IA sur le rejet dépend entièrement de ceux qui y ont largement recours, et non de l'utilisation de l'IA en soi. Si l'utilisation de l'IA n'est pas en soi le problème, alors les recommandations visant à réduire cette utilisation risquent de ne pas s'attaquer à la cause principale du problème.

Les 30 - 70 % : un vaste échantillon encore peu exploré en matière d'utilisation de l'IA

En substance, cette fourchette de 30 à 70 % semble assez confuse, avec beaucoup de choses qui s’y passent. C’est une fourchette extrêmement large qu’il aurait été très intéressant d’explorer plus en profondeur :

• La « fracture nette » décrite pourrait en partie résulter de la manière dont les éditeurs ont choisi de tracer la ligne de démarcation. Elle n’est pas établie de manière empirique au sens strict du terme.
• Je suppose que dans la fourchette 30-70 %, il y aura un nombre non négligeable d’articles issus d’une véritable production. En particulier, les locuteurs non natifs pourraient se tourner vers l’IA pour traduire plus rapidement en anglais des raisonnements complexes qu’ils ne le faisaient auparavant sans recourir à l’IA.
• Pour une partie de ces articles, les principes de fonctionnement des outils d'IA actuels peuvent expliquer le manque de qualité rédactionnelle perçu. Nos nouveaux amis s'adaptent bien à leurs principaux « propriétaires ». Ils écrivent simplement dans un style qui correspond au profil cognitif de leurs utilisateurs (6). Cela peut sembler trop dense et complexe pour l'universitaire formé à l'indice de Flesch, tandis que l'utilisateur non natif considère qu'il s'agit d'un anglais parfaitement correct. Et c'est le cas, mais d'une manière dense.

Ainsi, le taux de R&R plus faible dans cette catégorie pourrait, dans une certaine mesure, dépendre du profil de l'auteur et de sa manière d'exprimer de nouvelles idées, plutôt que du recours à l'IA en soi, ce qui nous ramène à notre point de départ. Cela mériterait une analyse approfondie, que les éditeurs ne fournissent pas.

Troisième relecture : l'analyse des critiques

La norme actuelle en matière d'évaluation consiste à ne pas recourir à l'IA. Concrètement, cela signifie que, bien que de nombreux auteurs utilisent l'IA pour rédiger leurs manuscrits, le réviseur est censé s'appuyer uniquement sur son jugement humain pour les évaluer. J'ai du mal à saisir la pertinence dans le temps de cette approche.

Établir une symétrie entre la production et la révision

Si les auteurs ont déjà confié leur travail intellectuel à des systèmes d'IA, un évaluateur qui refuse l'aide de l'IA ne préserve pas nécessairement un processus purement humain. Au contraire, cet évaluateur fait appel à un jugement humain épuisé pour évaluer quelque chose que l'auteur n'a peut-être pas traité avec la même approche.

Si les revues exigeaient le consentement des auteurs pour une évaluation assistée par l'IA — consentement que la plupart des auteurs accorderaient probablement, compte tenu de leurs propres habitudes d'utilisation —, on créerait un environnement d'évaluation plus symétrique, et non moins rigoureux.

Les arguments en faveur d'un coéditeur basé sur l'IA

L'une des principales objections à l'évaluation par l'IA réside dans l'absence de l'expertise approfondie du domaine nécessaire à une bonne évaluation par les pairs. Peut-être. Mais la preuve du contraire vient de l'article lui-même : le fait que plus de 30 % des évaluations publiées dans Organization Science bénéficient désormais d'une aide de l'IA mérite d'être davantage mis en avant. Nous devons partir du principe que les évaluateurs approuvent délibérément ces évaluations, en conservant le plein pouvoir de décision finale et en jugeant leurs évaluations adéquates.

De même, il convient de souligner la conclusion de l'équipe éditoriale selon laquelle les évaluations rédigées par l'IA n'ont aucun effet significatif sur les décisions de rejet. Les rédacteurs en chef interprètent cela avec bienveillance : ils affirment qu'ils compensent par leur propre jugement. Mais cela signifie tout de même que les évaluations assistées par l'IA ne faussent pas systématiquement les résultats.

À mon sens, cela constitue un argument modéré en faveur de l'évaluation par IA structurée : si une évaluation par IA non contrôlée et opaque est déjà neutre dans ses effets, un système d'évaluation par IA délibéré, transparent et formé par les revues pourrait s'avérer nettement plus efficace. Car le véritable scénario contrefactuel n'est pas « l'évaluation par IA contre l'évaluation par des experts humains », mais « l'IA contre des humains fatigués, surchargés et contraints de travailler dans l'urgence ».

Pour résumer mes arguments précédents : il existe une proportion d’auteurs non natifs qui écrivent avec des scores Flesch faibles et selon des conventions argumentatives différentes. Ils peuvent néanmoins proposer des idées nouvelles et intéressantes. Ces textes atterrissent sur le bureau d’un évaluateur qui, statistiquement, est susceptible d’appartenir à une institution anglophone ou d’être imprégné d’un registre stylistique spécifique. Il y a fort à parier que cet évaluateur en est déjà à son quatrième manuscrit de la semaine. Le biais à l'œuvre ici n'est pas malveillant — il est cognitif et culturel : une prose dense est synonyme de sérieux intellectuel dans certaines traditions ; d'une mauvaise écriture dans d'autres (7).

Un co-éditeur basé sur l'IA, spécialement formé sur le corpus des articles publiés par la revue et sur les orientations stratégiques de l'équipe éditoriale, pourrait être chargé de distinguer le registre stylistique de la substance intellectuelle. Cela constituerait une approche véritablement novatrice. Il pourrait signaler par exemple : « La contribution est originale et l'analyse empirique est solide, mais l'argumentation est structurée d'une manière qui sera peu familière au lectorat de cette revue », ce qui serait bien plus utile à l'auteur et au rédacteur en chef qu'un refus fondé sur la facilité de lecture.

Une mise en garde

Bien sûr, le contenu intellectuel n’est pas toujours dissociable de la qualité rédactionnelle. Parfois, l’incapacité à s’exprimer clairement reflète effectivement un véritable manque de clarté dans la pensée. L’argument des éditeurs selon lequel « écrire, c’est penser » aborde précisément cette question.

Un évaluateur IA formé à la revue scientifique devrait être capable de distinguer une « pensée complexe exprimée dans une prose inhabituelle » d’une « pensée vague dissimulée derrière une prose IA verbeuse ». Ces deux cas peuvent sembler similaires à première vue. Mais cela plaide en faveur d’une architecture d’évaluation IA plus sophistiquée, et non contre l’évaluation IA en principe. En réalité, ce problème semble plus difficile à résoudre pour un évaluateur humain épuisé que pour un système spécifiquement formé à distinguer ces signaux.

Recadrer le débat

La question soulevée par les éditeurs d’Organization Science est réelle et sérieuse : notre système de production de connaissances est mis à rude épreuve. Nous avons bel et bien besoin de nouvelles idées pour restructurer nos processus à l’ère de l’IA. L’ancien système ne sera pas en mesure d’accueillir une communauté universitaire en pleine expansion. L’Academy of Management prévoit de passer de 21 000 membres actuellement à 30 000 d’ici 2030 (8). Bon nombre de ces nouveaux membres souhaiteront participer au processus de publication, indépendamment des systèmes d’incitation de leurs établissements.

À cette fin, les éditeurs se montrent quelque peu prudent, suggérant la détection par l’IA comme aide au triage, et l’introduction éventuelle de frais de soumission pour canaliser le trafic entrant à court terme. Je crains que cela ne fasse que reproduire le goulot d’étranglement culturel qui a toujours déterminé ce qui est considéré comme une connaissance publiable.

Je crois qu’en tant que communauté scientifique, nous pouvons faire preuve de plus d’audace en réimaginant ce qui serait possible si nous nous concentrions sur l’IA et l’utilisions de manière stratégique pour aider à atténuer les exclusions systématiques - des chercheurs non natifs, de la pensée hétérodoxe et des chercheurs en dehors du réseau institutionnel central.

Permettez-moi d'esquisser ici quelques pistes de réflexion concernant un entonnoir de conversion davantage assisté par l'IA :

• Pourquoi ne pas former un co-éditeur IA spécifiquement au style de la revue, ainsi qu’aux goûts et aux stratégies éditoriales ? Si chaque revue pouvait disposer de son propre système IA, un tel co-éditeur constituerait un soutien considérable pour l’équipe éditoriale. Il pourrait expliquer aux auteurs, avec patience, clarté et une grande précision, en quoi leurs manuscrits ne répondent pas aux exigences intellectuelles et aux attentes de qualité. Je ne verrais pas d'inconvénient à disposer d'un certain budget « symbolique » pour avoir une conversation plus approfondie avec cet outil au sujet de ma soumission. Même en cas de rejet, cela pourrait m'aider à mieux comprendre et à apprendre.
• Pourquoi ne pas demander aux auteurs de pré-enregistrer leurs articles et/ou de passer un entretien avec le co-éditeur IA ? Cela pourrait aider les rédacteurs humains à décider si, en principe, le travail correspond à la stratégie de la revue, puis à lancer une invitation à soumettre l’article complet (10). L’utilisation d’un modèle d’invitation pourrait alléger la charge culturelle du processus d’évaluation. Aujourd’hui, certaines évaluations peuvent donner l’impression que l’article est une insulte personnelle à l’évaluateur. Un modèle d’articles sur invitation pourrait modifier les présupposés et changer la manière dont les évaluateurs abordent les manuscrits, en particulier ceux d’auteurs non natifs.
• Que diriez-vous de mettre le co-éditeur IA à la disposition du réviseur humain en tant que partenaire de discussion ? Il pourrait apporter son aide sur des questions formelles et de théorie si le réviseur avait besoin d’un soutien. Cela permettrait de libérer des ressources humaines pour examiner attentivement les méthodes, l’intégrité de l’article et les subtilités que l’IA ne peut pas saisir. Il m’arrive parfois de recevoir des demandes de révision pour lesquelles je ne serais pas contre avoir un interlocuteur qui aurait préparé un article cité à mon intention afin que je puisse l’examiner avant de rendre mon jugement.

En résumé, je pense que l'IA, lorsqu'elle est correctement mise en œuvre, constitue un outil prometteur pour remédier aux goulots d'étranglement du processus d'évaluation. En utilisant l'IA de manière plus judicieuse, nous pourrions en effet être mieux armés pour surmonter les obstacles actuels et, enfin, accélérer non seulement la production, mais aussi la publication de résultats intéressants, novateurs et utiles. En ce sens, vous l'aurez compris, je me positionne pour une utilisation accrue mais plus judicieuse de l'IA.

References

(1) Gartenberg, C., Hasan, S., Murray, A., & Pierce, L. (2026). More Versus Better: Artificial Intelligence, Incentives, and the Emerging Crisis in Peer Review. Organization Science - https://doi.org/10.1287/orsc.2026.ed.v37.n3

(2) Bottlenecks of the peer review process, including reviewer overload and fatigue, have long been examined and critically discussed as a structural problem, e.g.: Lindebaum, D. & Jordan, P.J. (2023). Publishing more than reviewing? Organization, 30(2), 396–406 - https://doi.org/10.1177/13505084211051047

Squazzoni, F., Bravo, G. & Takács, K. (2013). Does incentive provision increase the quality of peer review? Research Policy, 42(1), 287–294 - https://doi.org/10.1016/j.respol.2012.04.014

(3) In this seminal paper, Kaplan (1966) describes different cultural writing conventions and the impact on paragraph and argument structuring: Kaplan, R.B. (1966). Cultural Thought Patterns in Intercultural Education. Language Learning, 16: 1–20 - https://doi.org/10.1111/j.1467-1770.1966.tb00804.x

(4) Management scholarship has long been aware of the cultural dominance of English language publishing: Boussebaa, M. & Tienari, J. (2021). Englishization and the politics of knowledge production. Journal of Management Inquiry - https://doi.org/10.1177/1056492619835314

Tietze, S. & Dick, P. (2013). The victorious English language: hegemonic practices in the management academy. Journal of Management Inquiry, 22(1), 122–134 - https://doi.org/10.1177/1056492612444316

(5) Jammulamadaka, N. & Dick, P. (2026). Decolonizing academic publishing. Human Relations, 79(4), 411–434 - https://doi.org/10.1177/00187267261433753

(6) For evidence how the writing complexity of LLM output adapts to the perceived knowledge level of a user (communication complexity about a domain), see: Thakkar, J. et al. (2024). Evaluating the adaptability of large language models for knowledge-aware question and answering. International Journal on Smart Sensing and Intelligent Systems, 17(1) - https://doi.org/10.2478/ijssis-2024-0021

(7) Pudelko & Tenzer (2019) demonstrate that language barriers, not competence gaps, constrain non-native scholars’ careers: Pudelko, M. & Tenzer, H. (2019). Boundaryless Careers or Career Boundaries? The Impact of Language Barriers on Academic Careers in International Business Schools. Academy of Management Learning & Education, 18(2), 213–240 - https://doi.org/10.5465/amle.2017.0236

(8) The growth outlook is stated as part of the Vision 2030 - https://www.aom.org/about-aom/history/

(9) Using AI detection as triage comes with its own complexity. Current research (Liang et al, 2023; 2025) indicates that non-native writers are more likely to be flagged as a false positive for AI-based writing: Liang, W. et al. (2023). GPT detectors are biased against non-native English writers. Patterns - https://doi.org/10.1016/j.patter.2023.100779, Liang, W. et al. (2025). Quantifying large language model usage in scientific papers. Nature Human Behaviour, 9, 2599–2609 - https://doi.org/10.1038/s41562-025-02273-8

(10) Using an editorial pre-approval as upstream triage is currently in use, for example, at Management and Organization Review; their processes may serve to translate into a more broadly re-imagined funnel for other management journals as well - https://www.cambridge.org/core/journals/management-and-organization-review/information/author-instructions/submitting-your-materials