« Biais », « Compagnon », « Hallucinations » : 3 exemples pour comprendre le poids des mots de et autour de l'IA
Cette conversation entre Arnaud Billion et Bjorn Fasterling (EDHEC) est issue d’un échange qui s’est tenu lors de la Summer School organisée début septembre par l’EDHEC Augmented Law Institute. Objectif : bousculer les participants dans leur rapport aux mots face à la vague de l’intelligence artificielle.
Pourquoi le choix des mots compte-t-il autant quand on parle avec et de l'intelligence artificielle ?
Björn Fasterling : Les mots comptent. Ils façonnent notre manière de comprendre ce qu’ils sont censés représenter. Certains des anthropomorphismes appliqués à l’IA (1) fonctionnent comme des raccourcis mentaux. Ils nous aident parfois à saisir des questions complexes, mais ils peuvent aussi nous induire sérieusement en erreur.
Plus généralement, le langage influence la manière dont nous posons les problèmes. Mais avant de chercher une solution ou une réponse, encore faut-il s’entendre sur la question. Soyons honnêtes : sommes-nous vraiment capables de comprendre la réalité de la technologie assez clairement pour y parvenir ? Surtout lorsque les mots que nous utilisons tendent parfois à obscurcir cette réalité plutôt qu’à nous aider à la comprendre ?
Quand on affirme que l'IA est « biaisée », que dit-on vraiment, et qu'est-ce que ce mot nous empêche de voir ?
Arnaud Billion : Certains mots couramment usités dans le champ de l'intelligence artificielle influencent les décisions stratégiques, et aussi soulignent les erreurs et faiblesses des imaginaires dans lesquels ils s'inscrivent.
Par exemple, on affirme souvent que l'IA est biaisée (quant à ses données, ou ses algorithmes (2)) pour se demander comment la corriger ou au moins contrôler les conséquences néfastes de ces limites. Par exemple, à cause des données d'entraînement, on sait que le choix de CV par IA disqualifie fortement des populations statistiquement sous-représentées, telles que les femmes (3) ou les seniors (4). Une IA utilisée par les ressources humaines d’une organisation serait alors « discriminatoire by design ».
Pourtant cette notion de biais est trompeuse, voire perverse. En effet, pour soutenir qu'une méthode est biaisée, il faut bien savoir par rapport à quoi. Il faut un référentiel de ce qui n'est pas biaisé. Or quelle serait la méthode de sélection automatique des candidatures, quelle serait la méthode normale ou neutre ? N'est-ce pas plutôt l'idée-même de l'automatisme, qui introduit un biais ? Ou l'idée-même de tri, ou de sélection ou de choix de CV ?
Björn Fasterling : Je suis d’accord avec Arnaud sur le point que dans un contexte technique, « biais » ne désigne qu’une propriété formelle évaluée par rapport à une référence donnée. De même, « discrimination » peut simplement exprimer qu’on distingue différents éléments. C’est quelque chose que tout système numérique de décision fait, puisqu’il classe, sélectionne ou traite différemment des situations selon certains critères.
Arnaud Billion : Or si tout choix est discriminatoire, alors il faudrait se résoudre à tirer au sort les CV, tâche dont l'IA s'acquitterait d'ailleurs fort bien. Ceci pour dire que la notion de biais est assez inutile, puisqu'elle incite à chercher une réponse "normale". Pourtant, dans beaucoup de domaines, cette normalité est en fait conventionnelle et arbitraire, pas scientifiquement fondée.
Björn Fasterling : Pour revenir sur « biais » et « discrimination », ces deux termes sont aussi couramment employés dans un sens normatif. Le principe moral de non-discrimination exige que toute personne soit traitée avec le même dignité et le même respect (5). Il interdit tout traitement différencié injustifié lié à des caractéristiques protégées telles que la couleur de peau, le genre, la religion, l’âge...
Dans ce sens normatif, un « biais discriminatoire » constitue un écart par rapport à cette norme morale. La confusion apparaît lorsque ces différentes significations de « biais » se mélangent. Un biais technique sera pris pour une injustice. Une discrimination abusive sera réduite à un défaut technique. Eh bien, tout finit alors par devenir un « biais », ce qui permet de poursuivre la discussion sans plus très bien savoir de quoi l’on parle…
Arnaud Billion : Au fond, nous sommes en droit de nous interroger : cette notion de "biais de l'IA" n’a-t-elle pas surtout servi d'argument pour développer et vendre de nouveaux logiciels (d'IA) de lutte contre les biais ? De nombreuses solutions à un problème mal compris en somme.
Que se cache-t-il derrière l'idée d'un « compagnon d'IA » ?
Arnaud Billion : Quelle sécurité de sentir avec soi un compagnon d'IA, entité très puissante et très savante, comme le Méphisto du Dr Faust, qui va m'aider dans mes démarches administratives, l'organisation de ma vie, mon business, ou simplement m'accompagner dans ma vie amicale et affective !
Malheureusement le compagnon d'IA, l'assistant d'IA, ou l'agent d'IA ne sont que des mirages, pire : des simulacres. Il suffit de se souvenir que "IA" n'est qu'un logiciel, même moins qu'un logiciel : un bout de code correspondant à de la procédure électronique (6).
"IA" c'est le nom que nous donnons à une fiction qui cache des chaînes de valeur orchestrées par des géants du numérique qui, in fine, cherchent à générer des profits auprès des particuliers ou des entreprises. Le problème de postuler et croire à un compagnon d'IA, c'est de partir du principe qu'une entité dans l'ordinateur va m'obéir et défendre mes intérêts. Or nous n'avons aucune raison crédible de le supposer et nous devrions nous interroger sur la série de malentendus qui nous a menés à cette croyance.
Björn Fasterling : Ce « compagnon » ne ressemble donc pas vraiment à quelqu’un avec qui l’on partagerait son pain. Peut-être ressemble-t-il plutôt à un cathéter introduit dans notre cerveau. Derrière ce compagnon, ce point d’accès apparemment unique (7), se cache tout une infrastructure distribuée, faite de machines, de programmes, d’autorisations et d’arrangements institutionnels. Par ce cathéter, l’infrastructure prélève des informations dans notre environnement et elle y injecte des contenus pour déclencher nos actions. Pourtant, comme par magie, toute cette multiplicité disparaît derrière l’illusion d’un assistant unique, qui se tient à vos côtés et partage avec vous le fardeau de l’existence.
Arnaud Billion : Au-delà, toutes ces images anthropomorphiques (apprentissage, hallucination, mémoire, attention etc.) sont particulièrement trompeuses et manifestent une croyance irrationnelle et persistante, croyance provoquée par une communication puissante, voire une propagande, face à laquelle beaucoup sont très crédules, et sur quoi il serait bon de s'interroger.
Peut-on vraiment dire que l'IA « hallucine », et que révèle cette expression sur notre propre rapport à la machine ?
Arnaud Billion : Lorsque nous obtenons une réponse de l’IA qui nous paraît manifestement erronée, ou qui ne nous satisfait pas, nous parlons volontiers d'hallucination de l'IA (8). Un peu comme si l'IA s'était trompée, s'était laissée berner par une apparence trompeuse et nous informait par erreur. Or techniquement, aucune erreur, aucun bug n'est présent au moment de la prétendue « hallucination » : le calcul se déroule au contraire parfaitement.
Björn Fasterling : Halluciner, c’est faire l’expérience de quelque chose qui n’est pas là. Mais, rien ne permet de penser qu’une IA fasse l’expérience de quoi que ce soit. C’est en quelque sorte, une hallucination au carré. Nous hallucinons une IA en train d’halluciner.
Arnaud Billion : Que se passe-t-il alors ? C'est justement que nous cessons d'halluciner une machine-à-répondre-la-vérité ; nous avons une chance de nous rappeler que le résultat de la suite logicielle nommée "IA", sera simplement une réponse calculée en fonction de nombreux impératifs (9) (réutilisant potentiellement mon profilage, mes prédictions d'achat, maximisant mon engagement, exécutant du ciblage publicitaire en temps réel, cherchant à influencer mon prochain vote etc.)
Surtout, un prompt, ce n'est jamais qu'une commande informatique faite pour déclencher des calculs extrêmement sophistiqués, mais dont il y a peu de raison de penser qu'ils seront opportuns (10). En tout cas l'on se trouve très loin de l'expérience informatique courante, la recherche dans une base de données configurée pour donner la réponse attendue.
Björn Fasterling : Tu parles du prompt : voilà enfin un mot honnête, qui dit presque exactement ce qui se passe. Au théâtre, celui que nous appelons en français le souffleur s’appelle en anglais « the prompter ». Il souffle ses répliques à l’acteur, mais il ne joue pas la pièce. Avec l’IA générative, c’est désormais l’humain qui fournit le « prompt ». Autrement dit, il souffle sa réplique à l’immense infrastructure informatique et c’est elle qui monte sur scène !
Références
(1) https://pubmed.ncbi.nlm.nih.gov/17907867/
(2) https://dl.acm.org/doi/10.1145/3457607
(3) https://onlinelibrary.wiley.com/doi/10.1111/1748-8583.12511
(4) https://pmc.ncbi.nlm.nih.gov/articles/PMC5554369/
(5) https://www.un.org/fr/about-us/universal-declaration-of-human-rights
(7) https://technologymagazine.com/news/openais-super-app-and-the-next-wave-of-ai-native-shopping
(8) https://dl.acm.org/doi/10.1145/3703155
(9) https://www.hbs.edu/faculty/Pages/item.aspx?num=56791
(10) https://dl.acm.org/doi/10.1145/3544548.3581388
