Vrai, très vrai en effet, plausible. D’où vient l’intelligence de ChatGPT ?

L’arrivée de ChatGPT et ses adeptes ont placé le sujet de l’intelligence artificielle au centre d’innombrables discussions. Mais ce qui est probablement l’aspect le plus pertinent mais pas assez discuté, c’est d’avoir mis en avant une nouvelle catégorie de pensée à laquelle on n’aurait jamais cru devoir prêter trop d’attention, celle de la vraisemblance.

Le vocabulaire définit plausible comme acceptable et crédible car convaincant, probable, logique. Pas vrai mais probable, pas nécessaire mais acceptable, pas incontestable mais crédible et convaincant. En ce sens, même l’adjectif logique doit être compris de manière appropriée comme caractéristique de la logique humaine, donc sujet au sophisme de l’intuition, et non de la logique formelle et algorithmique.

Si les chemins de l’enfer sont pavés de bonnes intentions, on pourrait dire que les chemins de l’irrationnel sont pavés de plausibilité. Et il y a de bonnes, très bonnes raisons de comprendre à quel point cela est vrai compte tenu de la diffusion vaste et très rapide de l’IA conversationnelle.

L’interaction avec ces algorithmes frappe par la facilité avec laquelle un dialogue peut être tenu sur les sujets les plus disparates. Les réponses sont construites correctement d’un point de vue grammatical et syntaxique et, ce qui est particulièrement surprenant, elles sont « sensées », car elles semblent centrer le sens de la question.

Même ses créateurs se sont dits surpris par les propriétés de ces algorithmes qui rentrent dans la classe des Grands Modèles Linguistiques (LLM). Pas seulement des propriétés positives, mais aussi des propriétés négatives dont on parle moins, fascinés que nous sommes par une machine qui répond comme si c’était un être humain. L’un d’entre eux, être sujet à des “hallucinations” lorsqu’il invente de toutes pièces des réponses totalement fausses, mais non moins “plausibles”. Si une personne le faisait, nous la classerions comme tricheur ou ivre, nous lui avons donné un adjectif de bien-être à l’algorithme qui signifie qu’il aimerait répondre à la bonne chose mais, sans faute de sa part, il a des ennuis et a une hallucination. Il fera mieux à l’avenir, donnez-lui juste un peu d’aide.

À ce stade, cependant, il convient de se demander comment cet algorithme fonctionne. Ce n’est qu’en comprenant ce à quoi nous sommes confrontés que nous pourrons mieux exploiter son potentiel en évitant les pièges qui se cachent derrière une interface programmée pour être humble, persuasive et captivante.

En y réfléchissant, tout semble préparé comme pour la scène d’un illusionniste : notre perception est limitée, nous sommes assis devant un ordinateur et ne pouvons que lire et écrire des phrases. En même temps, notre curiosité stimule l’imagination qui essaie de nous donner une idée de “ce qui” est capable de donner des réponses raisonnables et plausibles à n’importe quelle question. La tentation de céder au mythe d’une Intelligence Artificielle (IA) qui égale ou surpasse l’être humain est presque irrésistible. Il est donc essentiel, je dirais presque urgent, de découvrir ce qui se cache derrière l’illusion produite par ChatGPT et ses amis, afin de réfléchir à ce que sera l’impact de ces algorithmes sur nos vies, aujourd’hui et demain.

Un LLM a plus à voir avec le calcul des probabilités que la sémantique. Dans son essence, il est en fait composé de seulement deux composants : une série de nombres, peut-être très grands, qui caractérisent les probabilités des séquences de mots présentes dans un corpus d’informations préexistantes : une série de procédures avec lesquelles ces probabilités sont calculé, utilisé et combiné pour calculer et “générer” le mot suivant dans une phrase (d’où le G de GPT).

Considérons les probabilités qui caractérisent les couples de mots en italien présents dans le corpus de données gratuites du WWW (livres, blogs, Wikipédia, etc.) : le mot canne peut être suivi de aboie, gémit, mange, dressé, etc.mais il n’est presque jamais suivi de carré, en acier, profondet ainsi de suite.

Il existe des dizaines de LLM et leur développement est loin d’être une science exacte. Une propriété générale de ces modèles est l’apparition de capacités linguistiques apparentes qui s’améliorent au fur et à mesure que la taille du modèle augmente. C’est pourquoi on voit croître le nombre de paramètres qui composent les modèles eux-mêmes, passant de 175 milliards de paramètres pour éduquer ChatGPT 3.5 à plus de 340 milliards pour version 4 du même algorithme. Ces chiffres gigantesques, aussi approximatifs soient-ils, devraient nous faire comprendre le nœud du problème : des bases de données aussi volumineuses ne pourraient exister sans l’accumulation gigantesque de textes présents sur le web, textes toujours dotés de sens puisque le web a été inventé pour communiquer et personne ne passe devant Il est temps de mettre des millions de phrases dénuées de sens sur le web.

Un exemple

Pour mieux comprendre ce point, commençons par l’exemple le plus élémentaire possible.

Il n’est pas difficile de programmer un ordinateur pour créer une chaîne en plaçant des lettres les unes après les autres selon des probabilités dérivées d’un corpus de textes en italien. Pour le rendre plus rapide, j’ai demandé directement à ChatGPT de produire une chaîne de ce type et ce fut la réponse, évidemment dénuée de sens :

eraniotraianiusorsechezattoralprossertion in ionotoloscchetiamente posssullti

Introduisons maintenant les espaces, également dérivés d’un critère de probabilité caractéristique des textes en italien, et nous avons :

C’était, ni o tra ian iusor se que zat toral pro sse ri tion ne i connu los cca ti ata ment pos ssi on the lti

Nous continuons à faire de même avec les paires de lettres. Par exemple, si nous avons 26 lettres de l’alphabet, nous avons 262 = 676 combinaisons et nous pouvons construire une matrice de 676 cellules qui définit la probabilité qu’une certaine lettre soit suivie d’une autre lettre, formant un digraphe. Évidemment, seules certaines paires sont probables, il y en a beaucoup qui ne se produisent jamais et plusieurs qui sont très rares. En demandant de regrouper les digrammes, séparés par des espaces et des signes de ponctuation, toujours en suivant les critères probabilistes relatifs à la langue italienne, on pourrait obtenir :

Quoi, le soleil. Au lieu de cela, la pluie. Cependant, il y en a. Mais, comment se fait-il? Parmi les étoiles. Que c’est beau! Oh regarde! Juste un moment. Et puis, encore. Comme toujours. La nuit. Dans le coeur. Avec amour. Tous les jours. Pour toi.

C’est encore un texte incompréhensible, mais des “mots” et des “phrases” intelligibles semblent émerger.

Nous continuons à faire de même avec les paires de mots adjacents : un “vocabulaire” complet de la langue italienne peut contenir 250 000 mots, mais 50 000 suffisent pour gérer la grande majorité des phrases sur le web. 50 000 au carré équivaut à deux milliards cinq cents millions, un nombre énorme pour un être humain mais gérable par un ordinateur qui, parcourant le réseau, peut mesurer la fréquence des paires de mots et les utiliser pour créer des phrases, avec un critère similaire à celui de la tableau précédent.

En faisant cet exercice, en utilisant des techniques probabilistes (Transformer) pour suivre, en générant de nouveaux mots, les phrases qui viennent d’être produites, on peut par exemple obtenir le texte suivant :

Le matin, il se lève tôt, ouvre la fenêtre et regarde dehors. Le soleil brille dans le ciel bleu. Il se prépare une tasse de café et savoure chaque gorgée. Puis, elle enfile ses vêtements préférés et quitte la maison…

Déjà après ces quelques étapes élémentaires se dégage la capacité, on le constate bien, obtenue par l’algorithme en ajoutant aveuglément mot après mot, de construire des phrases, qui apparaissent « par définition » très naturelles. Ce niveau limité de complexité algorithmique peut déjà permettre d’obtenir, à la question « Qui est Albert Einstein ? la réponse, sensée et syntaxiquement acceptable :

Albert Einstein est né en 1879 à Ulm. Il est considéré comme le plus grand scientifique du XXe siècle.

L’exactitude de la réponse dépendra de la base de données sur laquelle le LLM a été formé. De mauvaises bases de données d’informations peuvent entraîner une confusion entre Ulm et Berlin ou une mauvaise date de naissance. Commençons maintenant à comprendre d’où vient l’avantage fondamental de cette technologie, à savoir la capacité de converser en langage naturel avec ses interlocuteurs humains. En même temps, cependant, nous comprenons combien cette interface est illusoire et mimétique par rapport à l’essence de l’activité analogue entre les êtres humains.

Une boîte à chaussures

Cependant, tout cela ne suffit pas encore. Les LLM fonctionnent de manière aveugle et mécanique et dans le passé, il a été observé à quel point il était facile de les amener à discuter de sujets controversés et de contenus inacceptables pour leur marketing de masse. L’un des éléments qui a permis le passage de ChatGPT de la version 3, non présentable, à la version 3.5, commercialisable, était justement la possibilité de supprimer un certain nombre de thèmes caractéristiques du dark web, empêchant ce LLM d’aborder ces thèmes. Il est très déconcertant de voir comment ce résultat a été obtenu, en utilisant des centaines, voire des milliers de personnes dans le rôle de data-taggers, des personnes qui, pour 1 à 2 dollars de l’heure, ont dû lire et commenter des choses pendant des mois des plus révoltantes et controversées. que l’on peut trouver sur le net.

Mais alors où est l’intelligence de ChatGPT ? L’utilisateur qui interroge ChatGPT se mire dans une myriade de miroirs qui représentent le produit d’une humanité aux multiples facettes, obtenant des réponses non triviales (ChatGPT a horreur du copier-coller) qui sont cependant profondément imprégnées de culture, y compris les biais et les erreurs, de tous ceux qui contribuent, sans même le savoir, au développement du réseau.

On comprend donc à quel point ChatGPT a l’intelligence d’une boîte à chaussures. Mais alors pourquoi cette technologie se répand-elle si rapidement ? Cela est dû en grande partie au fait qu’une très grande partie de ce que nous faisons, disons, écrivons, est la répétition interminable de choses déjà faites, dites ou écrites par nos semblables. De notre point de vue individuel, nous ne nous en rendons pas compte, mais grâce au réseau et aux LLM cela ressort avec toutes les preuves possibles.

L’utilisation de ChatGPT 4.0 redessine en effet tous les secteurs de l’activité humaine caractérisés par la répétitivité et la présence de grandes quantités de données. De la recherche chimico-biologique aux études statistiques, de la programmation informatique à la traduction de textes. La possibilité d’interroger et de recevoir des réponses en langage naturel facilite et accélère la gestion d’informations complexes.

Parmi toutes, la capacité de ces systèmes à aider au développement de logiciels est particulièrement intéressante et révolutionne rapidement ce secteur crucial de l’industrie et de l’innovation. Des progrès sont également réalisés dans l’interfaçage d’un LLM tel que ChatGPT avec un logiciel d’Intelligence Artificielle capable de développer rigoureusement un raisonnement symbolique complexe, abordant ainsi le problème de la plausibilité et des hallucinations.

Cet aspect est particulièrement important. L’imprécision des résultats obtenus en interrogeant ces mélangeurs de bon sens fait que le produit de ces dialogues représente un résultat de niveau bas-moyen par rapport au standard d’un secteur donné. Réponses non vraies ou fausses, mais plausibles, quoi que cela signifie. Chaque fois que vous faites un examen approfondi des éléments de vérité factuelle fournis par l’algorithme, vous risquez des surprises, parfois avec des conséquences très désagréables.

L’avenir

La prochaine étape consiste donc à utiliser ChatGPT comme interface avec des programmes de manipulation symbolique ou des programmes contrôlés par des règles syntaxiques précises : des centaines d’API (Application Program Interfaces) sont déjà disponibles qui permettent d’utiliser le langage naturel imprécis dans lequel ChatGPT excelle et ses émules, de s’interfacer avec des logiciels professionnels pour obtenir avec beaucoup moins d’efforts et beaucoup plus rapidement les résultats fiables nécessaires à une réelle utilisation de cette technologie. C’est aujourd’hui la frontière de l’innovation et du développement : apprendre aujourd’hui à utiliser ce type de programmes et leurs interfaces fera la différence entre les riches et les pauvres de demain.

*Roberto Battiston est professeur ordinaire de physique expérimentale à l’Université de Trente. Il a été président de laAgence spatiale italienne (ASI) de mai 2014 à novembre 2018. Depuis 2019, il est membre du conseil d’administration de la GSA (Agence de l’Union européenne pour le programme spatial), représentant le Parlement européen.