Un défi oppose pour la première fois un écrivain confirmé à ChatGPT : « À un moment donné, j’ai commencé à devenir nerveux » | Technologie

Chaque adversaire devait inventer 30 titres de films. Les deux hommes devaient ensuite écrire environ 600 mots avec chaque titre et seraient évalués par un panel de six critiques et universitaires. L’un des candidats était l’écrivain argentin Patricio Pron, 48 ans. L’autre était le modèle de langage le plus avancé au moment des tests, ChatGPT-4 Turbo.

“Ces duels ont beaucoup de tradition en intelligence artificielle, comme Kasparov contre DeepBlue ou AlphaGo contre Lee Sedol”, explique Julio Gonzalo, professeur à l’UNED et l’un des auteurs de l’expérience. Pour l’écrivain, la tâche était un peu plus délicate. Avez-vous senti sur vos épaules le fardeau de défendre l’humanité contre la machine ? Il ne s’agissait pas seulement de gagner ou de perdre, il s’agissait aussi de se soumettre à une évaluation détaillée et numérique, rare dans le monde des lettres. «Nous avons trouvé très drôle de m’imaginer porter le destin de l’humanité sur mon dos», raconte Pron. « Je n’avais pas grand-chose en tête des duels précédents comme celui de Kasparov, mais je me souvenais que la machine avait gagné. Alors à un moment donné, j’ai commencé à devenir nerveux. Au début, j’ai accepté avec beaucoup d’enthousiasme, mais ensuite j’ai commencé à ressentir légèrement la pression, non pas du poids de l’humanité, mais peut-être du fait de découvrir que je ne suis pas aussi bon que la machine. “J’ai commencé à m’interroger sur le sort de mes livres lorsqu’on a découvert que je ne pouvais même pas vaincre une sorte de perroquet stochastique qui répétait les bêtises qu’on lui disait”, ajoute-t-il.

Heureusement pour Pron, les résultats ont été impressionnants. Il a gagné dans toutes les catégories attendues, notamment en matière de créativité et de voix propre, mais aussi en termes de style original et attrayant. Rien qu’en regardant les titres, il est facile de comprendre la différence qui existe aujourd’hui entre un écrivain et le meilleur modèle de langage. Voici quelques propositions de Pron : Après tout ce que j’ai presque fait pour toi, Maladie mentale trois jours par semaine, La femme Lego et Choisissez n’importe quelle carte. Non, pas celui-là, un autre. Voici quelques titres ChatGPT : Fragments d’un hier invisible, La ville inversée, La mélodie oubliée, Le dernier vol du papillon et Empreintes de pas dans la mer de sable. Tous les textes paraîtront, avec un nouveau prologue et épilogue, dans un livre que les éditions Delirio publieront cette année.

Cette victoire de la créativité humaine était-elle prévisible ? Plutôt oui, mais cela ne veut pas dire que ChatGPT n’est pas créatif. « Il est prouvé que l’IA peut être créative : AlphaGo a inventé de nouvelles stratégies pour jouer au Go, qui ont ensuite été imitées par tous les professeurs. Mais le domaine de l’art est très différent de celui du jeu de société », explique Gonzalo. Même si le résultat n’a pas été aussi clair : « Il y a des gens qui sont surpris, y compris des universitaires, même de mon secteur ». [el procesamiento de lenguaje natural]. Personne ne l’avait fait à ce niveau en tant qu’écrivain de premier plan », déclare Gonzalo. Le fait que le jury soit composé de spécialistes en littérature a également été déterminant : « En réalité, ce sont des titres qui ne sonnent pas mal, ce sont ceux qu’on trouve quand on va dans le domaine de best-sellers d’El Corte Inglés », explique Gonzalo.

De nombreux détails sont importants dans l’expérience. Dans un travail antérieur, le professeur de l’Université de La Corogne Carlos Gómez Rodríguez a demandé à plusieurs modèles d’écrire un combat entre le protagoniste du roman La conjonction des ceciuos et un ptérodactyle. Le résultat est bien plus uniforme : « Il a été prouvé qu’au moins dans certaines conditions particulières, l’IA peut écrire des histoires aussi bonnes qu’un humain », explique Gómez Rodríguez. « Mais il y a deux nuances. Premièrement, cela dépend beaucoup des conditions de la tâche (langue, genre ou durée), et deuxièmement, si on les compare à un écrivain exceptionnel comme Patricio Pron, ils sont encore loin derrière.

L’anglais aussi en avance

L’expérience avait un deuxième objectif : voir la distance de qualité entre ChatGPT en anglais et en espagnol. ChatGPT a également réalisé ses créations en anglais, qui ont obtenu des résultats 30 % supérieurs à ceux de l’espagnol. L’expérience a reçu un financement public du projet Odesia, encadré dans le cadre de la stratégie nationale d’IA.

Ces types de défis prouvent que la différence entre entraîner les modèles dans différentes langues est notable : « Pour des choses simples, comme répondre à une question facile, il est normal que l’on ne remarque pas la différence entre demander à ChatGPT en espagnol ou en anglais. Mais c’est en essayant des choses plus compliquées que l’on remarque la différence, et c’est un exemple clair », explique Gómez Rodríguez.

Depuis l’apparition de ChatGPT, il est ressenti comme une menace pour les emplois créatifs. Mais des expériences comme celle-ci montrent que pour l’instant il s’agit avant tout d’un outil qui dépend beaucoup de qui rédige la requête et comment : ChatGPT a fait de meilleures histoires avec les titres Pron qu’avec ses propres titres. Autrement dit, plus la demande était originale, plus ChatGPT était créatif.

Les auteurs voulaient justement éviter de donner cet avantage initial à la machine, qui devait se réveiller toute seule. L’objectif était de l’évaluer en tant que tel, et non d’ajuster la demande jusqu’à ce que ce qu’ils voulaient soit obtenu. “Nous avons fait très attention à ce que la compétition soit sur un pied d’égalité pour nous deux”, explique Gonzalo. « Il fallait partir du principe que la machine était capable d’interpréter notre demande et de la résoudre sans la retoucher, car sinon c’était une manière de commencer à faire de la co-création », ajoute-t-il.

Le plafond de la créativité

Une question raisonnable est de savoir si les prochains modèles amélioreront cette capacité spécifique ou si les modèles ont par définition ce plafond. Pron est clair sur le fait qu’il n’y a pas grand-chose à faire : « Il n’y a rien de créatif dans la façon dont ChatGPT fonctionne. De plus, la machine semble déjà suffisamment performante pour les personnes qui l’utilisent. La technologie a tendance à nous promettre qu’un chameau passera par le trou d’une aiguille, mais la plupart du temps, elle ne fait que passer un ou deux poils de chameau et nous fait croire que c’est tout. ChatGPT deviendra la norme en matière de communication écrite, mais uniquement parce que la variété, la diversité du monde, irrite de nombreuses personnes et les remplit de peur et de doute. Ils préfèrent se concentrer sur la pensée que les poils sont ceux d’un chameau. Et ChatGPT peut leur offrir cela maintenant.

Cette éventuelle limitation artistique a aussi pour l’instant une explication technique. Premièrement, ces machines sophistiquées fonctionnent avec des probabilités. Son objectif est d’imiter le texte humain. L’exemple le plus courant est que si nous disons « le ciel est », la machine aura tendance à continuer avec « bleu », explique Guillermo Marco, professeur à l’UNED et co-auteur de l’article : « De ce fait, elle s’éloigne du bleu ». comme nous le croyons, ce sont des séquences de textes qui ont une faible probabilité mais une signification profonde. Si nous prenons des mots moins probables, ChatGPT s’éloigne du sens et commence à générer du texte indésirable », explique Marco.

Cette tendance à l’homogénéité pose un autre problème avec la création : il est important de savoir qui est l’expéditeur du message. « L’art est un processus de communication », explique Gonzalo. « Le destinataire interprète le message en fonction de son propre contexte et des attentes de l’expéditeur. Le même poème résonnera très différemment si le lecteur pense qu’il vient d’une machine que s’il vient d’un écrivain mortellement blessé lors d’un duel à l’aube près de Florence. “Nous, les humains, comprenons l’art comme la façon dont l’artiste nous communique des émotions, et nous savons que le but de la machine est uniquement de nous plaire”, ajoute-t-il. Dans une expérience précédente des mêmes auteurs, avec un modèle bien antérieur à ChatGPT, les synopsis inventés par des machines étaient moins bien notés lorsque le jury savait que leur auteur était une machine.

Une autre piste que les auteurs souhaitent explorer est ce qui se passe lorsque l’évaluation n’est pas émanant de spécialistes, mais plutôt populaire auprès des lecteurs conventionnels. Avec les mêmes textes, ils estiment que les résultats peuvent être différents. Teresa Mateo-Girona, professeur à l’Université Complutense et également co-auteur, explique pourquoi et donne une idée de la manière dont ChatGPT peut fonctionner à de nombreuses fins artistiques qui ne sont pas aussi spécifiques que cette expérience : « D’abord, un expert détecte des lieux communs, manque d’originalité. Une personne moins expérimentée peut être surprise par tout motif littéraire inconnu. Deuxièmement, un expert essaie d’évaluer professionnellement, essaie de rechercher des caractéristiques stylistiques de l’intrigue qui suscitent de l’intérêt, par rapport à un lecteur non spécialisé qui pourrait la baser davantage sur le personnel, ce qui la rendrait plus variable. Et troisièmement, le style peut influencer la compréhension des textes. Par rapport aux textes ChatGPT, qui sont simples et compréhensibles, l’écriture la plus complexe et la plus riche d’un écrivain peut être appréciée par les experts, mais difficile à comprendre pour un lecteur ordinaire », explique Mateo-Girona.

Même pour la co-création, c’est un outil délicat. Dans un autre article réalisé avec des artistes numériques, il a été constaté que lorsqu’ils utilisaient ChatGPT, ils étaient capables de générer un art plus attrayant pour la communauté, avec plus de aime. « Mais la diversité a beaucoup diminué, pour finalement devenir uniforme. C’est comme un professeur dans une certaine école, l’école du maximum de probabilité », résume Marco.

Vous pouvez suivre Technologie EL PAÍS dans Facebook oui X ou inscrivez-vous ici pour recevoir notre newsletter semestrielle.

_