Emily M. Bender : OpenAI et le « battage médiatique infondé »

Emily M. Bender est professeur de linguistique à l’Université de Washington à Seattle. Elle travaille depuis de nombreuses années sur l’intelligence artificielle et les modèles linguistiques. Elle s’est surtout fait connaître comme une éthicienne controversée de l’IA. Dans une interview avec MIT Technology Review, elle évalue les récents essais et tribulations d’OpenAI et de son (re-)PDG Sam Altman – et plaide pour un meilleur travail scientifique.

Publicité

MIT Technology Review : Mme Bender, nous avons connu des jours étranges pour OpenAI, sans doute l’entreprise d’IA la plus surveillée au monde à l’heure actuelle. Le PDG Sam Altman a été licencié pour des raisons qui restent largement inconnues avant de faire un retour triomphal. Quel est votre sentiment à ce sujet ?

Emily M. Bender : Honnêtement, cela me semble être une combinaison d’immaturité et de recherche d’attention. Une entreprise bien gérée n’aurait pas connu une telle dépression nerveuse. Dans le même temps, les événements ont alimenté une toute nouvelle vague de battage médiatique sur l’IA.

De nombreux observateurs pensent qu’OpenAI pourrait jouer un rôle clé pour l’avenir de notre société collective. Comment un tel chaos peut-il survenir ?

Tout d’abord, je doute qu’OpenAI prenne cette position. L’entreprise prétend développer une intelligence générale artificielle (AGI) sécurisée « pour le bénéfice de toute l’humanité », tout en nous avertissant qu’une telle AGI pourrait nous tuer tous. C’est un battage médiatique infondé.

Cela ne veut pas dire qu’il n’y a pas de quoi s’inquiéter. Par exemple, je m’inquiète des personnes qui développent des applications basées sur ce que j’appellerais des moteurs d’expression de texte synthétique et les vendent ensuite en remplacement d’importantes fonctions sociales, qu’il s’agisse d’éducation, de soins de santé, de journalisme, de psychothérapie ou de services juridiques. Ces systèmes reproduisent les préjugés de nombreuses manières et pourraient être utilisés pour consolider davantage la discrimination.

Je suis préoccupé par la normalisation du vol de données brutes pour générer les quantités massives d’informations nécessaires à la formation des systèmes OpenAI. Les pratiques de travail liées au nettoyage des résultats de l’IA après la formation sont exploitantes. La création de ces systèmes entraîne de graves impacts environnementaux dans les domaines de l’énergie, de l’eau ou de l’exploitation minière des terres rares. Et les médias synthétiques polluent notre écosystème informationnel. Compte tenu de la façon dont OpenAI s’est comporté jusqu’à présent sur toutes ces questions, je ne vois aucune raison de croire que le chaos récent ne fera qu’aggraver la situation.

Le conseil d’administration d’OpenAI, qui a initialement licencié Altman, l’aurait fait parce qu’il avait sous-estimé les dangers de l’IA. Pensez-vous que c’était le cas ?

Je n’ai aucune information à ce sujet au-delà de ce qui a été rapporté dans la presse. Cependant, je voudrais vous rappeler que ces doomers de l’IA font également partie du battage médiatique de l’IA : l’idée selon laquelle les machines qui produisent du texte synthétique sont les précurseurs d’une IA qui est sur le point de développer la conscience et de détruire l’humanité est un non-sens non scientifique. . Cela suggère que le logiciel est extrêmement puissant et même magique. Car si une telle IA peut conquérir le monde, ce doit être quelque chose d’assez étonnant.

Vous n’êtes donc pas vous-même un condamné pour l’IA, mais vous pensez que l’IA pourrait mettre notre société en danger d’autres manières – notamment pour des raisons sociales. Les Doomers ne pourraient-ils pas aider à mettre fin à ces scénarios ?

Je ne vois pas la faction AI Doomer prendre des mesures qui pourraient réellement atténuer de tels dégâts, qui sont documentés depuis longtemps. Ils semblent plutôt vouloir attirer l’attention des décideurs politiques, ce qui constitue déjà une ressource rare, sur des scénarios fantaisistes.

Vous avez critiqué à plusieurs reprises le fait que de nombreux amis de l’IA travaillent avec des méthodes pseudo-scientifiques. Entre autres choses, vous avez critiqué l’utilisation de documents préimprimés qui « n’ont même pas été évalués par des pairs ». Êtes-vous en train de dire que vous pensez généralement que les serveurs de préimpression comme arXiv sont inutiles ?

Le libre accès aux publications scientifiques revêt une grande importance. À l’origine, arXiv était destiné à permettre aux chercheurs de partager leurs travaux terminés avec d’autres, soit pendant le processus d’évaluation par les pairs, soit pendant le long processus entre l’acceptation dans un processus d’évaluation par les pairs et la publication. arXiv était également un endroit utile pour publier des articles précédemment publiés sur des forums non publics.

Mais la manière dont arXiv est utilisé aujourd’hui en informatique – notamment dans le domaine de l’apprentissage automatique – ne ressemble plus à rien de tout cela. Les gens publient des éléments sur arXiv pour faire valoir leurs enjeux, prétendant être le premier découvreur d’une méthode ou d’un résultat de recherche. Les évaluations par les pairs n’ont souvent pas d’importance. Dans le domaine, on considère désormais que les citations constituent un bon substitut à cela. C’est faux : les scientifiques qui procèdent à un examen rigoureux par les pairs lisent les articles d’un œil critique et vérifient leur validité. Les citations, en revanche, sont souvent citées par des personnes à la recherche d’articles qui soutiennent une affirmation qu’elles ont formulée.

Selon vous, qu’est-ce qui caractérise un bon travail scientifique ?

La science doit être ouverte, inclusive et lente : les chercheurs doivent avoir le temps de s’intéresser en profondeur aux recherches antérieures et au contexte social de leur travail. Les résultats obtenus devraient ensuite être soumis à un examen rigoureux par les pairs et rendus accessibles à tous.

L’entretien a été mené par courrier électronique et édité pour plus de longueur et de clarté.

(BSc)