Jeu de rôle avec de grands modèles de langage

Shanahan, M. Parlant de grands modèles de langage. Préimpression à (2023). Cet article met en garde contre l’utilisation de termes anthropomorphes pour décrire le comportement de grands modèles de langage.

Andreas, J. Modèles de langage en tant que modèles d’agent. Dans Résultats de l’Association pour la linguistique computationnelle : EMNLP 2022 5769-5779 (Association pour la linguistique informatique, 2022). Cet article émet l’hypothèse que les LLM peuvent être compris comme modélisant les croyances, les désirs et les intentions (communicatives) d’un agent, et présente des preuves préliminaires de cela dans le cas du GPT-3.

Park, JS et coll. Agents générateurs : simulacres interactifs du comportement humain. Préimpression à (2023).

Janus. Simulateurs. Forum en ligne LessWrong (2022). Cet article de blog a introduit l’idée selon laquelle un grand modèle de langage maintient un ensemble de caractères simulés en superposition.

Wei, J. et al. Capacités émergentes des grands modèles de langage. Trans. Mach. Apprendre. Rés. (2022).

Vaswani, A. et al. L’attention est tout ce dont vous avez besoin. Av. Informations neuronales. Processus. Système. 305998-6008 (2017).

Radford, A. et coll. Les modèles linguistiques sont des apprenants multitâches non supervisés. Préimpression à OpenAI (2019).

Brown, T. et coll. Les modèles linguistiques sont des apprenants peu nombreux. Av. Informations neuronales. Processus. Système. 331877-1901 (2020).

Rae, JW et coll. Mise à l’échelle des modèles de langage : méthodes, analyses et informations issues de la formation Gopher. Préimpression à (2021).

Chowdhery, A. et coll. PaLM : mise à l’échelle de la modélisation du langage avec des parcours. Préimpression à (2022).

Thoppilan, R. et al. LaMDA : modèles de langage pour applications de dialogue. Préimpression à (2022).

OpenAI. Rapport technique GPT-4. Préimpression à (2023).

Touvron, H. et al. Llama 2 : fondation ouverte et modèles de chat affinés. Méta-IA (2023).

Roose, chat IA de K. Bing : « Je veux être en vie ». New York Times (26 février 2023) ; https://www.nytimes.com/2023/02/16/technology/bing-chatbot-transcript.html.

Willison, S. Bing : « Je ne vous ferai pas de mal à moins que vous ne me fassiez d’abord ». Le blog de Simon Willison (2023).

Ruane, E., Birhane, A. & Ventresque, A. IA conversationnelle : considérations sociales et éthiques. Dans Proc. 27e Conférence irlandaise de l’AIAI sur l’intelligence artificielle et les sciences cognitives (éd. Curry, E., Keane, MT, Ojo, A. et Salwala, D.) 104-115 (2019).

Nardo, C. Vous voulez prédire/expliquer/contrôler la sortie de GPT-4 ? Alors découvrez le monde, pas les transformateurs. Forum en ligne LessWrong (2023).

Reynolds, L. & McDonell, K. Vues multiversales sur les modèles linguistiques. Dans Procédure conjointe. Ateliers ACM IUI 2021 (éd. Glowacka, D. et Krishnamurthy, VR) (2021).

Glaese, A. et al. Améliorer l’alignement des agents de dialogue via des jugements humains ciblés. Préimpression à (2022).

Bai, Y. et coll. IA constitutionnelle : innocuité des retours d’IA. Préimpression à (2022).

Bender, E., Gebru, T., McMillan-Major, A. & Shmitchell, S. Sur les dangers des perroquets stochastiques : les modèles de langage peuvent-ils être trop grands ? Dans Proc. Conférence ACM 2021 sur l’équité, la responsabilité et la transparence 610-623 (Association pour les machines informatiques, 2021).

Pérez, E. et al. Découvrir les comportements des modèles de langage avec des évaluations écrites par des modèles. Dans Résultats de l’Association pour la linguistique computationnelle : ACL 2023 13387-13434 (Association pour la linguistique computationnelle, 2023).

Perry, J. Identité personnelle 2e éd. (Univ. California Press, 2008).

Schick, T. et coll. Toolformer : les modèles de langage peuvent apprendre eux-mêmes à utiliser des outils. Préimpression à (2023).

Yao, S. et al. ReAct : mettre en synergie le raisonnement et l’action dans des modèles de langage. Dans Conférence internationale sur les représentations de l’apprentissage (2023).

Perkowitz, S. dans Science hollywoodienne : films, science et fin du monde 142-164 (Columbia Univ. Press, 2007).

Russell, S. et Norvig, P. Intelligence artificielle : une approche moderne 3e édition (Prentice Hall, 2010).

Stiennon, N. et coll. Apprendre à résumer à partir des commentaires humains. Av. Informations neuronales. Processus. Système. 333008-3021 (2020).

Ouyang, L. et al. Former des modèles de langage pour suivre les instructions avec des commentaires humains. Av. Informations neuronales. Processus. Système. 3527730-27744. (2022).

Casper, S. et coll. Problèmes ouverts et limites fondamentales de l’apprentissage par renforcement à partir de la rétroaction humaine. Préimpression à (2023).