Chaîne informatique néerlandaise – ChatGPT présente un comportement étrange

ChatGPT a été lancé dans le monde il y a un peu plus d’un an. Le chatbot est devenu extrêmement populaire en un rien de temps. En moins de deux mois, ChatGPT a atteint cent millions d’utilisateurs, un exploit sans précédent dans le monde de la technologie. L’outil doit sa popularité aux nombreuses tâches qu’il peut effectuer. Qu’il s’agisse de rédiger un texte, de générer du code ou de remplir une feuille de calcul : ChatGPT est devenu un outil indispensable sur le lieu de travail pour de nombreuses personnes.

Mais ces dernières semaines, le chatbot a commencé à présenter un comportement quelque peu particulier. Les utilisateurs de X, anciennement Twitter, signalent de plus en plus que ChatGPT ne répond pas à leurs questions ou n’y répond que partiellement. Par exemple, au lieu de générer du code, l’outil explique aux utilisateurs comment l’écrire eux-mêmes. Remplir un fichier CSV (une spécification pour les fichiers de table) ? Fais le toi-même.

OpenAI lui-même ne le sait pas

Le problème a rapidement atteint de telles proportions qu’OpenAI lui-même a été contraint d’y répondre. « Nous n’avons pas mis à jour le modèle depuis le 11 novembre, et il n’y a certainement aucune intention impliquée. Le comportement du modèle peut être imprévisible et nous cherchons à résoudre ce problème”, a déclaré la société à l’origine du chatbot. En d’autres termes, OpenAI lui-même n’a aucune idée de ce qui se passe.

nous avons entendu tous vos commentaires sur le fait que GPT4 devient plus paresseux ! nous n’avons pas mis à jour le modèle depuis le 11 novembre, et ce n’est certainement pas intentionnel. le comportement du modèle peut être imprévisible, et nous cherchons à le corriger ????

– ChatGPT (@ChatGPTapp) 8 décembre 2023

C’est alors aux utilisateurs de découvrir ce qui ne va pas. Certains ont eu l’idée surprenante que cela soit lié à la période de l’année. Plus précisément, ChatGPT souffrirait d’une sorte de dépression saisonnière. La logique derrière cela est que le modèle aurait appris des ensembles de données sur lesquels il a été formé que les gens ralentissent en décembre, et il pourrait copier ce comportement.

Michiel Vandendriessche, co-fondateur de la startup Louvain AI Raccoons, explique cela plus en détail. “Il y a des gens qui ont étudié la question et qui parlent d’un résultat statistiquement significatif.” Par exemple, si vous saisissez un devoir en mai, vous recevrez des réponses plus complexes qu’en décembre, selon ces chercheurs. “Mais OpenAI lui-même n’a trouvé aucun lien”, explique Vandendriessche.

Il considère lui-même plutôt improbable que la saison hivernale ait une influence sur le comportement de ChatGPT. “Il me semble très étrange que ce soit réellement la raison”, a-t-il déclaré. Une autre explication possible, selon les experts de Raccoons Vandendriessche, est que l’énergie est simplement plus chère pendant les mois d’hiver, ce qui pourrait inciter OpenAI à décider consciemment de raccourcir la production. D’un autre côté, OpenAI se contredirait en déclarant qu’elle n’en connaît pas elle-même la cause, admet Vandendriessche.

Une autre explication possible est que la charge sur les serveurs est tout simplement devenue trop importante en raison de l’énorme popularité de ChatGPT. À la mi-novembre, par exemple, OpenAI a dû temporairement cesser d’accepter de nouveaux abonnements. Cela s’est produit peu de temps après le premier OpenAI DevDay, au cours duquel de nouveaux outils ont été annoncés, notamment la possibilité de créer votre propre chatbot GPT personnalisé. À la mi-décembre, le PDG Sam Altman a publié ce qui suit sur X : « Nous avons de nouveau activé les abonnements ChatGPT+ ! Merci de votre patience pendant que nous trouvons plus de GPU. Cependant, depuis lors, certains utilisateurs se plaignent encore d’un ChatGPT moins efficace.

‘Boîte noire’

Même si l’on ne sait pas encore exactement ce qui se passe et si ChatGPT souffre du blues hivernal, une chose est sûre. La technologie commence de plus en plus à se comporter comme une « boîte noire ». Cela signifie que nous connaissons uniquement les entrées et les sorties, mais que nous n’avons en réalité aucune idée de ce qui se passe à l’intérieur d’un système.

“Même un chercheur de haut niveau au sein d’OpenAI ne peut en aucun cas prédire, même en examinant le code sous-jacent, quel sera le résultat exact”, explique Vandendriessche. Après tout, les LLM ou grands modèles de langage (des algorithmes capables de générer du contenu à l’aide de très grands ensembles de données ; dans le cas de ChatGPT, la quasi-totalité d’Internet) fonctionnent en effectuant des calculs complexes pour arriver à une réponse. “Ces calculs dépassent tout simplement l’entendement des gens”, a déclaré le cofondateur de Raccoons.

« À mesure que les systèmes deviennent plus complexes, il arrive de plus en plus souvent que nous ne sachions tout simplement pas ce qui se passe », explique Vandendriessche. «Cependant, cela ne doit pas nécessairement constituer un problème. Tant que nous pouvons vérifier que les résultats ne sont pas trop excessifs, nous devrions nous demander à quel point il est grave de ne pas toujours comprendre comment une IA parvient à une certaine réponse.

Respire profondément

Mais même si nous ne savons pas toujours pourquoi un chatbot donne une certaine réponse, nous pouvons trouver entre-temps des moyens de générer le résultat souhaité. Ici aussi, il semble parfois que ChatGPT s’empare du comportement humain.

Par exemple, un utilisateur sur Plus le pourboire est gros, plus la réponse est longue. D’autres disent que ChatGPT doit les encourager un peu à continuer, comme un entraîneur qui donne un coup de pouce supplémentaire à un athlète. Même lorsque vous demandez au chatbot de prendre une profonde respiration avant de donner une réponse, il semble mieux fonctionner. Même tout taper en majuscules semble avoir un effet.

Alors la prochaine fois que ChatGPT vous donnera une réponse décevante, restez patient. Peut-être avez-vous juste besoin d’être un peu plus empathique et de demander très gentiment si le chatbot veut recommencer. Et si cela ne fonctionne pas, vous pouvez toujours essayer de soudoyer l’outil.

En collaboration avec Data News