L’intelligence artificielle atteint ses limites : les dépôts auprès de la SEC sont trop compliqués pour ChatGPT et autres modèles | 01/06/24

L’intelligence artificielle fait de plus en plus partie de nos vies. Cependant, les entreprises qui souhaitent intégrer cette technologie dans leurs opérations restent confrontées à des défis majeurs, notamment dans le secteur financier.

• Les entreprises utilisent de plus en plus de grands modèles de langage (LLM)
• L’intelligence artificielle mais pas encore suffisamment mature pour les dépôts auprès de la SEC
• Optimisme quant aux nouvelles améliorations de l’IA

Depuis qu’OpenAI a introduit ChatGPT en novembre 2022, l’intelligence artificielle (IA) est devenue un sujet de tendance absolu. On s’attend à ce qu’ils aient un impact majeur sur le monde du travail à l’avenir. En Allemagne, environ une entreprise sur huit utilise l’intelligence artificielle, selon une enquête publiée par l’Office fédéral de la statistique en novembre. Les domaines d’application les plus courants sont la comptabilité et la sécurité informatique.

Elon Musk s’attend même à ce que la technologie de l’IA rende tous les emplois obsolètes, comme il l’a expliqué dans un discours devant des politiciens britanniques à Lancaster House : “Il est difficile de dire exactement quand ce moment arrivera, mais il viendra un moment où aucun travail n’est plus nécessaire”. a déclaré le PDG de Tesla. Il a fait valoir que l’IA a le potentiel de devenir « la force la plus perturbatrice de l’histoire ». “Nous aurons quelque chose qui, pour la première fois, sera plus intelligent que la personne la plus intelligente”, a déclaré le visionnaire de la technologie cité par CNBC.

ChatGPT & Co échoue en raison du dépôt auprès de la SEC

Mais il faudra probablement un certain temps avant que cela se produise – si cela arrive même jusque-là. À l’heure actuelle, les entreprises – en particulier dans les secteurs réglementés tels que le secteur financier – sont toujours confrontées à d’énormes défis lorsqu’elles tentent d’intégrer l’IA dans leurs opérations.

Citant les résultats d’une recherche de la startup Patronus AI, “CNBC” a rapporté que les grands modèles de langage (LLM), qui constituent la base de services tels que ChatGPT, sont encore loin des questions découlant des documents de la Securities and Exchange Commission ( SEC). permettent de répondre en toute indépendance. Les documents déposés auprès de la SEC regorgent de données importantes, et si un robot pouvait les résumer avec précision ou répondre rapidement aux questions sur leur contenu, cela donnerait à son utilisateur un avantage évident dans le secteur financier. Mais comme Patronus AI l’a découvert à l’aide d’un nouveau test, même la meilleure configuration de modèle d’IA testée, le GPT-4-Turbo d’OpenAI, n’a été capable de répondre correctement qu’à 79 % des questions. Cependant, les LLM ont souvent refusé de répondre ou ont « halluciné » des faits et des chiffres qui n’étaient même pas inclus dans les documents déposés auprès de la SEC.

“Ce type de taux de performance est absolument inacceptable”, a commenté Anand Kannappan, co-fondateur de Patronus AI, à propos de ces résultats à CNBC. « Il doit être bien plus haut pour pouvoir fonctionner de manière véritablement automatisée et prête pour la production. » Et Rebecca Qian, une autre cofondatrice, d’ajouter : “Il n’y a tout simplement pas de marge d’erreur acceptable, car même si le modèle ne donne une mauvaise réponse qu’une fois sur 20, ce n’est toujours pas assez précis.”

Les résultats du test en détail

Vu individuellement, le modèle de langage GPT-4-Turbo d’OpenAI n’a pas été en mesure de répondre à 88 % des 150 questions posées dans le test « à livre fermé », dans lequel il n’a pas eu accès à un document source de la SEC, et n’a donné qu’un bonne réponse 14 fois. Après avoir fourni de longs contextes, le GPT-4-Turbo a été capable de répondre correctement à 79 % des questions et n’a donné une réponse incorrecte qu’à 17 % des questions.

Llama 2, un modèle d’IA open source développé par Meta, s’est démarqué avec certaines des pires « hallucinations », donnant des réponses incorrectes dans 70 % du temps et des réponses correctes seulement 19 % du temps lorsqu’il avait accès à une gamme d’informations sous-jacentes. documents.

Claude 2 d’Anthropic pourrait au moins bien faire lorsqu’on lui donne un “contexte long” avec presque tous les documents pertinents déposés auprès de la SEC inclus avec la question. Ensuite, 75 pour cent des questions ont pu recevoir une réponse, tandis que 21 pour cent avaient une réponse incorrecte et 3 pour cent n’ont pas pu recevoir de réponse.

Optimisme pour l’avenir

Mais même s’il existe encore des problèmes majeurs à l’heure actuelle, Patronus AI reste optimiste quant au fait que les modèles linguistiques pourront aider les analystes financiers ou les investisseurs à l’avenir. “Les modèles s’amélioreront avec le temps. Nous sommes convaincus qu’à long terme, une grande partie pourra être automatisée. Mais aujourd’hui, il faut absolument au moins une personne pour soutenir et guider le flux de travail”, déclare Anand Kannappan.

Equipe éditoriale finanzen.at