Mémoire d’initié
- L’utilisation de l’intelligence artificielle (IA) est devenue monnaie courante, mais le manque d’interprétabilité de ces systèmes reste un problème critique.
- La manière dont les systèmes d’IA parviennent à des réponses et des solutions est souvent opaque, ce qui pose d’importants défis en matière de responsabilité.
- Les scientifiques de Quantinuum ont proposé un nouveau changement de paradigme dans l’interprétabilité de l’IA, en s’appuyant fortement sur les principes de la théorie des catégories.
- Image : Un traitement basé sur l’IA de cette recherche qui manque sans aucun doute d’interprétabilité.
L’intelligence artificielle (IA) a connu un essor massif dans ses applications, mais le manque d’interprétabilité de ces systèmes reste un problème critique et représente une préoccupation croissante. Le fonctionnement complexe des réseaux de neurones, comme ceux qui alimentent les grands modèles de langage (LLM), tels que ChatGPT ou Claude, est souvent opaque, posant des défis importants dans des domaines exigeant une responsabilité, tels que les secteurs de la finance, de la santé et du droit.
Ces recommandations opaques en matière d’IA peuvent sembler techniques et largement académiques au premier abord, mais elles ont des implications concrètes. Un manque d’interprétabilité pourrait compromettre la sécurité des patients, par exemple, tandis qu’en finance, une notation de crédit non transparente de l’IA pourrait entraîner des biais et des problèmes de conformité réglementaire.
Avec l’IA quantique à l’horizon, l’interprétabilité pourrait devenir un problème encore plus important, car la complexité des modèles quantiques pourrait obscurcir davantage les processus décisionnels sans cadres robustes.
Reporting dans une entreprise article de blog et commearticle scientifique sur le serveur de pré-impression ArXivchercheurs de Combien — qui comprend un groupe de scientifiques en IA hautement estimés — ont proposé un nouveau changement de paradigme dans l’interprétabilité de l’IA, en s’appuyant sur les principes de la mécanique quantique et de la théorie des catégories.
Ilyas Khan, fondateur et directeur des produits de Quantinuum, qui a également été l’auteur de l’article, propose le contexte du travail dans un Publication LinkedIn: « Quand on fabrique une voiture, ou un avion, ou encore une paire de ciseaux, on comprend leur fonctionnement, composant par composant. Quand les choses ne fonctionnent pas, nous savons pourquoi elles ne fonctionnent pas, ou nous pouvons le découvrir systématiquement. Nous construisons également des systèmes dans des domaines critiques tels que les soins de santé, où nous savons comment les entrées et les sorties sont liées. Cette construction simple est nécessaire si l’IA et les LLM, aussi remarquables et impressionnants que soient leurs progrès, doivent véritablement être déployés dans toute la société pour notre bénéfice. Ce problème – ce manque de « sécurité » n’est pas une préoccupation nouvelle. En fait, le « XAI » en tant que mouvement (« IA explicable ») est né de cette préoccupation. Dans notre nouvel article, nous examinons de manière rigoureuse et très détaillée comment (et pourquoi) les systèmes d’IA doivent être « explicables » et « interprétables » dès leur conception, et non par une obscure méthode post-hoc coûteuse et partiellement efficace.
Le document est assez détaillé, mais voici une ventilation qui, espérons-le, résumera les principales idées de l’équipe.
Le problème de l’interprétabilité
Le principal problème de nombreux modèles d’IA actuels est leur nature de « boîte noire », selon les chercheurs. Ces modèles, en particulier les réseaux neuronaux d’apprentissage profond, excellent dans les tâches mais fournissent peu d’informations sur leurs processus de prise de décision. Cette opacité constitue un inconvénient majeur dans des domaines à enjeux élevés où comprendre comment les conclusions sont tirées est primordial pour garantir la sécurité et l’éthique de l’utilisation.
L’IA explicable (XAI) est apparue comme une réponse à ce problème. XAI utilise des techniques « post-hoc », qui tentent d’élucider le comportement des modèles pré-entraînés. Des méthodes telles que les cartes de saillance, les valeurs de Shapley et les explications contrefactuelles sont utilisées pour rendre ces modèles plus transparents. Cependant, ces techniques fournissent souvent des explications approximatives et parfois peu fiables.
Une nouvelle approche avec la théorie des catégories
Les chercheurs de Quantinuum ont introduit une nouvelle perspective sur l’interprétabilité de l’IA en appliquant la théorie des catégories, un cadre mathématique qui décrit les processus et leurs compositions. La théorie des catégories est utilisée aujourd’hui dans des domaines tels que l’informatique où elle aide à concevoir et à comprendre des logiciels via des langages comme Haskell, et en mathématiques où la théorie guide la connexion de différentes idées en montrant comment elles sont liées les unes aux autres. Il aide également les physiciens à modéliser et à comprendre des systèmes complexes dans des domaines tels que la mécanique quantique.
Cette approche de la théorie des catégories est détaillée en profondeur dans le récent article arXiv, dans lequel l’équipe présente un cadre théorique complet pour définir les modèles d’IA et analyser leur interprétabilité.
Les chercheurs écrivent dans leur article de blog : « Chez Quantinuum, nous poursuivons nos travaux pour développer de nouveaux paradigmes en IA tout en travaillant également à affiner les outils théoriques et fondamentaux qui nous permettent à tous d’évaluer l’interprétabilité d’un modèle donné. Avec ce cadre, nous montrons à quel point il est avantageux pour un modèle d’IA d’avoir une structure de composition explicite et significative.
Au cœur de l’approche de Quantinuum se trouve le concept de modèles compositionnels. Ces modèles sont conçus dès le départ avec des structures explicites et significatives, ce qui les rend intrinsèquement interprétables. Contrairement aux réseaux de neurones traditionnels, les modèles compositionnels permettent de comprendre clairement comment les différents composants interagissent et contribuent au processus décisionnel global.
Sean Tull, co-auteur de l’article, a donné son point de vue sur l’importance de ce développement dans l’article : « Dans le meilleur des cas, de tels modèles intrinsèquement interprétables ne nécessiteraient même plus de méthodes XAI, servant plutôt de leur propre explication, et un d’un genre plus profond.
En utilisant la théorie des catégories, les chercheurs ont développé un calcul graphique qui capture la structure compositionnelle des modèles d’IA. Cette méthode ouvre non seulement la voie à l’interprétation des modèles classiques mais s’étend également aux modèles quantiques. L’équipe écrit que l’approche fournit un cadre précis et mathématiquement défini pour évaluer l’interprétabilité des systèmes d’IA.
Les implications pratiques
Les implications de cette recherche, si elles se confirment, sont vastes et profondes. Par exemple, alors que les transformateurs, qui font partie intégrante de modèles comme ChatGPT, se révèlent non interprétables, des modèles plus simples comme les modèles linéaires et les arbres de décision sont intrinsèquement interprétables. En d’autres termes, en définissant et en analysant la structure compositionnelle des modèles d’IA, le cadre de Quantinuum permet le développement de systèmes interprétables par conception.
Pour voir quel impact cela pourrait avoir sur l’utilisation réelle de l’IA, il est possible que la recherche donne aux développeurs une meilleure idée des problèmes constants auxquels sont confrontés les utilisateurs des LLM : les « hallucinations » errantes de ces modèles. Au cours de ces hallucinations, l’IA produit des informations incorrectes – souvent de manière extravagante. En appliquant la théorie des catégories pour développer des modèles d’IA intrinsèquement interprétables, les chercheurs peuvent mieux comprendre et contrôler les processus décisionnels de ces modèles. Cette interprétabilité améliorée peut aider à identifier et à atténuer les cas où les LLM génèrent des informations incorrectes ou absurdes, réduisant ainsi l’apparition d’hallucinations.
L’utilisation de la théorie des catégories et des diagrammes de cordes offre plusieurs formes d’explications schématiques du comportement du modèle. Ces explications, qui incluent des contraintes d’influence et des équations graphiques, permettent une compréhension plus approfondie des systèmes d’IA, améliorant ainsi leur transparence et leur fiabilité.
Les chercheurs ont écrit dans leur article de blog : « Un problème fondamental dans le domaine de XAI est que de nombreux termes n’ont pas été rigoureusement définis ; ce qui rend difficile l’étude – et encore moins la discussion – de l’interprétabilité en IA. Notre article marque la première fois qu’un cadre pour évaluer l’interprétabilité compositionnelle des modèles d’IA est développé.
Directions futures
L’approche de Quantinuum ouvre la voie à une exploration plus approfondie des modèles compositionnels et de leurs applications. L’équipe envisage un avenir dans lequel les modèles d’IA seront non seulement puissants, mais également transparents et responsables. Leurs recherches en cours visent à affiner ces outils théoriques et à les appliquer aux systèmes d’IA classiques et quantiques, conduisant à terme à des applications d’IA plus sûres et plus fiables.
Les chercheurs ont souligné dans leur article de blog : « Ce travail fait partie de notre stratégie plus large en matière d’IA, qui comprend l’utilisation de l’IA pour améliorer l’informatique quantique, l’utilisation d’ordinateurs quantiques pour améliorer l’IA et – dans ce cas – l’utilisation des outils de la théorie des catégories et de la compositionnalité pour améliorer l’informatique quantique. aidez-nous à mieux comprendre l’IA.
Outre Tull et Khan, l’équipe Quantinuum comprend : Robin Lorenz, Stephen Clark et Bob Coecke
Pour une plongée plus approfondie et technique dans la recherche, vous pouvez accéder à l’article complet sur arXiv ici.
2024-06-26 16:01:25
1719407554
#théorie #des #catégories #ouvre #voie #une #intelligence #artificielle #interprétable #rapportent #les #scientifiques #Quantinuum
