Explorer les capacités de raisonnement fondamentales des LLMs

31 août 2024 article

Cet article a été révisé conformément au processus éditorial et aux politiques de Science X. Les éditeurs ont mis en évidence les attributs suivants tout en garantissant la crédibilité du contenu :

• vérifié
• préimpression
• source fiable
• relecture

par Ingrid Fadelli , Tech Xplore

Le raisonnement, le processus par lequel les êtres humains traitent mentalement des informations pour tirer des conclusions spécifiques ou résoudre des problèmes, peut être divisé en deux catégories principales. Le premier type de raisonnement, connu sous le nom de raisonnement déductif, consiste à partir d'une règle ou d'une prémisse générale, puis à utiliser cette règle pour tirer des conclusions sur des cas spécifiques.

Cela pourrait signifier, par exemple, s'appuyer sur la prémisse selon laquelle « tous les chiens ont des oreilles » et « les chihuahuas sont des chiens », pour conclure que « les chihuahuas ont des oreilles ».

La deuxième forme de raisonnement largement utilisée est le raisonnement inductif, qui consiste plutôt à généraliser (c'est-à-dire à formuler des règles générales) sur la base d'observations spécifiques. Cela pourrait signifier, par exemple, supposer que tous les cygnes sont blancs parce que tous les cygnes que nous avons rencontrés au cours de notre vie étaient blancs.

De nombreuses études de recherche antérieures ont examiné la manière dont les humains utilisent le raisonnement déductif et inductif dans leur vie quotidienne. Pourtant, la mesure dans laquelle les systèmes d'intelligence artificielle (IA) emploient ces différentes stratégies de raisonnement a, jusqu'à présent, rarement été explorée.

Une équipe de recherche d'Amazon et de l'Université de Californie à Los Angeles a récemment mené une étude explorant les capacités de raisonnement fondamentales des grands modèles linguistiques (LLM), de grands systèmes d'IA capables de traiter, de générer et d'adapter des textes en langues humaines. Leurs conclusions, publiées sur le serveur de préimpression arXiv, suggèrent que ces modèles ont de fortes capacités de raisonnement inductif, alors qu'ils présentent souvent un raisonnement déductif médiocre.

L'objectif de l'article était de mieux comprendre les lacunes du raisonnement LLM et d'identifier pourquoi les LLM présentent des performances inférieures pour les tâches de raisonnement « contrefactuel » qui s'écartent de la norme.

Diverses études antérieures ont évalué les compétences de raisonnement déductif des LLM en testant leur capacité à suivre des instructions dans le cadre de tâches de raisonnement de base. Pourtant, leur raisonnement inductif (c'est-à-dire leur capacité à faire des prédictions générales basées sur les informations qu'ils ont traitées dans le passé) n'avait pas été examiné de près.

Pour distinguer clairement le raisonnement inductif du raisonnement déductif, les chercheurs ont introduit un nouveau modèle, appelé SolverLearner. Le modèle utilise une approche en deux étapes pour séparer le processus d'apprentissage des règles de celui de leur application à des cas spécifiques. En particulier, les règles sont appliquées via des outils externes, comme des interpréteurs de code, pour éviter de s'appuyer sur la capacité de raisonnement déductif du LLM, selon un porte-parole d'Amazon.

En utilisant le cadre SolverLearner qu'ils ont développé, l'équipe d'Amazon a formé les LLM à apprendre des fonctions qui mappent les points de données d'entrée à leurs sorties correspondantes, en utilisant des exemples spécifiques. Cela leur a permis d'étudier dans quelle mesure les modèles pouvaient apprendre des règles générales en fonction des exemples qui leur étaient fournis.

Les chercheurs ont découvert que les LLM ont une capacité de raisonnement inductif plus forte que déductif, en particulier pour les tâches impliquant des scénarios « contrefactuels » qui s'écartent de la norme. Ces résultats peuvent aider les gens à mieux comprendre quand et comment utiliser les LLM. Par exemple, lors de la conception de systèmes d'agents, comme les chatbots, il peut être préférable de tirer parti des fortes capacités inductives des LLM.

Dans l'ensemble, les chercheurs ont constaté que les LLM obtenaient des résultats remarquables dans les tâches de raisonnement inductif, mais qu'ils manquaient souvent de capacités de raisonnement déductif. Leur raisonnement déductif semblait particulièrement médiocre dans les scénarios basés sur des hypothèses hypothétiques ou s'écartant de la norme.

Les résultats recueillis dans le cadre de cette étude pourraient inciter les développeurs d'IA à exploiter les fortes capacités de raisonnement inductif des LLM pour s'attaquer à des tâches spécifiques. En outre, ils pourraient ouvrir la voie à d'autres efforts visant à comprendre les processus de raisonnement des LLM.

Selon un porte-parole d'Amazon, les recherches futures dans ce domaine pourraient se concentrer sur l'exploration de la relation entre la capacité d'un LLM à compresser les informations et ses fortes capacités inductives. Cette perspective pourrait encore améliorer les capacités de raisonnement inductif du LLM.

Plus d'informations : Kewei Cheng et al, Inductive or Deductive ? Repenser les capacités de raisonnement fondamentales des étudiants en master, arXiv (2024). DOI : 10.48550/arxiv.2408.00114

© 2024 Science X Network