Dans une découverte frappante, l'IA démontre une formation de mémoire semblable à celle de l'homme.

Une équipe interdisciplinaire a découvert que les modèles d'IA, en particulier le Transformer, traitent la mémoire de manière similaire à l'hippocampe du cerveau humain. Cette percée suggère que l'application des principes de neurosciences, tels que ceux du récepteur NMDA, à l'IA peut améliorer les fonctions de la mémoire, faisant avancer le domaine de l'IA et offrant des perspectives sur le fonctionnement du cerveau humain. Crédit : SciTechDaily.com

Des chercheurs ont découvert que les processus de consolidation de la mémoire de l'IA ressemblent à ceux du cerveau humain, en particulier à l'hippocampe, offrant ainsi des possibilités d'avancées dans le domaine de l'IA et une compréhension plus approfondie des mécanismes de la mémoire humaine.

Une équipe interdisciplinaire composée de chercheurs du Centre de cognition et de socialité et du groupe de sciences des données de l'Institut des sciences de base (IBS) a révélé une similitude frappante entre le traitement de la mémoire des modèles d'intelligence artificielle (IA) et l'hippocampe du cerveau humain. Cette nouvelle découverte offre une perspective nouvelle sur la consolidation de la mémoire, qui est un processus qui transforme les souvenirs à court terme en souvenirs à long terme, dans les systèmes d'IA.

Dans la course au développement de l'intelligence artificielle générale (AGI), avec des entités influentes comme OpenAI et Google DeepMind en tête, comprendre et reproduire l'intelligence semblable à celle des humains est devenu un intérêt de recherche important. Au cœur de ces avancées technologiques se trouve le modèle Transformer [Figure 1], dont les principes fondamentaux sont maintenant explorés en profondeur.

Figure 1. (a) Schéma illustrant l'activité des canaux ioniques dans les neurones post-synaptiques. Les récepteurs AMPA participent à l'activation des neurones post-synaptiques, tandis que les récepteurs NMDA sont bloqués par des ions magnésium (Mg²⁺) mais induisent la plasticité synaptique par l'afflux d'ions calcium (Ca²⁺) lorsque le neurone post-synaptique est suffisamment activé. (b) Diagramme de flux représentant le processus de calcul dans le modèle d'IA Transformer. Les informations sont traitées séquentiellement à travers des étapes telles que les couches d'avance, la normalisation des couches et les couches d'auto-attention. Le graphique représentant la relation courant-tension des récepteurs NMDA est très similaire à la non-linéarité de la couche d'avance. Le graphe d'entrée-sortie, basé sur la concentration de magnésium (α), montre les changements dans la non-linéarité des récepteurs NMDA. Crédit : Institut des sciences fondamentales.

La clé des systèmes d'IA puissants réside dans la compréhension de la manière dont ils apprennent et retiennent l'information. L'équipe a appliqué des principes d'apprentissage du cerveau humain, en se concentrant spécifiquement sur la consolidation de la mémoire par le récepteur NMDA dans l'hippocampe, aux modèles d'IA.

Le récepteur NMDA est comme une porte intelligente dans votre cerveau qui facilite l'apprentissage et la formation de la mémoire. Lorsqu'une substance chimique cérébrale appelée glutamate est présente, la cellule nerveuse subit une excitation. En revanche, un ion magnésium agit comme un petit gardien de porte bloquant l'accès. Seules les substances autorisées peuvent entrer dans la cellule lorsque ce gardien ionique se retire. C'est le processus qui permet au cerveau de créer et de conserver des souvenirs, et le rôle du gardien (l'ion magnésium) dans l'ensemble du processus est assez spécifique.

L'équipe a fait une découverte fascinante : le modèle Transformer semble utiliser un processus de gardiennage similaire au récepteur NMDA du cerveau [voir Figure 1]. Cette révélation a conduit les chercheurs à étudier si la consolidation de la mémoire du Transformer peut être contrôlée par un mécanisme similaire au processus de filtrage du récepteur NMDA.

Dans le cerveau des animaux, un faible niveau de magnésium est connu pour affaiblir la fonction de la mémoire. Les chercheurs ont découvert que la mémoire à long terme du Transformer peut être améliorée en imitant le récepteur NMDA. Tout comme dans le cerveau, où les changements de niveaux de magnésium affectent la force de la mémoire, ajuster les paramètres du Transformer pour refléter l'action de filtrage du récepteur NMDA a conduit à une mémoire améliorée dans le modèle d'IA. Cette découverte révolutionnaire suggère que la manière dont les modèles d'IA apprennent peut être expliquée par les connaissances établies en neurosciences.

C. Justin LEE, qui est un directeur neuroscientifique à l'institut, a déclaré : "Cette recherche constitue une étape cruciale dans l'avancée de l'IA et des neurosciences. Elle nous permet de plonger plus profondément dans les principes de fonctionnement du cerveau et de développer des systèmes d'IA plus avancés basés sur ces connaissances."

CHA Meeyoung, qui est un scientifique des données au sein de l'équipe et à KAIST, note : "Le cerveau humain est remarquable dans sa manière de fonctionner avec un minimum d'énergie, contrairement aux grands modèles d'IA qui nécessitent d'énormes ressources. Notre travail ouvre de nouvelles possibilités pour des systèmes d'IA à faible coût et haute performance qui apprennent et retiennent l'information comme les humains."

What sets this study apart is its initiative to incorporate brain-inspired nonlinearity into an AI construct, signifying a significant advancement in simulating human-like memory consolidation. The convergence of human cognitive mechanisms and AI design not only holds promise for creating low-cost, high-performance AI systems but also provides valuable insights into the workings of the brain through AI models.