En un Descubrimiento Impresionante, la IA Demuestra la Formación de Memoria similar a la Humana.

Un equipo interdisciplinario ha descubierto que los modelos de IA, en particular el Transformer, procesan la memoria de manera similar al hipocampo del cerebro humano. Este avance sugiere que aplicar principios de neurociencia, como los del receptor NMDA, a la IA puede mejorar las funciones de memoria, avanzando en el campo de la IA y ofreciendo información sobre la función del cerebro humano. Crédito: SciTechDaily.com

Los investigadores han descubierto que los procesos de consolidación de la memoria de la IA se parecen a los del cerebro humano, específicamente en el hipocampo, lo que ofrece potencial para avances en la IA y una comprensión más profunda de los mecanismos de la memoria humana.

Un equipo interdisciplinario compuesto por investigadores del Centro de Cognición y Socialidad y del Grupo de Ciencia de Datos del Instituto de Ciencia Básica (IBS) reveló una similitud sorprendente entre el procesamiento de la memoria de los modelos de inteligencia artificial (IA) y el hipocampo del cerebro humano. Este nuevo hallazgo proporciona una perspectiva novedosa sobre la consolidación de la memoria, que es un proceso que transforma las memorias a corto plazo en memorias a largo plazo, en sistemas de IA.

En la carrera por desarrollar una Inteligencia Artificial General (AGI), con entidades influyentes como OpenAI y Google DeepMind liderando el camino, comprender y replicar la inteligencia similar a la humana se ha convertido en un importante interés de investigación. Fundamental para estos avances tecnológicos es el modelo Transformer [Figura 1], cuyos principios fundamentales ahora están siendo explorados en mayor profundidad.

Figura 1. (a) Diagrama que ilustra la actividad de los canales iónicos en las neuronas postsinápticas. Los receptores AMPA están involucrados en la activación de las neuronas postsinápticas, mientras que los receptores NMDA están bloqueados por iones de magnesio (Mg²⁺) pero inducen plasticidad sináptica a través del flujo de iones de calcio (Ca²⁺) cuando la neurona postsináptica se activa lo suficiente. (b) Diagrama de flujo que representa el proceso computacional dentro del modelo de IA Transformer. La información se procesa secuencialmente a través de etapas como capas de alimentación directa, normalización de capas y capas de autoatención. El gráfico que representa la relación corriente-voltaje de los receptores NMDA es muy similar a la no linearidad de la capa de alimentación directa. El gráfico de entrada-salida, basado en la concentración de magnesio (α), muestra los cambios en la no linealidad de los receptores NMDA. Crédito: Instituto de Ciencia Básica

La clave para sistemas de IA potentes es comprender cómo aprenden y recuerdan información. El equipo aplicó principios de aprendizaje del cerebro humano, concentrándose específicamente en la consolidación de la memoria a través del receptor NMDA en el hipocampo, a los modelos de IA.

El receptor NMDA es como una puerta inteligente en tu cerebro que facilita el aprendizaje y la formación de memoria. Cuando está presente una sustancia química cerebral llamada glutamato, la célula nerviosa experimenta excitación. Por otro lado, un ion de magnesio actúa como un pequeño portero que bloquea la puerta. Solo cuando este portero iónico se aparta, las sustancias pueden fluir hacia la célula. Este es el proceso que permite al cerebro crear y mantener recuerdos, y el papel del portero (el ion de magnesio) en todo el proceso es bastante específico.

El equipo hizo un descubrimiento fascinante: el modelo Transformer parece utilizar un proceso de control de acceso similar al receptor NMDA del cerebro [ver Figura 1]. Esta revelación llevó a los investigadores a investigar si la consolidación de la memoria del Transformer puede ser controlada por un mecanismo similar al proceso de control de acceso del receptor NMDA.

En el cerebro animal, se sabe que un nivel bajo de magnesio debilita la función de la memoria. Los investigadores encontraron que la memoria a largo plazo en el Transformer puede mejorarse imitando el receptor NMDA. Al igual que en el cerebro, donde los cambios en los niveles de magnesio afectan la fuerza de la memoria, ajustar los parámetros del Transformer para reflejar la acción de control de acceso del receptor NMDA condujo a una memoria mejorada en el modelo de IA. Este avance sugiere que la forma en que los modelos de IA aprenden puede explicarse con conocimientos establecidos en neurociencia.

C. Justin LEE, que es director de neurociencia en el instituto, dijo: "Esta investigación da un paso crucial para avanzar en la IA y la neurociencia. Nos permite adentrarnos más en los principios de funcionamiento del cerebro y desarrollar sistemas de IA más avanzados basados en estos conocimientos".

CHA Meeyoung, que es científica de datos en el equipo y en KAIST, señala: "El cerebro humano es notable en cómo funciona con un consumo mínimo de energía, a diferencia de los grandes modelos de IA que necesitan recursos inmensos. Nuestro trabajo abre nuevas posibilidades para sistemas de IA de bajo costo y alto rendimiento que aprenden y recuerdan información como los humanos".

What sets this study apart is its initiative to incorporate brain-inspired nonlinearity into an AI construct, signifying a significant advancement in simulating human-like memory consolidation. The convergence of human cognitive mechanisms and AI design not only holds promise for creating low-cost, high-performance AI systems but also provides valuable insights into the workings of the brain through AI models.