AI bootstraps die Neocortex-Berechnungen mit dem "Gewinner-takes-all"-Ansatz.

25. Oktober 2024 Funktion

Dieser Artikel wurde gemäß dem redaktionellen Prozess und den Richtlinien von Science X überprüft. Die Redakteure haben während der Gewährleistung der Glaubwürdigkeit des Inhalts folgende Merkmale hervorgehoben:

Faktencheck

Preprint

Vertrauenswürdige Quelle

Korrekturgelesen

Von Ingrid Fadelli , Tech Xplore

In den letzten zehn Jahren haben Informatiker zunehmend fortschrittliche rechnergestützte Techniken entwickelt, die reale Aufgaben mit einer Genauigkeit vergleichbar mit der des Menschen bewältigen können. Obwohl viele dieser künstlichen Intelligenz (KI)-Modelle bemerkenswerte Ergebnisse erzielt haben, replizieren sie oft nicht genau die Berechnungen, die vom menschlichen Gehirn durchgeführt werden.

Forscher von Tibbling Technologies, dem Broad Institute der Harvard Medical School, der Australian National University und anderen Instituten versuchten kürzlich, KI zu verwenden, um eine bestimmte Art von Berechnung nachzubilden, die von Schaltkreisen im Neokortex durchgeführt wird und als 'Gewinner- nimmt-alles'-Berechnungen bekannt ist.

Ihre Arbeit, die auf dem bioRxiv-Preprint-Server veröffentlicht wurde, berichtet von der erfolgreichen Nachahmung dieser Berechnung und zeigt, dass deren Hinzufügung zu Transformer-basierten Modellen die Leistung bei der Bildklassifizierung deutlich verbessern könnte.

'Unsere aktuelle Arbeit wurde von den unglaublichen Rechenfähigkeiten des Säugetiergehirns, insbesondere des Neokortex, inspiriert', erklärte Asim Iqbal, Erstautor der Arbeit, gegenüber Tech Xplore.

'Unser Hauptziel war es, Inspiration davon zu nehmen, wie das Gehirn Informationen verarbeitet, und diese Prinzipien anzuwenden, um künstliche Intelligenzsysteme zu verbessern. Konkret konzentrierten wir uns auf eine Berechnung namens 'Gewinner- nimmt-alles', die sich als grundlegende Operation in kortikalen Schaltkreisen herauszustellen scheint.'

'Gewinner-nimmt-alles' ist ein biologischer Mechanismus, der auftritt, wenn ein oder wenige Neuronen innerhalb eines Satzes (d.h. das/diejenigen mit dem höchsten Aktivierungsniveau) das Ergebnis einer Berechnung beeinflussen. Die aktiveren Neuronen unterdrücken im Wesentlichen die Aktivität anderer Neuronen, und werden zu den einzigen Zellen, die zu einer bestimmten Entscheidung oder Berechnung beitragen.'

Iqbal und seine Kollegen versuchten, diese biologische Berechnung realistisch mit Hilfe neuromorpher Hardware nachzuahmen und dann zur Verbesserung der Leistung etablierter Maschinenlernmodelle zu nutzen. Dazu verwendeten sie den TrueNorth neuromorphen Hardwarechip von IBM, der speziell für die Nachbildung der Organisation des Gehirns entwickelt wurde.

'Unser biophysisches Netzwerkmodell zielt darauf ab, die wichtigsten Merkmale kortikaler Schaltkreise zu erfassen, wobei der Fokus auf den Wechselwirkungen zwischen erregenden Neuronen und vier Haupttypen hemmender Neuronen liegt', erklärte Iqbal.

'Das Modell integriert experimentell gemessene Eigenschaften dieser Neuronen und deren Verbindungen im visuellen Kortex. Sein Schlüsselmerkmal ist die Fähigkeit, 'weiche Gewinner- nimmt-alles'-Berechnungen durchzuführen, bei denen die stärksten Eingaben verstärkt und schwächere unterdrückt werden.'

Indem diese vom Gehirn inspirierten Berechnungen durchgeführt werden, kann der Ansatz des Teams wichtige Signale verstärken und gleichzeitig Rauschen herausfiltern. Der Hauptvorteil ihres NeuroAI-Systems besteht darin, dass es einen neuen, biologisch fundierten und dennoch rechnerisch effizienten Ansatz zur Verarbeitung visueller Informationen einführt, was dazu beitragen könnte, die Leistung von KI-Modellen zu verbessern.

'Eines unserer aufregendsten Errungenschaften war die erfolgreiche Implementierung unserer gehirninspirierten Berechnungen auf dem TrueNorth neuromorphen Chip von IBM', sagte Iqbal.

'Dies zeigt, dass wir Prinzipien aus der Neurowissenschaft auf echte Hardware übertragen können. Außerdem waren wir begeistert zu sehen, dass die Leistung von Vision-Transformern und anderen Deep-Learning-Modellen signifikant verbessert wurde, als wir unsere Gewinner- nimmt-alles-inspirierte Verarbeitung integrierten. Beispielsweise wurden die Modelle viel besser darin, sich auf neue Arten von Daten zu generalisieren, für die sie nicht trainiert wurden - eine Schlüsselherausforderung in der KI.'

Iqbal und seine Kollegen kombinierten die 'weiche Gewinner- nimmt-alles'-Berechnungen, die mit ihrem Ansatz durchgeführt wurden, mit einem auf Vision-Transformern basierenden Modell. Sie stellten fest, dass ihr Ansatz die Leistung des Modells bei einer digitalen Klassifizierungsaufgabe für vollständig 'unerkannte' Daten durch Null-Shot-Lernen signifikant verbesserte.

In Zukunft könnte ihr gehirninspirierter Rechenansatz auf andere KI-Systeme für eine Vielzahl von Anwendungen angewendet werden, einschließlich Computer Vision, medizinischer Bildanalyse und autonomer Fahrzeuge. In der Zwischenzeit planen die Forscher zu untersuchen, wie die gleichen gehirninspirierten Prinzipien, die ihrem Ansatz zugrunde liegen, genutzt werden könnten, um komplexere kognitive Aufgaben anzugehen.

'Wir sind besonders daran interessiert, Arbeitsgedächtnis- und Entscheidungsprozesse mit unserem Ansatz umzusetzen', fügte Iqbal hinzu.

'Wir planen auch zu untersuchen, wie wir Lernmechanismen, die vom Gehirn inspiriert sind, integrieren können, was zu KI-Systemen führen könnte, die effizienter lernen und sich anpassen können. Darüber hinaus sind wir daran interessiert, unseren Ansatz auf anderen aufkommenden neuromorphen Hardware-Plattformen zu testen, um die Kluft zwischen Neurowissenschaft und KI weiter zu überbrücken.'

Weitere Informationen: Asim Iqbal et al, Biologically Realistic Computational Primitives of Neocortex Implemented on Neuromorphic Hardware Improve Vision Transformer Performance, bioRxiv (2024). DOI: 10.1101/2024.10.06.616839

© 2024 Science X Network