AI bootst 'winnaar-neemt-alles'-benadering na met neocortex berekeningen

25 oktober 2024 functie

Dit artikel is beoordeeld volgens de redactionele processen en beleidslijnen van Science X. De redacteuren hebben de volgende eigenschappen benadrukt terwijl ze de geloofwaardigheid van de inhoud waarborgden:

gecontroleerd op feiten

preprint

betrouwbare bron

nagelezen

door Ingrid Fadelli , Tech Xplore

In de afgelopen tien jaar hebben computerwetenschappers steeds geavanceerdere rekenmethoden ontwikkeld die real-world taken met menselijke nauwkeurigheid kunnen aanpakken. Hoewel veel van deze kunstmatige intelligentie (AI) modellen opmerkelijke resultaten hebben behaald, repliceren ze vaak niet nauwkeurig de berekeningen die worden uitgevoerd door de menselijke hersenen.

Onderzoekers van Tibbling Technologies, Broad Institute aan de Harvard Medical School, The Australian National University en andere instituten hebben recentelijk geprobeerd om AI te gebruiken om een specifiek type berekening uit te voeren die door circuits in de neocortex worden uitgevoerd, bekend als 'winner-take-all' berekeningen.

Hun paper, gepubliceerd op de bioRxiv preprint-server, meldt een succesvolle emulatie van deze berekening en laat zien dat het toevoegen ervan aan op transformer-gebaseerde modellen aanzienlijk de prestaties kan verbeteren bij beeldclassificatietaken.

'Onze recente paper was geïnspireerd door de ongelooflijke rekenkracht van de zoogdierenhersenen, met name de neocortex,' zei Asim Iqbal, eerste auteur van de paper, tegen Tech Xplore.

'Ons hoofddoel was om inspiratie te halen uit hoe de hersenen informatie verwerken en die principes toe te passen om kunstmatige intelligentiesystemen te verbeteren. Specifiek richtten we ons op een berekening genaamd 'winner-take-all' die lijkt een fundamentele operatie in corticale circuits te zijn.'

'Winner-take-all' is een biologisch mechanisme dat optreedt wanneer één of een paar neuronen binnen een set (bijv. degene met het hoogste activeringsniveau) invloed hebben op de uitkomst van een berekening. De actievere neuronen onderdrukken in wezen de activiteit van andere neuronen en worden de enige cellen die bijdragen aan een specifieke beslissing of berekening.

Iqbal en zijn collega's probeerden deze biologische berekening realistisch na te bootsen met behulp van neuromorfische hardware en deze vervolgens te gebruiken om de prestaties van gevestigde machine learning modellen te verbeteren. Hiervoor gebruikten ze IBM's TrueNorth neuromorfische hardware-chip, die speciaal is ontworpen om de organisatie van de hersenen na te bootsen.

'Ons biofysisch-netwerkmodel heeft als doel de belangrijkste kenmerken van neocorticale circuits vast te leggen, met een focus op de interacties tussen excitatoire neuronen en vier belangrijke typen inhibitieve neuronen,' legde Iqbal uit.

'Het model omvat experimenteel gemeten eigenschappen van deze neuronen en hun verbindingen in de visuele cortex. Het belangrijkste kenmerk is het vermogen om 'zachte winner-take-all' berekeningen uit te voeren, waarbij de sterkste inputs worden versterkt terwijl zwakkere worden onderdrukt.'

Door deze op de hersenen geïnspireerde berekeningen uit te voeren, kan de benadering van het team belangrijke signalen verbeteren en ruis filteren. Het belangrijkste voordeel van hun NeuroAI-systeem is dat het een nieuwe, biologisch gefundeerde en toch rekenkundig efficiënte benadering introduceert voor de verwerking van visuele informatie, wat zou kunnen helpen om de prestaties van AI-modellen te verbeteren.

'Een van onze meest opwindende prestaties was de succesvolle implementatie van onze op de hersenen geïnspireerde berekeningen op de TrueNorth neuromorfische chip van IBM,' zei Iqbal.

'Dit toont aan dat we principes vanuit de neurowetenschap kunnen vertalen naar echte hardware. We waren ook verheugd te zien dat er aanzienlijke verbeteringen waren in de prestaties van Vision Transformers en andere diepe lerende modellen toen we onze winner-take-all-geïnspireerde verwerking incorporeerden. Bijvoorbeeld: de modellen werden veel beter in het generaliseren naar nieuwe soorten data waar ze niet op waren getraind—een belangrijke uitdaging in AI.'

Iqbal en zijn collega's combineerden de zachte winnaar neemt alle berekeningen die zijn uitgevoerd met hun benadering met een op vision transformer-gebaseerd model. Ze ontdekten dat hun benadering de prestaties van het model aanzienlijk verbeterde bij een digitale classificatietaak voor volledig 'ongeziene' data via zero-shot learning.

In de toekomst zou hun op de hersenen geïnspireerde rekenbenadering kunnen worden toegepast op andere AI-systemen voor een breed scala aan toepassingen, waaronder computervisie, medische beeldanalyse en autonome voertuigen. Ondertussen zijn de onderzoekers van plan om te onderzoeken hoe dezelfde op de hersenen geïnspireerde principes die aan de basis liggen van hun benadering kunnen worden benut om complexere cognitieve taken aan te pakken.

'We zijn vooral geïnteresseerd in het implementeren van werkgeheugen en besluitvormingsprocessen met behulp van onze aanpak,' voegde Iqbal toe.

'We zijn ook van plan om te onderzoeken hoe we leermiddelen geïnspireerd door de hersenen kunnen opnemen, wat zou kunnen leiden tot AI-systemen die efficiënter kunnen leren en zich aanpassen. Bovendien zijn we enthousiast om onze aanpak te testen op andere opkomende neuromorfe hardware platforms om de kloof tussen neurowetenschappen en AI verder te overbruggen.'

Meer informatie: Asim Iqbal et al, Biologically Realistic Computational Primitives of Neocortex Implemented on Neuromorphic Hardware Improve Vision Transformer Performance, bioRxiv (2024). DOI: 10.1101/2024.10.06.616839

© 2024 Science X Network