Flexibele multi-task berekening in recurrente neurale netwerken is afhankelijk van dynamische motieven, zo blijkt uit een studie.

16 augustus 2024 kenmerk

Dit artikel is beoordeeld volgens het redactionele proces en beleid van Science X. De redacteuren hebben de volgende kenmerken benadrukt waarbij de geloofwaardigheid van de inhoud wordt gegarandeerd:

• feiten gecontroleerd
• door vakgenoten beoordeelde publicatie
• betrouwbare bron
• nagelezen

door Ingrid Fadelli , Tech Xplore

Cognitieve flexibiliteit, het vermogen om snel te schakelen tussen verschillende gedachten en mentale concepten, is een zeer gunstige menselijke eigenschap. Deze opvallende eigenschap ondersteunt multitasking, het snel verwerven van nieuwe vaardigheden en de aanpassing aan nieuwe situaties.

Hoewel kunstmatige intelligentie (AI) systemen de afgelopen decennia steeds geavanceerder zijn geworden, vertonen ze momenteel niet dezelfde flexibiliteit als mensen bij het aanleren van nieuwe vaardigheden en het schakelen tussen taken. Een beter begrip van hoe biologische neurale circuits cognitieve flexibiliteit ondersteunen, met name hoe ze multitasking ondersteunen, kan toekomstige inspanningen informeren die gericht zijn op het ontwikkelen van meer flexibele AI.

Recentelijk hebben sommige computerwetenschappers en neurowetenschappers neurale berekeningen bestudeerd met behulp van kunstmatige neurale netwerken. Het merendeel van deze netwerken was echter over het algemeen getraind om specifieke taken afzonderlijk aan te pakken in plaats van meerdere taken.

In 2019 trainde een onderzoeksgroep van de Universiteit van New York, de Universiteit van Columbia, en de Universiteit van Stanford een enkel neuraal netwerk om 20 gerelateerde taken uit te voeren.

In een nieuw artikel dat is gepubliceerd in Nature Neuroscience, stelde een team van Stanford zich ten doel te onderzoeken wat dit neurale netwerk in staat stelt modulaire berekeningen uit te voeren, en zo meerdere verschillende taken aan te pakken.

'Flexibele berekening is een kenmerk van intelligent gedrag,' schreven Laura N. Driscoll, Krishna Shenoy en David Sussillo in hun artikel. 'Er is echter weinig bekend over hoe neurale netwerken contextueel worden geconfigureerd voor verschillende berekeningen. In het huidige werk hebben we een algoritmische neurale basis voor modulaire berekening geïdentificeerd door de studie van multitasking kunstmatige recurrente neurale netwerken.'

Het belangrijkste doel van het recente onderzoek van Driscoll, Shenoy en Sussillo was het onderzoeken van de mechanismen die ten grondslag liggen aan de berekeningen van recurrent verbonden kunstmatige neurale netwerken. Hun inspanningen stelden de onderzoekers in staat om een computationele basis van deze netwerken te identificeren die modulaire berekeningen mogelijk maakt, een basis die ze beschrijven met de term 'dynamische motieven'.

'Dynamische systeemanalyses onthulden geleerde berekeningsstrategieën die de modulaire subtaakstructuur van de trainingsset weerspiegelen,' schreven Driscoll, Shenoy en Sussillo. 'Dynamische motieven, die terugkerende patronen van neurale activiteit zijn die specifieke berekeningen implementeren via dynamiek, zoals attractoren, beslissingsgrenzen en rotaties, werden hergebruikt over taken. Bijvoorbeeld, taken die het geheugen van een continue cirkelvormige variabele vereisen, recycleerden dezelfde ringattractor.'

De onderzoekers voerden een reeks analyses uit, waaruit bleek dat in convolutionele neurale netwerken zogenaamde dynamische motieven worden geïmplementeerd door clusters van eenheden wanneer de eenheid activatiefunctie is beperkt tot positief te zijn. Bovendien bleek dat laesies aan deze eenheden een negatieve invloed hadden op het vermogen van de netwerken om modulaire berekeningen uit te voeren.

'Motieven werden geherconfigureerd voor snelle overdrachtsleren na een eerste leerfase,' schreven Driscoll, Shenoy en Sussillo. 'Dit werk bevestigt dynamische motieven als een fundamentele eenheid van samenstelbare berekening, tussen neuron en netwerk. Terwijl er volledige hersenstudies gelijktijdig activiteit registreren van meerdere gespecialiseerde systemen, zal het dynamische-motiefframework vragen over specialisatie en generalisatie leiden.'

Over het algemeen legt het recente onderzoek van dit team van onderzoekers een substraat bloot van convolutionele neurale netwerken dat aanzienlijk bijdraagt aan hun vermogen om effectief meerdere taken aan te kunnen pakken. In de toekomst zouden de bevindingen van dit werk zowel neurowetenschappelijk als informaticaonderzoek kunnen informeren, wat mogelijk leidt tot een beter begrip van de neurale processen die ten grondslag liggen aan cognitieve flexibiliteit en het ontwikkelen van nieuwe strategieën die deze processen in kunstmatige neurale netwerken nabootsen.

Meer informatie: Laura N. Driscoll et al, Flexible multitask computation in recurrent networks utilizes shared dynamical motifs, Nature Neuroscience (2024). DOI: 10.1038/s41593-024-01668-6

© 2024 Science X Network