Flexibel multitasking-beräkning i återkommande neurala nätverk bygger på dynamiska motiv, visar studien

16 augusti 2024

Denna artikel har granskats enligt Science X redaktionella process och policys. Redaktörerna har framhävt följande attribut samtidigt som de säkerställt innehållets trovärdighet:

• faktagranskad
• peer-reviewad publikation
• pålitlig källa
• korrekturläst

av Ingrid Fadelli, Tech Xplore

Kognitiv flexibilitet, förmågan att snabbt byta mellan olika tankar och mentala koncept, är en mycket fördelaktig mänsklig förmåga. Denna framträdande förmåga stöder multitasking, snabb inlärning av nya färdigheter och anpassning till nya situationer.

Även om artificiella intelligenssystem (AI) har blivit alltmer avancerade under de senaste decennierna, uppvisar de för närvarande inte samma flexibilitet som människor när det gäller att lära sig nya färdigheter och byta mellan uppgifter. En bättre förståelse för hur biologiska neurala kretsar stöder kognitiv flexibilitet, särskilt hur de stöder multitasking, skulle kunna informera framtida ansträngningar för att utveckla mer flexibla AI.

Nyligen har vissa datavetare och neurovetenskapsmän studerat neurala beräkningar med artificiella neurala nätverk. De flesta av dessa nätverk var dock generellt tränade för att hantera specifika uppgifter individuellt istället för flera uppgifter.

År 2019 tränade en forskningsgrupp vid New York University, Columbia University och Stanford University ett enda neuralt nätverk för att utföra 20 relaterade uppgifter.

I en ny artikel publicerad i Nature Neuroscience, en grupp vid Stanford, undersökte vad som möjliggör att detta neurala nätverk utför modulära beräkningar och därmed hanterar flera olika uppgifter.

'Flexibel beräkning är ett kännetecken för intelligent beteende,' skrev Laura N. Driscoll, Krishna Shenoy och David Sussillo i sin artikel. 'Dock är det lite känt om hur neurala nätverk omstrukturerar sig för olika beräkningar. I det nuvarande arbetet identifierade vi en algoritmisk neural substrat för modulär beräkning genom att studera fleruppgifts artificiella recurrenta neurala nätverk.'

Det huvudsakliga syftet med den senaste studien av Driscoll, Shenoy och Sussillo var att undersöka de mekanismer som ligger till grund för beräkningarna av återkommande anslutna artificiella neurala nätverk. Deras ansträngningar gjorde det möjligt för forskarna att identifiera ett beräkningsmässigt substrat för dessa nätverk som möjliggör modulära beräkningar, ett substrat som de beskriver med termen 'dynamiska motiv.'

'Analys av dynamiska system avslöjade inlärda beräkningsstrategier som speglar den modulära deluppgiftstruktur av uppgiftsuppsättningen,' skrev Driscoll, Shenoy och Sussillo. 'Dynamiska motiv, som återkommande mönster av neural aktivitet som implementerar specifika beräkningar genom dynamik, som attraktorer, beslutningsgränser och rotationer, återanvändes över uppgifter. Till exempel återanvände uppgifter som kräver minne av en kontinuerlig cirkulär variabel samma ringattraktor.'

Forskarna genomförde en serie analyser, som visade att i konvolutionella neurala nätverk implementeras så kallade dynamiska motiv av kluster av enheter när enheternas aktiveringsfunktion är begränsad till att vara positiv. Dessutom visade det sig att lesioner till dessa enheter negativt påverkade nätverkens förmåga att utföra modulära beräkningar.

'Motiv omkonfigurerades för snabb överföringsinlärning efter en inledande inlärningsfas,' skrev Driscoll, Shenoy och Sussillo 'Detta arbete fastställer dynamiska motiv som en grundläggande enhet av sammansatt beräkning, mellan neuron och nätverk. När helhjärnstudier samtidigt registrerar aktivitet från flera specialiserade system, kommer dynamiska motivramverket att vägleda frågor om specialisering och generalisering.'

Sammanfattningsvis pekar den senaste studien av detta forskarteam ut ett substrat av konvolutionella neurala nätverk som i hög grad bidrar till deras förmåga att effektivt hantera flera uppgifter. I framtiden kan resultaten från detta arbete informera både neurovetenskap och datavetenskaplig forskning, vilket potentiellt kan leda till en förbättrad förståelse för de neurala processerna som ligger till grund för kognitiv flexibilitet och informera utvecklingen av nya strategier som efterliknar dessa processer i artificiella neurala nätverk.

Mer information: Laura N. Driscoll et al, Flexible multitask computation in recurrent networks utilizes shared dynamical motifs, Nature Neuroscience (2024). DOI: 10.1038/s41593-024-01668-6

© 2024 Science X Network