La computation multitâche flexible dans les réseaux neuronaux récurrents repose sur des motifs dynamiques, montre une étude

16 sierpnia 2024 r. artykuł

Artykuł został sprawdzony zgodnie z procesem redakcyjnym i zasadami Science X. Redaktorzy podkreślili następujące atrybuty, zapewniając jednocześnie wiarygodność treści:

• sprawdzone pod kątem faktów
• publikacja recenzowana przez ekspertów
• zaufane źródło
• korekta

przez Ingrid Fadelli, Tech Xplore

Elastyczność poznawcza, czyli zdolność do szybkiego przełączania się między różnymi myślami i koncepcjami mentalnymi, jest niezwykle korzystną ludzką zdolnością. Ta wybitna zdolność wspiera wykonywanie wielu zadań na raz, szybkie nabywanie nowych umiejętności i adaptację do nowych sytuacji.

Chociaż systemy sztucznej inteligencji (AI) stały się coraz bardziej zaawansowane w ciągu ostatnich kilku dekad, obecnie nie wykazują takiej samej elastyczności jak ludzie w uczeniu się nowych umiejętności i przełączaniu się między zadaniami. Lepsze zrozumienie tego, w jaki sposób biologiczne obwody neuronowe wspierają elastyczność poznawczą, w szczególności w jaki sposób wspierają wykonywanie wielu zadań na raz, może stanowić podstawę przyszłych wysiłków mających na celu opracowanie bardziej elastycznej AI.

Ostatnio niektórzy informatycy i neurobiolodzy badają obliczenia neuronowe przy użyciu sztucznych sieci neuronowych. Większość tych sieci została jednak wytrenowana do samodzielnego wykonywania określonych zadań, a nie wielu zadań.

W 2019 r. grupa badawcza z New York University, Columbia University i Stanford University wytrenowała pojedynczą sieć neuronową do wykonywania 20 powiązanych zadań.

W nowym artykule opublikowanym w Nature Neuroscience zespół ze Stanford postanowił zbadać, co pozwala tej sieci neuronowej wykonywać obliczenia modułowe, zajmując się w ten sposób kilkoma różnymi zadaniami.

„Elastyczne obliczenia są cechą charakterystyczną inteligentnego zachowania” — napisali w swoim artykule Laura N. Driscoll, Krishna Shenoy i David Sussillo. „Jednak niewiele wiadomo o tym, w jaki sposób sieci neuronowe kontekstowo rekonfigurują się do różnych obliczeń. W niniejszej pracy zidentyfikowaliśmy algorytmiczny substrat neuronowy do obliczeń modułowych poprzez badanie wielozadaniowych sztucznych rekurencyjnych sieci neuronowych”.

Głównym celem niedawnego badania przeprowadzonego przez Driscolla, Shenoya i Sussillo było zbadanie mechanizmów leżących u podstaw obliczeń rekurencyjnie połączonych sztucznych sieci neuronowych. Ich wysiłki pozwoliły badaczom zidentyfikować obliczeniowe podłoże tych sieci, które umożliwia modułowe obliczenia, podłoże, które opisują terminem „motywy dynamiczne”.

„Analizy systemów dynamicznych ujawniły wyuczone strategie obliczeniowe odzwierciedlające modułową strukturę podzadań zestawu zadań szkoleniowych” — napisali Driscoll, Shenoy i Sussillo. „Motywy dynamiczne, które są powtarzającymi się wzorcami aktywności neuronowej, które wdrażają określone obliczenia za pomocą dynamiki, takiej jak atraktory, granice decyzyjne i obroty, były ponownie wykorzystywane w różnych zadaniach. Na przykład zadania wymagające pamięci ciągłej zmiennej kołowej wykorzystywały ponownie ten sam atraktor pierścieniowy”.

Naukowcy przeprowadzili szereg analiz, które ujawniły, że w sieciach neuronowych splotowych, tzw. motywy dynamiczne są implementowane przez klastry jednostek, gdy funkcja aktywacji jednostki jest ograniczona do dodatniej. Co więcej, stwierdzono, że uszkodzenia tych jednostek niekorzystnie wpływają na zdolność sieci do wykonywania obliczeń modułowych.

„Motywy zostały przekonfigurowane w celu szybkiego uczenia transferowego po początkowej fazie uczenia się” — napisali Driscoll, Shenoy i Sussillo. „Ta praca ustanawia motywy dynamiczne jako podstawową jednostkę obliczeń kompozycyjnych, pośrednią między neuronem a siecią. Ponieważ badania całego mózgu jednocześnie rejestrują aktywność z wielu wyspecjalizowanych systemów, struktura motywów dynamicznych będzie stanowić wskazówkę dotyczącą specjalizacji i generalizacji”.

Ogólnie rzecz biorąc, ostatnie badanie przeprowadzone przez ten zespół badaczy wskazuje podłoże sieci neuronowych splotowych, które znacząco przyczynia się do ich zdolności do skutecznego radzenia sobie z wieloma zadaniami. W przyszłości wyniki tej pracy mogą posłużyć zarówno badaniom z zakresu neuronauki, jak i informatyki, co potencjalnie doprowadzi do lepszego zrozumienia procesów neuronalnych leżących u podstaw elastyczności poznawczej i umożliwi opracowanie nowych strategii, które naśladują te procesy w sztucznych sieciach neuronowych.

Więcej informacji: Laura N. Driscoll i in., Flexible multitask computation in recurrent networks utilizes shared dynamical motifs, Nature Neuroscience (2024). DOI: 10.1038/s41593-024-01668-6

© 2024 Science X Network