AI härmar neocortex beräkningar med en 'vinnare-tar-allt' metod.

25 oktober 2024 funktion

Den här artikeln har granskats enligt Science X:s redaktionella process och policyer. Redaktörerna har framhävt följande egenskaper samtidigt som de säkerställer innehållets trovärdighet:

faktagranskad

förtryckt

pålitlig källa

korrekturläst

av Ingrid Fadelli, Tech Xplore

Under det senaste decenniet har datavetenskapsmän utvecklat allt mer avancerade beräkningstekniker som kan hantera verkliga uppgifter med mänskligt jämförbar noggrannhet. Medan många av dessa artificiell intelligens (AI)-modeller har uppnått anmärkningsvärda resultat, replikerar de ofta inte exakt de beräkningar som utförs av den mänskliga hjärnan.

Forskare vid Tibbling Technologies, Broad Institute vid Harvard Medical School, The Australian National University och andra institut försökte nyligen använda AI för att härma en specifik typ av beräkning som utförs av kretsar i neocortex, känd som 'vinnare-tar-allt'-beräkningar.

Deras artikel, publicerad på bioRxiv preprintservern, rapporterar om den framgångsrika efterlikningen av denna beräkning och visar att genom att lägga till den i transformerbaserade modeller skulle kunna förbättra deras prestanda avsevärt på bildklassificeringsuppgifter.

'Vår senaste artikel inspirerades av den fantastiska beräkningsförmågan hos däggdjurshjärnan, särskilt neocortex,' berättade Asim Iqbal, försteförfattare av artikeln, för Tech Xplore.

'Vårt primära mål var att inspireras av hur hjärnan bearbetar information och tillämpa dessa principer för att förbättra artificiella intelligenssystem. Specifikt fokuserade vi på en beräkning som kallas 'vinnare-ta-allt' som verkar vara en grundläggande operation i kortikala kretsar.'

'Vinnare-tar-allt' är en biologisk mekanism som inträffar när en eller ett fåtal neuroner inom en uppsättning (dvs. den/de med högst aktiveringsnivå) påverkar utfallet av en beräkning. De mer aktiva neuronerna undertrycker i princip aktiviteten hos andra neuroner och blir de enda cellerna som bidrar till ett specifikt beslut eller en beräkning.

Iqbal och hans kollegor försökte realistiskt härma denna biologiska beräkning med hjälp av neuromorfisk hårdvara och sedan använda den för att förbättra prestandan hos väletablerade maskininlärningsmodeller. För att göra detta använde de IBMs TrueNorth neuromorfiska hårdvaruchip, som är speciellt utformat för att härma hjärnans organisation.

'Vår biologiska nätverksmodell syftar till att fånga nyckelfunktionerna i neokortikala kretsar och fokuserar på interaktioner mellan excitatoriska neuroner och fyra huvudtyper av inhibitoriska neuroner,' förklarade Iqbal.

'Modellen inkorporerar experimentellt mätta egenskaper hos dessa neuroner och deras anslutningar i den visuella cortexen. Dess viktigaste funktion är förmågan att implementera 'mjuka vinnare-ta-allt'-beräkningar, där de starkaste ingångarna förstärks medan svagare undertrycks.'

Genom att utföra dessa hjärninspirerade beräkningar kan teamets tillvägagångssätt förstärka viktiga signaler samtidigt som de filtrerar bort brus. Den främsta fördelen med deras NeuroAI-system är att det introducerar en ny biologiskt förankrad och ändå beräkningsmässigt effektiv metod för att bearbeta visuell information, vilket skulle kunna hjälpa till att förbättra prestandan hos AI-modeller.

'En av våra mest spännande prestationer var den framgångsrika implementeringen av våra hjärninspirerade beräkningar på IBMs TrueNorth neuromorfiska chip,' sa Iqbal.

'Detta visar att vi kan översätta principer från neurovetenskap till verklig hårdvara. Vi var också glada över att se betydande förbättringar i prestandan hos Vision Transformers och andra djupinlärningsmodeller när vi integrerade vår vinnare-tar-allt-inspirerade bearbetning. Till exempel blev modellerna mycket bättre på att generalisera till nya typer av data som de inte hade tränats på - en nyckelutmaning inom AI.'

Iqbal och hans kollegor kombinerade de mjuka vinnare-tar-allt-beräkningar som utfördes med deras tillvägagångssätt med en visionstransformatorbaserad modell. De fann att deras tillvägagångssätt märkbart förbättrade modellens prestanda på en digital klassificeringsuppgift för helt 'osedda' data genom noll-skottinlärning.

I framtiden kan deras hjärninspirerade datorteknik tillämpas på andra AI-system för en mängd olika tillämpningar, inklusive datorseende, medicinsk bildanalys och autonoma fordon. Samtidigt planerar forskarna att undersöka hur samma hjärninspirerade principer som ligger till grund för deras metod kan utnyttjas för att hantera mer komplexa kognitiva uppgifter.

'Vi är särskilt intresserade av att implementera arbetsminne och beslutprocesser med vårt tillvägagångssätt,' tillade Iqbal.

'Vi planerar också att undersöka hur vi kan inkorporera inlärningsmekanismer inspirerade av hjärnan, vilket skulle kunna leda till AI-system som kan lära sig och anpassa sig mer effektivt. Dessutom är vi angelägna att testa vår metod på andra framväxande neuromorfiska hårdvaruplattformar för att ytterligare överbrygga klyftan mellan neurovetenskap och AI.'

Mer information:                                             Asim Iqbal et al, Biologiskt realistiska beräkningsprimitiver av neocortex implementerade på neuromorfisk hårdvara förbättrar Vision Transformer-prestanda, bioRxiv (2024). DOI: 10.1101/2024.10.06.616839

© 2024 Science X Network