Het verkennen van de fundamentele redeneervaardigheden van LLM's

31 augustus 2024 functie

Dit artikel is beoordeeld volgens het redactionele proces en de beleidsregels van Science X. Redacteuren hebben de volgende kenmerken benadrukt terwijl ze de geloofwaardigheid van de inhoud garanderen:

• gecontroleerde feiten
• preprint
• betrouwbare bron
• nagekeken

door Ingrid Fadelli, Tech Xplore

Redeneren, het proces waardoor mensen informatie mentaal verwerken om specifieke conclusies te trekken of problemen op te lossen, kan worden verdeeld in twee hoofdcategorieën. Het eerste type redeneren, bekend als deductief redeneren, houdt in dat men begint vanuit een algemene regel of premisse en vervolgens deze regel gebruikt om conclusies te trekken over specifieke gevallen.

Dit zou bijvoorbeeld kunnen betekenen dat men voortbouwt op de premisse dat 'alle honden oren hebben' en 'Chihuahua's zijn honden,' om tot de conclusie te komen dat 'chihuahua's oren hebben.'

De tweede veelgebruikte vorm van redeneren is inductief redeneren, wat in plaats daarvan bestaat uit generaliseren (d.w.z. het formuleren van algemene regels) op basis van specifieke observaties. Dit zou bijvoorbeeld kunnen betekenen dat men aanneemt dat alle zwanen wit zijn omdat alle zwanen die we tijdens ons leven zijn tegengekomen wit waren.

Talloze onderzoeken uit het verleden hebben onderzocht hoe mensen deductief en inductief redeneren in hun dagelijks leven. Maar tot nu toe is nauwelijks onderzocht in hoeverre kunstmatige intelligentie (AI)-systemen gebruik maken van deze verschillende redeneerstrategieën.

Een onderzoeksteam bij Amazon en de Universiteit van Californië in Los Angeles heeft onlangs een studie uitgevoerd naar de fundamentele redeneervaardigheden van grote taalmodellen (LLM's), grote AI-systemen die teksten in menselijke talen kunnen verwerken, genereren en aanpassen. Hun bevindingen, gepost op de arXiv preprint-server, suggereren dat deze modellen sterke inductieve redeneervaardigheden hebben, terwijl ze vaak zwak deductief redeneren vertonen.

Het doel van het onderzoek was om lacunes in het redeneren van LLM's beter te begrijpen en te identificeren waarom LLM's lagere prestaties vertonen voor 'contrafeitelijke' redeneertaken die afwijken van de norm.

Verschillende eerdere studies beoordeelden de deductieve redeneervaardigheden van LLM's door hun vermogen te testen om instructies op te volgen als onderdeel van basisredeneertaken. Maar hun inductieve redeneren (d.w.z. hun vermogen om algemene voorspellingen te doen op basis van de informatie die ze in het verleden hebben verwerkt) was niet nauwkeurig onderzocht.

Om inductief redeneren duidelijk te onderscheiden van deductief redeneren, introduceerden de onderzoekers een nieuw model, genaamd SolverLearner. Het model gebruikt een tweestapsbenadering om het proces van het leren van regels te scheiden van het proces van het toepassen ervan op specifieke gevallen. In het bijzonder worden de regels toegepast via externe tools, zoals code-interpreters, om niet afhankelijk te zijn van de deductieve redeneervaardigheden van de LLM, volgens een woordvoerder van Amazon.

Met behulp van het door hen ontwikkelde SolverLearner-framework heeft het team bij Amazon LLM's getraind om functies te leren die invoergegevenspunten in kaart brengen naar hun overeenkomstige uitvoer, met behulp van specifieke voorbeelden. Dit stelde hen in staat om te onderzoeken in hoeverre de modellen algemene regels konden leren op basis van de aan hen verstrekte voorbeelden.

De onderzoekers ontdekten dat LLM's een sterkere inductieve redeneervaardigheid hebben dan deductieve, vooral voor taken die betrekking hebben op 'contrafeitelijke' scenario's die afwijken van de norm. Deze bevindingen kunnen mensen helpen beter te begrijpen wanneer en hoe LLM's te gebruiken. Bijvoorbeeld, bij het ontwerpen van agentsystemen, zoals chatbots, kan het beter zijn om te profiteren van de sterke inductieve capaciteiten van de LLM's.

Over het algemeen ontdekten de onderzoekers dat LLM's opmerkelijk goed presteerden bij inductieve redeneertaken, maar vaak ontbrak het hen aan deductieve redeneervaardigheden. Hun deductieve redeneren leek vooral zwak te zijn in scenario's die gebaseerd waren op hypothetische aannames of afweken van de norm.

De resultaten die in dit onderzoek zijn verzameld, kunnen AI-ontwikkelaars inspireren om de sterke inductieve redeneervaardigheden van LLM's te benutten om specifieke taken aan te pakken. Bovendien kunnen ze de weg effenen voor verdere inspanningen gericht op het begrijpen van de redeneerprocessen van LLM's.

Volgens een woordvoerder van Amazon zou toekomstig onderzoek op dit gebied zich kunnen richten op het verkennen van hoe het vermogen van een LLM om informatie te comprimeren verband houdt met zijn sterke inductieve capaciteiten. Deze benadering kan de inductieve redeneervaardigheden van de LLM's verder verbeteren.

Meer informatie: Kewei Cheng et al, Inductief of Deductief? Het fundamentele redeneervermogen van LLMs heroverwegen, arXiv (2024). DOI: 10.48550/arxiv.2408.00114

© 2024 Science X Network