Utforska de grundläggande resonemangsförmågorna hos LLM.

31 augusti 2024 inslag

Den här artikeln har granskats enligt Science X:s redaktionella process och policyer. Redaktörer har markerat följande attribut samtidigt som de säkerställer innehållets trovärdighet:

• faktagranskad
• förtryck
• pålitlig källa
• korrekturläs

av Ingrid Fadelli, Tech Xplore

Resonemang, den process genom vilken människor mentalt bearbetar information för att dra specifika slutsatser eller lösa problem, kan delas in i två huvudkategorier. Den första typen av resonemang, känd som deduktiva resonemang, innebär att man utgår från en generell regel eller premiss och sedan använder denna regel för att dra slutsatser om specifika fall.

Detta kan till exempel innebära att man bygger på premissen att "alla hundar har öron" och "Chihuahuas är hundar", för att dra slutsatsen att "chihuahuas har öron."

Den andra allmänt använda formen av resonemang är induktivt resonemang, som istället består av att generalisera (d.v.s. formulera allmänna regler) utifrån specifika observationer. Detta kan till exempel innebära att vi antar att alla svanar är vita eftersom alla svanar vi mötte under vår livstid var vita.

Flera tidigare forskningsstudier har undersökt hur människor använder deduktiva och induktiva resonemang i sin vardag. Ändå har det hittills sällan undersökts i vilken utsträckning system för artificiell intelligens (AI) använder dessa olika resonemangsstrategier.

Ett forskarlag vid Amazon och University of California Los Angeles genomförde nyligen en studie som utforskade de grundläggande resonemangsförmågorna hos stora språkmodeller (LLM), stora AI-system som kan bearbeta, generera och anpassa texter på mänskliga språk. Deras resultat, publicerade på arXiv preprint-server, tyder på att dessa modeller har starka induktiva resonemangsförmåga, medan de ofta uppvisar dåliga deduktiva resonemang.

Syftet med artikeln var att bättre förstå luckor i LLM-resonemang och identifiera varför LLM:s uppvisar lägre prestanda för "kontrafaktiska" resonemangsuppgifter som avviker från normen.

Olika tidigare studier bedömde LLM:ers deduktiva resonemangsförmåga genom att testa deras förmåga att följa instruktioner som en del av grundläggande resonemangsuppgifter. Ändå hade deras induktiva resonemang (d.v.s. deras förmåga att göra allmänna förutsägelser baserat på den information de bearbetade tidigare) inte undersökts noggrant.

För att tydligt skilja induktivt resonemang från deduktivt resonemang introducerade forskarna en ny modell, kallad SolverLearner. Modellen använder en tvåstegsmetod för att separera processen för att lära regler från den att tillämpa dem på specifika fall. I synnerhet tillämpas reglerna genom externa verktyg, som kodtolkare, för att undvika att förlita sig på LLM:s deduktiva resonemangsförmåga, enligt en talesman för Amazon.

Med hjälp av SolverLearner-ramverket de utvecklade, utbildade teamet på Amazon LLM:er att lära sig funktioner som kartlägger indatapunkter till deras motsvarande utdata, med hjälp av specifika exempel. Detta i sin tur gjorde det möjligt för dem att undersöka i vilken utsträckning modellerna kunde lära sig allmänna regler utifrån de exempel som de fick.

Forskarna fann att LLM:er har starkare induktiv resonemangsförmåga än deduktiv, särskilt för uppgifter som involverar "kontrafaktiska" scenarier som avviker från normen. Dessa fynd kan hjälpa människor att bättre förstå när och hur man använder LLM. Till exempel, när man designar agentsystem, som chatbots, kan det vara bättre att utnyttja LLM:ers starka induktiva kapacitet.

Sammantaget fann forskarna att LLM:er presterade anmärkningsvärt bra på induktiva resonemangsuppgifter, men de saknade ofta deduktiva resonemangsförmåga. Deras deduktiva resonemang verkade vara särskilt dåliga i scenarier som byggde på hypotetiska antaganden eller avvek från normen.

Resultaten som samlats in som en del av denna studie kan inspirera AI-utvecklare att dra nytta av LLM:ers starka induktiva resonemangsförmåga för att ta itu med specifika uppgifter. Dessutom skulle de kunna bana väg för ytterligare ansträngningar som syftar till att förstå LLM-resonemangsprocesser.

Enligt en talesperson för Amazon kan framtida forskning inom detta område fokusera på att utforska hur förmågan hos en LLM att komprimera information relaterar till dess starka induktiva kapacitet. Detta perspektiv kan ytterligare förbättra LLM:s induktiva resonemangsförmåga.

Mer information: Kewei Cheng et al, Induktiv eller deduktiv? Rethinking the Fundamental Reasoning Abilities of LLMs, arXiv (2024). DOI: 10.48550/arxiv.2408.00114

© 2024 Science X Network