Esplorare le capacità di ragionamento fondamentali dei LLMs

31 agosto 2024

Questo articolo è stato revisionato secondo il processo editoriale e le politiche di Science X. Gli editori hanno evidenziato i seguenti attributi garantendo la credibilità dei contenuti:

• verifica dei fatti
• previsione
• fonte affidabile
• corretto

di Ingrid Fadelli, Tech Xplore

Il ragionamento, il processo attraverso il quale gli esseri umani elaborano mentalmente le informazioni per trarre conclusioni specifiche o risolvere problemi, può essere diviso in due categorie principali. Il primo tipo di ragionamento, noto come ragionamento deduttivo, comporta partire da una regola o premessa generale e poi utilizzare questa regola per trarre conclusioni su casi specifici.

Questo potrebbe significare, ad esempio, partire dalla premessa che 'tutti i cani hanno le orecchie' e 'i chihuahua sono cani,' per concludere che 'i chihuahua hanno le orecchie.'

La seconda forma di ragionamento ampiamente utilizzata è il ragionamento induttivo, che consiste invece nella generalizzazione (cioè nella formulazione di regole generali) basata su osservazioni specifiche. Questo potrebbe significare, ad esempio, assumere che tutti i cigni siano bianchi perché tutti i cigni che abbiamo incontrato durante la nostra vita erano bianchi.

Numerose ricerche passate hanno indagato su come gli esseri umani utilizzano il ragionamento deduttivo e induttivo nella vita di tutti i giorni. Tuttavia, finora, si è esplorata raramente l'estensione in cui i sistemi di intelligenza artificiale (IA) impiegano queste differenti strategie di ragionamento.

Un team di ricerca presso Amazon e l'Università della California a Los Angeles ha recentemente condotto uno studio esplorando le capacità di ragionamento fondamentali dei grandi modelli di linguaggio (LLM), grandi sistemi di IA che possono elaborare, generare e adattare testi in lingue umane. I loro risultati, pubblicati sul server preprint arXiv, suggeriscono che questi modelli hanno forti capacità di ragionamento induttivo, mentre spesso mostrano scarso ragionamento deduttivo.

L'obiettivo del paper era comprendere meglio le lacune nel ragionamento dei LLM e identificare il motivo per cui i LLM mostrano prestazioni inferiori per compiti di ragionamento "controfattuale" che si discostano dalla norma.

Diverse ricerche passate hanno valutato le capacità di ragionamento deduttivo dei LLM testando la loro capacità di seguire istruzioni come parte di compiti di ragionamento di base. Tuttavia il loro ragionamento induttivo (cioè la capacità di fare previsioni generali sulla base delle informazioni processate in passato) non era stato esaminato attentamente.

Per distinguere chiaramente il ragionamento induttivo da quello deduttivo, i ricercatori hanno introdotto un nuovo modello, chiamato SolverLearner. Il modello utilizza un approccio a due fasi per separare il processo di apprendimento delle regole da quello di applicarle a casi specifici. In particolare, le regole sono applicate attraverso strumenti esterni, come interpreti di codice, per evitare di fare affidamento sulla capacità di ragionamento deduttivo del LLM, secondo un portavoce di Amazon.

Utilizzando il framework SolverLearner che hanno sviluppato, il team di Amazon ha addestrato i LLM per apprendere funzioni che mappano i punti di dati di input alle relative uscite, utilizzando esempi specifici. Ciò ha permesso loro di indagare fino a che punto i modelli potessero apprendere regole generali basate sugli esempi forniti loro.

I ricercatori hanno scoperto che i LLM hanno una capacità di ragionamento induttivo più forte rispetto al ragionamento deduttivo, specialmente per i compiti che coinvolgono scenari "controfattuali" che si discostano dalla norma. Questi risultati possono aiutare le persone a capire meglio quando e come utilizzare i LLM. Ad esempio, quando si progettano sistemi di agenti, come chatbot, potrebbe essere meglio sfruttare le forti capacità induttive dei LLM.

Complessivamente, i ricercatori hanno scoperto che i LLM hanno svolto eccezionalmente bene i compiti di ragionamento induttivo, ma spesso mancavano di capacità di ragionamento deduttivo. Il loro ragionamento deduttivo sembrava essere particolarmente scarso negli scenari basati su ipotesi o situazioni che si discostavano dalla norma.

I risultati raccolti come parte di questo studio potrebbero ispirare gli sviluppatori di IA a sfruttare le forti capacità di ragionamento induttivo dei LLM per affrontare compiti specifici. Inoltre, potrebbero aprire la strada a ulteriori sforzi mirati a comprendere i processi di ragionamento dei LLM.

Secondo un portavoce di Amazon, future ricerche in questo ambito potrebbero concentrarsi sull'esplorare come la capacità di un LLM di comprimere le informazioni si relazioni con le sue solide capacità di ragionamento induttivo. Questa prospettiva potrebbe migliorare ulteriormente le capacità di ragionamento induttivo del LLM.

Maggiori informazioni: Kewei Cheng et al, Induttivo o Deduttivo? Rivedere le Capacità di Ragionamento Fondamentali dei LLM, arXiv (2024). DOI: 10.48550/arxiv.2408.00114

© 2024 Science X Network