Explorando las habilidades fundamentales de razonamiento de los LLMs

31 de agosto de 2024 característica

Este artículo ha sido revisado de acuerdo con el proceso editorial y las políticas de Science X. Los editores han destacado los siguientes atributos mientras aseguran la credibilidad del contenido:

• verificado por hechos
• preimpreso
• fuente confiable
• corregido

por Ingrid Fadelli, Tech Xplore

El razonamiento, el proceso a través del cual los seres humanos procesan mentalmente la información para llegar a conclusiones específicas o resolver problemas, puede dividirse en dos categorías principales. El primer tipo de razonamiento, conocido como razonamiento deductivo, implica partir de una regla o premisa general y luego usar esta regla para sacar conclusiones sobre casos específicos.

Esto podría significar, por ejemplo, partir de la premisa de que 'todos los perros tienen orejas' y 'los chihuahuas son perros', para concluir que 'los chihuahuas tienen orejas'.

La segunda forma de razonamiento ampliamente utilizada es el razonamiento inductivo, que consiste en generalizar (es decir, formular reglas generales) basándose en observaciones específicas. Por ejemplo, esto podría significar asumir que todos los cisnes son blancos porque todos los cisnes que encontramos durante nuestra vida eran blancos.

Investigaciones pasadas han explorado cómo los humanos usan el razonamiento deductivo e inductivo en su vida cotidiana. Sin embargo, hasta ahora, rara vez se ha explorado en qué medida los sistemas de inteligencia artificial (IA) emplean estas estrategias de razonamiento diferentes.

Recientemente, un equipo de investigación en Amazon y la Universidad de California en Los Ángeles llevó a cabo un estudio para explorar las habilidades de razonamiento fundamentales de los modelos de lenguaje grandes (LLMs), que son sistemas de IA grandes que pueden procesar, generar y adaptar textos en idiomas humanos. Sus hallazgos, publicados en el servidor de preimpresión arXiv, sugieren que estos modelos tienen fuertes capacidades de razonamiento inductivo, mientras que a menudo muestran un razonamiento deductivo deficiente.

El objetivo del artículo fue comprender mejor las lagunas en el razonamiento de LLM y identificar por qué estos modelos muestran un rendimiento inferior en tareas de razonamiento 'contrafactual' que se desvían de la norma.

Varios estudios previos evaluaron las habilidades de razonamiento deductivo de LLMs probando su capacidad para seguir instrucciones como parte de tareas de razonamiento básicas. Sin embargo, su razonamiento inductivo (es decir, su capacidad para hacer predicciones generales basadas en la información procesada en el pasado) no se había examinado de cerca.

Para distinguir claramente el razonamiento inductivo del deductivo, los investigadores introdujeron un nuevo modelo, llamado SolverLearner. El modelo utiliza un enfoque de dos pasos para separar el proceso de aprender reglas del de aplicarlas a casos específicos. En particular, las reglas se aplican a través de herramientas externas, como intérpretes de código, para evitar depender de la capacidad de razonamiento deductivo de la LLM, según un portavoz de Amazon.

Usando el marco SolverLearner que desarrollaron, el equipo de Amazon entrenó a LLMs para aprender funciones que mapean puntos de datos de entrada a sus salidas correspondientes, utilizando ejemplos específicos. Esto les permitió investigar en qué medida los modelos podían aprender reglas generales basadas en los ejemplos proporcionados.

Los investigadores encontraron que los LLMs tienen una capacidad de razonamiento inductivo más fuerte que deductiva, especialmente para tareas que involucran escenarios 'contrafácticos' que se desvían de la norma. Estos hallazgos pueden ayudar a las personas a comprender mejor cuándo y cómo usar LLMs. Por ejemplo, al diseñar sistemas de agentes, como chatbots, podría ser mejor aprovechar las fuertes capacidades inductivas de los LLMs.

En general, los investigadores encontraron que los LLMs se desempeñaron notablemente bien en tareas de razonamiento inductivo, sin embargo, a menudo carecían de habilidades de razonamiento deductivo. Su razonamiento deductivo parecía ser particularmente deficiente en escenarios basados en suposiciones hipotéticas o que se desvían de la norma.

Los resultados recopilados como parte de este estudio podrían inspirar a los desarrolladores de IA a aprovechar las fuertes capacidades de razonamiento inductivo de los LLMs para abordar tareas específicas. Además, podrían allanar el camino para mayores esfuerzos destinados a comprender los procesos de razonamiento de los LLMs.

Según un portavoz de Amazon, futuras investigaciones en esta área podrían centrarse en explorar cómo la habilidad de un LLM para comprimir la información se relaciona con sus capacitades de razonamiento inductivo. Esta perspectiva podría mejorar aún más las capacidades de razonamiento inductivo de los LLMs.

Más información: Kewei Cheng et al, Inductivo o Deductivo? Repensando las Habilidades de Razonamiento Fundamentales de los LLMs, arXiv (2024). DOI: 10.48550/arxiv.2408.00114

© 2024 Science X Network