Erkundung der grundlegenden Denkfähigkeiten von LLMs

31. August 2024 Funktion

Dieser Artikel wurde gemäß dem redaktionellen Prozess und den Richtlinien von Science X überprüft. Die Herausgeber haben die folgenden Merkmale hervorgehoben und dabei die Glaubwürdigkeit des Inhalts sichergestellt:

• Fakt-Check
• Preprint
• Vertrauenswürdige Quelle
• Lektorat

von Ingrid Fadelli, Tech Xplore

Das Denken, der Prozess, durch den Menschen Informationen mental verarbeiten, um spezifische Schlussfolgerungen zu ziehen oder Probleme zu lösen, kann in zwei Hauptkategorien unterteilt werden. Der erste Typ des Denkens, bekannt als deduktives Denken, beinhaltet das Ausgangen von einer allgemeinen Regel oder Voraussetzung und dann das Verwenden dieser Regel, um Schlussfolgerungen über spezielle Fälle zu ziehen.

Dies könnte beispielsweise bedeuten, dass auf der Voraussetzung aufgebaut wird, dass 'alle Hunde Ohren haben' und 'Chihuahuas Hunde sind', um zu dem Schluss zu kommen, dass 'Chihuahuas Ohren haben.'

Die zweitweit verbreitete Form des Denkens ist das induktive Denken, das stattdessen darin besteht, zu verallgemeinern (d.h. allgemeine Regeln zu formulieren) basierend auf spezifischen Beobachtungen. Dies könnte beispielsweise bedeuten, anzunehmen, dass alle Schwäne weiß sind, weil alle Schwäne, die wir in unserem Leben getroffen haben, weiß waren.

Zahlreiche vergangene Forschungsstudien haben untersucht, wie Menschen deduktives und induktives Denken in ihrem täglichen Leben nutzen. Doch das Ausmaß, in dem künstliche Intelligenz (KI)-Systeme diese unterschiedlichen Denkstrategien anwenden, wurde bisher selten erforscht.

Ein Forschungsteam bei Amazon und der University of California Los Angeles führte kürzlich eine Studie durch, die die grundlegenden Denkfähigkeiten großer Sprachmodelle (LLMs) untersuchte, große KI-Systeme, die Texte in menschlichen Sprachen verarbeiten, erstellen und anpassen können. Deren Ergebnisse, veröffentlicht auf dem arXiv-Preprint-Server, legen nahe, dass diese Modelle starke induktive Denkfähigkeiten haben, während sie oft schwaches deduktives Denken zeigen.

Ziel des Papers war es, die Lücken im Denken von LLMs besser zu verstehen und zu identifizieren, warum LLMs eine niedrigere Leistung bei "kontrafaktischem" Denken aufweisen, das von der Norm abweicht.

Verschiedene Studien in der Vergangenheit bewerteten die deduktiven Denkfähigkeiten von LLMs, indem sie deren Fähigkeit testeten, Anweisungen im Rahmen von grundlegenden Denkaufgaben zu befolgen. Doch deren induktives Denken (d.h. ihre Fähigkeit, allgemeine Vorhersagen basierend auf den Informationen zu machen, die sie in der Vergangenheit verarbeitet haben) wurde bisher nicht genau untersucht.

Um das induktive Denken klar vom deduktiven Denken abzugrenzen, führten die Forscher ein neues Modell namens SolverLearner ein. Das Modell verwendet einen zweistufigen Ansatz, um den Prozess des Erlernens von Regeln von dem des Anwendens auf spezifische Fälle zu trennen. Insbesondere werden die Regeln durch externe Tools wie Codeinterpretern angewendet, um nicht auf die deduktive Denkfähigkeit der LLMs angewiesen zu sein, so ein Sprecher von Amazon.

Mit dem von ihnen entwickelten SolverLearner-Framework trainierte das Team bei Amazon LLMs, um Funktionen zu erlernen, die Eingabedatenpunkte mit ihren entsprechenden Ausgaben abbilden, unter Verwendung spezifischer Beispiele. Dadurch konnten sie untersuchen, inwieweit die Modelle allgemeine Regeln basierend auf den ihnen zur Verfügung gestellten Beispielen lernen konnten.

Die Forscher fanden heraus, dass LLMs eine stärkere induktive Denkfähigkeit als deduktive haben, insbesondere bei Aufgaben, die "kontrafaktische" Szenarien einschließen, die von der Norm abweichen. Diese Erkenntnisse können Menschen helfen, besser zu verstehen, wann und wie man LLMs einsetzen sollte. Beispielsweise könnte es bei der Gestaltung von Agentensystemen wie Chatbots besser sein, die starken induktiven Fähigkeiten von LLMs zu nutzen.

Insgesamt stellten die Forscher fest, dass LLMs bei induktiven Denkaufgaben bemerkenswert gut abschnitten, aber oft an deduktiven Denkfähigkeiten mangelten. Ihr deduktives Denken schien insbesondere schlecht zu sein bei Szenarien, die auf hypothetischen Annahmen beruhten oder von der Norm abwichen.

Die im Rahmen dieser Studie gesammelten Ergebnisse könnten KI-Entwickler dazu inspirieren, die starken induktiven Denkfähigkeiten von LLMs zu nutzen, um spezifische Aufgaben anzugehen. Darüber hinaus könnten sie den Weg für weitere Bemühungen ebnen, die darauf abzielen, die Prozesse des LLM-Denkens zu verstehen.

Laut einem Sprecher von Amazon könnte zukünftige Forschung in diesem Bereich darauf abzielen, zu erforschen, wie die Fähigkeit eines LLM zur Informationskomprimierung mit seinen starken induktiven Fähigkeiten zusammenhängt. Diese Perspektive könnte die induktiven Denkfähigkeiten des LLMs weiter verbessern.

Mehr Informationen: Kewei Cheng et al, Inductive or Deductive? Rethinking the Fundamental Reasoning Abilities of LLMs, arXiv (2024). DOI: 10.48550/arxiv.2408.00114

© 2024 Science X Network