Badanie podstawowych umiejętności logicznego myślenia LLMs

31 sierpnia 2024                                                          funkcja

Ten artykuł został zweryfikowany zgodnie z procesem redakcyjnym                                                          oraz zasadami Science X.                                                          Redaktorzy zwrócili uwagę na                                                          następujące cechy, zapewniając prawdziwość treści:

• sprawdzona faktycznie
• przedruk
• zaufane źródło
• oprofowane

przez Ingrid Fadelli , Tech Xplore

Rozumowanie, proces, dzięki któremu ludzie przetwarzają informacje w celu wyciągnięcia konkretnych wniosków lub rozwiązania problemów, można podzielić na dwie główne kategorie. Pierwszy rodzaj rozumowania, zwany rozumowaniem dedukcyjnym, polega na wyjściu od ogólnej reguły lub założenia, a następnie wykorzystywaniu tej reguły do wyciągania wniosków na temat konkretnych przypadków.

Może to oznaczać na przykład oparcie się na założeniu, że "wszystkie psy mają uszy" i "Chihuahua to psy," aby wyciągnąć wniosek, że "chihuahua mają uszy."

Drugi szeroko stosowany rodzaj rozumowania to rozumowanie indukcyjne, które zamiast tego polega na uogólnianiu (tj. formułowaniu ogólnych reguł) na podstawie konkretnych obserwacji. Może to oznaczać na przykład postawienie założenia, że wszystkie łabędzie są białe, ponieważ wszystkie spotkane w naszym życiu łabędzie były białe.

Wiele przeszłych badań naukowych badało, w jaki sposób ludzie wykorzystują rozumowanie dedukcyjne i indukcyjne w swoim codziennym życiu. Jednak w jakim stopniu sztuczna inteligencja (AI) wykorzystuje te różne strategie rozumowania, jak dotąd rzadko było badane.

Zespół badawczy z Amazonu i University of California Los Angeles przeprowadził niedawno badanie mające na celu zbadanie podstawowych umiejętności rozumowania dużych modeli języka (LLM), dużych systemów AI, które potrafią przetwarzać, generować i dostosowywać teksty w językach ludzkich. Ich ustalenia, opublikowane na serwerze przedruku arXiv, sugerują, że te modele posiadają silne zdolności indukcyjnego rozumowania, podczas gdy często wykazują słabe zdolności dedukcyjnego rozumowania.

Celem artykułu było lepsze zrozumienie luk w rozumowaniu LLM i zidentyfikowanie powodów niższej wydajności LLM w zadaniach rozumowania "kontrfaktycznego", które odbiegają od normy.

Różne przeszłe badania oceniały umiejętności rozumowania dedukcyjnego LLM poprzez testowanie ich zdolności do stosowania instrukcji w ramach podstawowych zadań rozumowania. Jednak ich rozumowanie indukcyjne (tj. ich zdolność do tworzenia ogólnych prognoz na podstawie przetworzonej wcześniej informacji) nie było dotąd dokładnie badane.

Aby jasno odróżnić rozumowanie indukcyjne od dedukcyjnego, badacze przedstawili nowy model o nazwie SolverLearner. Model ten stosuje podejście dwuetapowe do oddzielenia procesu nauki reguł od procesu ich stosowania do konkretnych przypadków. W szczególności reguły są stosowane za pomocą zewnętrznych narzędzi, takich jak interpretatory kodu, aby uniknąć polegania na zdolności dedukcyjnego rozumowania LLM - powiedział przedstawiciel Amazonu.

Korzystając z opracowanego przez siebie frameworka SolverLearner, zespół w Amazonie przeszkolił LLM do nauki funkcji mapujących punkty danych wejściowych na odpowiadające im wyniki za pomocą konkretnych przykładów. Dzięki temu mogli zbadać w jakim stopniu modele potrafią nauczyć się ogólnych reguł na podstawie dostarczonych im przykładów.

Badacze stwierdzili, że LLM posiada silniejszą zdolność indukcyjnego rozumowania niż dedukcyjnego, zwłaszcza w przypadku zadań dotyczących scenariuszy "kontrfaktycznych", które odbiegają od normy. Te ustalenia mogą pomóc ludziom lepiej zrozumieć, kiedy i jak wykorzystywać LLM. Na przykład podczas projektowania systemów agentów, takich jak chatboty, może być korzystniej wykorzystać silne zdolności indukcyjne LLM.

W ogólnym rozrachunku badacze stwierdzili, że LLM wypadły bardzo dobrze w zadaniach związanych z rozumowaniem indukcyjnym, ale często brakowało im zdolności dedukcyjnego rozumowania. Ich zdolności dedukcyjne wydawały się szczególnie słabe w scenariuszach opartych na założeniach hipotetycznych lub odbiegających od normy.

Zebrane wyniki w ramach tego badania mogą inspirować developerów AI do wykorzystania silnych zdolności indukcyjnego rozumowania LLM w celu radzenia sobie z konkretnymi zadaniami. Ponadto mogą one otworzyć drogę do dalszych starań mających na celu zrozumienie procesów rozumowania LLM.

Zdaniem przedstawiciela Amazonu, przyszłe badania w tym obszarze mogłyby skupić się na badaniu, w jaki sposób zdolność LLM do kompresji informacji ma się do jego silnych zdolności indukcyjnych. Ta perspektywa może dalszej poprawić zdolności indukcyjne LLM.

Więcej informacji: Kewei Cheng i inni, Inductive or Deductive? Rethinking the Fundamental Reasoning Abilities of LLMs, arXiv (2024). DOI: 10.48550/arxiv.2408.00114

© 2024 Sieć Science X