Modeling human reasoning: benchmarking, analysis, and improvement

Abstract: The field of human reasoning research can look back on over a century of interdisciplinary work aimed at uncovering the cognitive processes underlying the human ability to make inferences. However, despite this extensive history, recent investigations suggest flaws in the methodological approach predominantly employed by the field. For instance, the traditional focus has been on aggregate analyses, i.e., trying to understand and explain group-level behavior that neglects the importance of individual differences. This invites the problem of group-to-individual generalizability, which may render the transfer of insight to individual behavior invalid. If proven to hold for the field of reasoning research, current theories would not be applicable to individual human reasoners but only to artificial, average behavior with limited scientific relevance.

The present thesis presents a novel approach to reasoning research that aims to provide a remedy for the current shortcomings of the field. This is accomplished by shifting the methodological perspective from the prevailing focus on groups to individuals. In particular, the fundamental research goals are reformulated as a series of predictive modeling problems that naturally invite the use of accuracy metrics to gauge the performance of models. By jointly allowing theory-driven and data-driven approaches to compete on a common ground, this new perspective does not only allow for an improved assessment of performances, but also for detailed analyses of the shortcomings and advantages of specific approaches, which may boost synergistic effects in the field.

Using this novel approach, syllogistic and spatial relational reasoning, two central domains in the field of reasoning research, are analyzed. Benchmarks consisting of collections of state-of-the-art models that reflect the theoretical progress in the field, as well as a selection of representative datasets, are created to run the field's most comprehensive model evaluations to date. The results suggest that the problems of group-to-individual generalizability are present in the field. As such, the prevailing neglect of inter-individual differences that has caused a focus on "average" instead of individual behavior leads to the risk of theories losing their explanatory relevance. Furthermore, practical shortcomings of the data landscape such as noise and the lack of discriminability between individuals are uncovered. The thesis concludes by proposing an improved methodological paradigm for approaching model-driven research in the field
Abstract: Der Forschungsbereich des menschlichen Schlussfolgerns arbeitet seit über einem Jahrhundert interdisziplinär an der Erforschung der kognitiven Prozesse, die der Fähigkeit, Inferenzen anzustellen, unterliegen. Trotz dieser weitreichenden Historie lassen neuere Erkenntnisse jedoch darauf schließen, dass die verwendeten Kernmethoden Schwachstellen aufweisen. Beispielsweise steht die Analyse von Aggregaten im Vordergrund - also der Versuch, menschliches Verhalten auf Basis von Gruppen zu verstehen und zu erklären. Vernachlässigt wird dabei der Stellenwert des Individuums, was dazu führen könnte, dass die Relevanz von Erkenntnissen durch das Problem der Generalisierbarkeit zwischen Gruppe und Individuum geschwächt wird. Kann dieses Problem in der Schlussfolgerungsforschung nachgewiesen werden, würde dies den aktuellen Theorien die Irrelevanz für Individuen bescheinigen. Stattdessen wären sie lediglich zur Beschreibung eines künstlichen Durchschnittsverhaltens geeignet, welches wissenschaftlich nur begrenzt von Nutzen ist.

In der vorliegenden Arbeit wird die Bewältigung der aktuellen Probleme auf Basis einer neuartigen Herangehensweise vorgeschlagen. Diese beruht auf einem methodischen Paradigmenwechsel, der den Fokus von Gruppen auf das Individuum richtet. Insbesondere werden die grundsätzlichen Ziele des Bereiches durch prädiktive Modellierungsprobleme formalisiert, die Evaluationen von theorie- und datengetriebenen Ansätzen über Präzisionsmetriken auf einer gemeinsamen Basis zulassen. Damit gestattet die neue Herangehensweise nicht nur eine verbesserte Bewertung von Modellperformanzen, sondern auch detailliertere Analysen der Defizite und Vorteile einzelner Ansätze, welche Synergien in diesem interdisziplinären Feld fördern könnten.

Auf Basis der neuen Methode werden syllogistisches und räumlich relationales Schlussfolgern, zwei der wichtigsten Domänen in der Schlussfolgerungsforschung, untersucht. Unter Verwendung von aktuellen Modellen und repräsentativen Datensätzen werden Benchmarks konstruiert, welche die bisher umfassendsten Modellauswertungen gestatten. Die dadurch erhaltenen Ergebnisse deuten auf die Existenz des Generalisierbarkeitsproblems zwischen Gruppe und Individuum hin. Daher führt die vorherrschende Vernachlässigung von inter-individuellen Unterschieden und der Fokus auf Durchschnittsverhalten dazu, dass Theorien ihre Erklärungsrelevanz verlieren. Weiterhin werden praktische Defizite der Datenlandschaft, vor allem in Bezug auf die Unterscheidbarkeit von Individuen, diskutiert. Die Arbeit schließt mit der Empfehlung eines verbesserten methodischen Paradigmas für modellgetriebene Forschung

Object Details

• Location: Deutsche Nationalbibliothek Frankfurt am Main
• Extent: Online-Ressource
• Language: Englisch
• Notes: Universität Freiburg, Dissertation, 2022

Classification and Topics

• Keyword: Evaluation ; Reasoning ; Modeling ; Kognition ; Schlussfolgern ; Deduktion ; Syllogismus ; Modellierung ; Räumliches Schließen ; Empfehlungssystem ; Neuronales Netz ; Benchmarking ; Kollaborative Filterung ; Evaluation

Contributors, Places and Time

• Event: Veröffentlichung
• (where): Freiburg
• (who): Universität
• (when): 2022
• Creator: Riesterer, Nicolas
• Contributor: Ragni, Marco ; Ragni, Marco ; Bödecker, Joschka ; Albert-Ludwigs-Universität Freiburg. Fakultät für Angewandte Wissenschaften

Further information

• DOI: 10.6094/UNIFR/228401
• URN: urn:nbn:de:bsz:25-freidok-2284017
• Rights: Open Access; Der Zugriff auf das Objekt ist unbeschränkt möglich.
• Last update: 25.03.2025, 1:56 PM CET