Inhaltszusammenfassung:
Menschliche Entscheidungsfindung ist aufgrund von Bias und kognitiven Einschränkungen oft suboptimal. Gute Entscheidungen zu treffen erfordert effiziente Metakognition — das Abwägen von Kosten und Nutzen im Falle der Verwendung zusätzlicher (mentaler) Ressourcen, um eine Entscheidung zu verbessern. Dies wurde in der Theorie der Ressourcenrationalität formalisiert, welche die Qualität einer Entscheidungsstrategie als Kombination aus dem zu erwartenden Nutzen und den aufgewendeten kognitiven Ressourcen beschreibt. Während das Maß der Optimalität menschlicher Entscheidungen nach wie vor ein umstrittenes Thema ist, wird allgemein angenommen, dass die menschliche Entscheidungsfindung selbst unter Berücksichtigung ihrer eingeschränkten kognitiven Ressourcen nicht vollständig rational ist. Während Menschen nützliche Heuristiken entwickelt haben, um einige dieser Probleme zu umgehen, können diese in vielen Situationen auch zu höchst suboptimalen Ergebnissen führen.
Das Verbessern der menschlichen Entscheidungsfindung durch die Vermittlung besserer Entscheidungsstrategien ist eine vielversprechende Forschungsrichtung mit einem großen Potenzial, das Leben von Menschen zu verbessern. Ein aussichtsreicher Ansatz zur Erreichung dieses Ziels ist die Forschung zur Strategieentdeckung. Diese zielt darauf ab, algorithmische Methoden zu entwickeln, die automatisch effiziente Entscheidungsstrategien für ein gegebenes Planungsproblem entdecken. Diese Strategien werden daraufhin mithilfe intelligenter Tutorensystemen Menschen beigebracht. Wenngleich die aktuelle Forschung auf dem Gebiet der Strategieentdeckung und der intelligenten Tutorensysteme erste Erfolge beim Verbessern menschlicher Entscheidungsfindung gezeigt hat, sind aktuelle Ansätze auf kleine und vereinfachte Planungsprobleme beschränkt, welche von der Komplexität der Probleme, denen sich Menschen in der realen Welt gegenübersehen, noch weit entfernt sind. In dieser Dissertation identifiziere ich die zentralen Einschränkungen von aktuellen Strategieentdeckungsmethoden und intelligenten Tutorensystemen, und präsentiere neue Beiträge, die das Forschungsfeld näher an die Verbesserung der menschlichen Entscheidungsfindung in der realen Welt heranrücken.
Die erste Einschränkung, die ich angehe, liegt in der Skalierbarkeit bestehender Methoden, die momentan aufgrund ihrer Berechnungskomplexität auf relativ kleine Planungsprobleme beschränkt sind. Um diese Einschränkung zu überwinden, führe ich mit hierarchischem-BMPS eine Methode zur Strategieentdeckung ein, die Planungsstrategien durch hierarchische Aufteilung des Planungsproblems für signifikant größere Planungsprobleme finden kann als bestehende Methoden. Ich demonstriere die Effektivität von hierarchichem-BMPS in einem rechnergestützten Benchmark und zwei menschlichen Trainingsexperimenten. In dem Benchmark hat hierarchisches-BMPS mit einem Bruchteil der Rechenleistung vergleichbare Ergebnisse zu bestehenden Methoden erzielt. In den Trainingsexperimenten hat hierarchisches-BMPS Entscheidungsstrategien gefunden, die ressourcenrationaler sind als die von Menschen intuitiv verwendeten Strategien. Die Vermittlung der von hierarchischem-BMPS gefundenen Entscheidungsstrategien mittels intelligenter Tutorensysteme verbesserte die menschliche Entscheidungsfindung in größeren Umgebungen als bisher möglich. Zusätzlich stelle ich ein neues intelligentes Tutorensystem vor, das die Limitierungen in der Komplexität und Skalierbarkeit bestehender Ansätze überwindet. Das neue Tutorensystem ist darauf ausgelegt, komplexe Entscheidungsstrategien zu vermitteln, indem es eine Reihe von Übungsproblemen mit steigendem Schwierigkeitsgrad erzeugt, die sich schrittweise zum vollständigen Planungsproblem aufbauen. Dies wird erreicht, indem die Anzahl und die Art der Aktionen, zwischen denen Lernende auswählen, begrenzt werden, während gleichzeitig Feedback zur Qualität ihrer Entscheidungen gegeben wird. Der intelligente Tutor ist in mehreren menschlichen Trainingsexperimenten evaluiert worden, in denen er zu signifikanten Verbesserungen in der menschlichen Planung führte.
Die zweite Einschränkung existierender Strategieentdeckungsmethoden besteht darin, dass sie für vollständig beobachtbare Umgebungen entwickelt wurden, während die meisten Aspekte der Welt nur teilweise beobachtbar sind und Planung oft ein hohes Maß an Unsicherheit aufweist. Um diese Einschränkung zu beheben, entwickelte ich ein Metakognitions-Modell für die Planung in teilweise beobachtbaren Umgebungen und eine neue Strategieentdeckungsmethode (MGPO), die an teilweise Beobachtbarkeit angepasst ist, indem sie die Unsicherheit von Planungsaktionen in Betracht zieht. MGPO wurde in einer computergestützten Simulation evaluirt, in der es Referenzmethoden sowohl in der Qualität der gefundenen Entscheidungsstrategien als auch in ihrer Recheneffizienz übertroffen hat. Ein menschliches Trainingsexperiment hat gezeigt, dass das Vermitteln der gefundenen Strategien an Menschen ihre Entscheidungsfindung in Umgebungen, die von Unsicherheit gekennzeichnet sind, signifikant verbessern kann.
Die dritte von mir angegangene Einschränkung liegt darin, dass Metakognition bisher nicht angewandt wurde, um optimale Entscheidungsstrategien für komplexe Probleme der realen Welt zu entdecken. Zunächst stelle ich ein Metakognitions-Modell für ein erstes real existierendes Entscheidungsproblem vor: Projektauswahl. Die Modellparameter wurden anhand realer Daten geschätzt. Um effiziente Planungsstrategien zu entdecken, habe ich eine erweiterte Version von MGPO entwickelt, die an die einzigartigen Anforderungen des Projektauswahl-Problems angepasst ist. Ich evaluire die Methode in Simulationsexperimenten und einem menschlichen Trainingsexperiment, in dem sie die menschliche Entscheidungsfindung erfolgreich verbessern konnte. Hierauf stelle ich ein Metakognitions-Modell für eine zweite Klasse realer Probleme vor, soziale Dilemmata, welches zur Modellierung einer Vielzahl realer Konfliktsituationen genutzt werden kann.
Die in dieser Dissertation vorgestellten Strategieentdeckungsmethoden und intelligenten Tutorensysteme überwinden mehrere kritische Limitierungen früherer Methoden und ermöglichen die Entdeckung und Vermittlung von höchst komplexen Entscheidungsstrategien in realistischeren Umgebungen als bisher möglich. Dies stellt einen wichtigen Schritt dar, um automatisierte Strategieentdeckungsmethoden zur Entdeckung von optimalen Algorithmen für die Lösung von Problemen in der realen Welt anzuwenden. Die von mir entwickelten intelligenten Tutorensysteme tragen dazu bei, diese Fortschritte in der Algorithmusentdeckung in die reale Welt zu übertragen, und bieten einen vielversprechenden Weg, Menschen Entscheidungsstrategien beizubringen, die sie in ihrem täglichen Leben verwenden können.
Abstract:
Human decision-making is often suboptimal due to biases and cognitive limitations. Making good decisions requires efficient metareasoning — weighing the costs and benefits of investing additional (mental) resources into refining a decision. This has been formalized in the theory of resource-rationality, which describes the quality of a decision-strategy as a combination of its expected reward and the expended cognitive resources. While the extent of optimal decision-making in humans is still a debated topic, it is generally understood that people's decision-making is not fully rational even when taking their computational constraints into account. While humans have developed useful heuristics that circumvent some of these issues, in many situations they can also lead to highly suboptimal outcomes.
Improving human decision-making by teaching them better decision-strategies is a promising research direction with a large potential of improving people's lives. One promising approach towards this goal is research on strategy discovery, which aims to develop computational methods that automatically discover efficient decision strategies for a given planning problem, which are then taught to people using intelligent tutoring systems. While current research on strategy discovery and intelligent cognitive tutors has demonstrated first successes in improving human decision-making, current approaches are constrained to small and simplified planning problems, which are far from the complexity of the problems people face in the real world. In this thesis, I identify key limitations of current strategy discovery methods and cognitive tutors, and present novel contributions that move the field closer towards improving human decision-making in the real world.
The first limitation I address is the scalability of existing methods, which are currently limited to relatively small planning problems due to their computational complexity. To overcome this limitation, I introduce hierarchical-BMPS, a strategy discovery method that can discover planning strategies for significantly larger planning problems than existing methods by hierarchically decomposing the planning problem. I demonstrate the effectiveness of hierarchical-BMPS in a computational benchmark, where it performed competitively with existing methods at a fraction of their computational cost, and two human training experiments, where hierarchical-BMPS discovered decision strategies that are more resource-rational than the strategies people intuitively use. Teaching the strategies discovered by hierarchical-BMPS using cognitive tutors improved human decision-making in larger environments than previously possible. Additionally, I introduce a novel cognitive tutoring system that overcomes limitations in the complexity and scalability of existing approaches. The new tutoring system is adapted to teaching complex planning problems by creating a series of practice problems with increasing difficulty that incrementally build up to the full planning problem. This is achieved by limiting the number and type of actions learners choose between, while also providing feedback on the quality of the learner's choices. The cognitive tutor was evaluated in multiple human training experiments, where it led to significant improvements in human planning.
The second limitation of existing strategy discovery methods is that they were developed for fully observable environments, while most aspects of the world are only partially observable and planning usually features a high degree of uncertainty. To address this limitation, I developed a metareasoning model for planning in partially observable environments, and a novel strategy discovery method (MGPO), that is adapted to partial observability by taking the uncertainty of planning actions into account. MGPO was evaluated in a computational simulation, where it outperformed baseline methods in both the quality of their discovered decision strategies and their computational efficiency. A human training experiment showed that teaching the discovered strategies to people can significantly improve their decision-making in environments featuring uncertainty.
The third limitation I address is that metareasoning has not yet been applied to discovering optimal algorithms for complex real-world problems. First, I introduce a metareasoning model for a first real-world task: project selection. The model parameters are estimated from real-world data. To discover efficient planning strategies, I developed an extended version of MGPO adapted to the unique requirements of the project selection task, and evaluated the method in simulation experiments and a human training experiment, in which it successfully improved human decision-making. Second, I present a metareasoning model for a second class of real-world problems, social dilemmas, which can be used to model a wide range of real-world dilemmas.
The strategy discovery methods and cognitive tutors presented in this thesis overcome multiple critical limitations of previous methods to enable discovering and teaching highly complex planning strategies in more realistic decision environments than previously possible. This constitutes an important step towards applying automatic strategy discovery methods to discover optimal algorithms for solving real-world problems. The cognitive tutors I developed contribute towards translating these advances in algorithm discovery to the real world, and offer a promising path towards teaching people decision strategies they can use in their daily lives.
intelligent tutoring systems