Beyond Matching: Designing, Evaluating, and Orchestrating Adaptive Instructional Technologies in Authentic Classrooms

Abstract

Die Dissertation ist gesperrt bis zum 21. Oktober 2028 !

Classrooms are becoming increasingly heterogeneous, and large-scale educational assessments document students’ declining performance in key competence domains. Adapting instructional offers to match students’ heterogeneous learning potentials (e.g., prior knowledge, motivation, language proficiency) and thereby optimally supporting students’ learning poses a substantial challenge for teachers. Digital technologies, particularly intelligent tutoring systems (ITS) and Large Language Model (LLM)-based tutors, provide new opportunities to support teachers in adaptive instruction. Despite empirical evidence for the effectiveness of adaptive instructional technologies for learning, the widespread adoption in schools remains limited. This can be attributed to three main challenges: the complex development and limited contextual transferability of conventional ITS, the resource-intensive evaluation of large volumes of dialogue data produced by LLM tutors, and the complex embedding and orchestration of adaptive instructional technologies in real-world classrooms. The present dissertation addresses these challenges through four studies adopting diverse methodological and interdisciplinary perspectives, with a focus on proximity to school practice. Study 1 examined the development and effectiveness of technology-based adaptive practice systems. Co-design teams of researchers and teachers developed adaptive practice systems with simplified underlying assessment strategies and investigated their effectiveness in a ManyClasses field study across different school contexts. Although adaptation itself did not improve students’ learning outcomes, working on more high-difficulty tasks did show positive effects. These findings raised the question of how adaptive instructional technologies can be designed to provide instructional offers that match students’ learning potentials in a way that fosters students’ learning. Hence, Study 2a turned to LLM-tutors, which can be prompted with evidence-based instructional strategies and may offer a scalable alternative to rule-based ITS. Study 2a, an exploratory online study with university students, compared two versions of an LLM-tutor: one using a baseline tutor prompt and one using a prompt specifying evidence-based tutoring strategies. An epistemic network analysis (ENA) showed that evidence-based prompting led to more frequent cognitively activating tutoring behaviors, while the baseline tutor version received more positive ratings for satisfaction and acceptance. Study 2b emerged from Study 2a as a methodological contribution. The Theory Prompting Validation (TPV) approach was developed to enable LLM-assisted analysis of large volumes of verbal data. Evaluation of the dialogue data from Study 2a showed high agreement between LLM-based and human-based coding. The approach thus opens possibilities for the scalable, reliable, and valid analysis of verbal data beyond the tutoring context. Because adaptive instructional technologies can unfold their potential only when embedded in real-world classroom contexts, Study 3 examined how teachers orchestrate them. This exploratory online study with mathematics teachers aimed to identify criteria that teachers use to decide which students to support first when a mixed-reality system displays the learning states of students working in an ITS. The results revealed similar heuristics that reflected a balance between immediate support needs, student engagement, and preventing individual students from falling behind. This dissertation makes a comprehensive contribution to the design, evaluation, and orchestration of adaptive instructional technologies. For theory on adaptive instruction, it suggests that adaptivity should not be conceptualized merely as matching instructional offers to learners’ current learning potentials, but as using this information to provide challenging yet attainable instructional offers that support learners in reaching their next level of development. For practice, this dissertation highlights the importance of close collaboration between research and practice for the design of adaptive instructional technologies, the need for teachers to critically evaluate the adaptive instructional technologies they select, and the necessity of preparing teachers to orchestrate adaptive instructional technologies in classrooms. Methodologically, the TPV approach opens new possibilities for the scalable analysis of extensive verbal data beyond the tutoring context. Taken as a whole, the dissertation combines technological innovation with empirical evidence and a practice-oriented perspective, providing a foundation for developing adaptive instructional offers that better respond to heterogeneous learning potentials and thereby contribute to more equitable educational opportunities for all students.

Klassenräume werden zunehmend heterogener und großangelegte Schulleistungsstudien verzeichnen einen Rückgang der Schüler:innenleistungen in zentralen Kompetenzbereichen. Instruktionale Angebote an die heterogenen Lernpotenziale der Schüler:innen (z. B. Vorwissen, Motivation, Sprachkompetenz) anzupassen und sie dadurch optimal in ihrem Lernen zu unterstützen, stellt eine erhebliche Herausforderung für Lehrkräfte dar. Digitale Technologien, insbesondere intelligente tutorielle Systeme (ITS) und auf Large Language Models (LLMs) basierende Tutoren, eröffnen neue Möglichkeiten, Lehrkräfte im adaptiven Unterricht zu unterstützen. Trotz empirischer Evidenz für die Wirksamkeit adaptiver instruktionaler Technologien für das Lernen bleibt ihr breiter Einsatz in Schulen bislang begrenzt. Dies lässt sich auf drei zentrale Herausforderungen zurückführen: die komplexe Entwicklung und begrenzte kontextuelle Übertragbarkeit herkömmlicher ITS, die ressourcenintensive Auswertung umfangreicher Dialogdaten, die von LLM-Tutoren erzeugt werden, sowie die komplexe Einbettung und Orchestrierung adaptiver instruktionaler Technologien im realen Unterricht. Die vorliegende Dissertation untersucht diese Herausforderungen in vier Studien aus unterschiedlichen methodologischen und interdisziplinären Perspektiven mit Fokus auf die Nähe zur Schulpraxis. Studie 1 untersuchte die Entwicklung und Wirksamkeit technologiebasierter adaptiver Übungssysteme. Co-Design-Teams aus Forschenden und Lehrkräften entwickelten adaptive Übungssysteme mit vereinfachten zugrunde liegenden Diagnostikstrategien und untersuchten deren Wirksamkeit in einer ManyClasses-Feldstudie über verschiedene Schulkontexte hinweg. Während sich Adaptivität selbst nicht positiv auf die Lernergebnisse der Schüler:innen auswirkte, zeigte die Bearbeitung anspruchsvollerer Aufgaben jedoch eine positive Auswirkung. Diese Ergebnisse warfen die Frage auf, wie adaptive instruktionale Technologien gestaltet werden können, um instruktionale Angebote bereitzustellen, die an die Lernpotenziale der Schüler:innen angepasst sind und zugleich deren Lernen fördern. Vor diesem Hintergrund wandte sich Studie 2a LLM-Tutoren zu, die mit evidenzbasierten instruktionalen Strategien geprompted werden können und somit möglicherweise eine skalierbare Alternative zu regelbasierten ITS darstellen. Studie 2a, eine explorative Online-Studie mit Studierenden, verglich zwei Versionen eines LLM-Tutors: eine mit einem allgemeinen Tutor-Prompt und eine mit einem Prompt, der evidenzbasierte Tutoringstrategien spezifizierte. Eine epistemische Netzwerkanalyse (ENA) zeigte, dass evidenzbasiertes Prompting zu häufigeren kognitiv aktivierenden Tutoring-Verhaltensweisen führte, während die allgemeine Tutorversion hinsichtlich Zufriedenheit und Akzeptanz positiver bewertet wurde. Aus Studie 2a entwickelte sich Studie 2b als methodischer Beitrag. Mit dem Theory-Prompting-Validation (TPV)-Ansatz wurde ein Verfahren entwickelt, das die LLM-gestützte Analyse umfangreicher verbaler Daten ermöglicht. Die Evaluation der Dialogdaten aus Studie 2a zeigte eine hohe Übereinstimmung zwischen LLM-basierter und menschlicher Codierung. Der Ansatz eröffnet damit Möglichkeiten für eine skalierbare, reliable und valide Analyse verbaler Daten auch über den Tutoring-Kontext hinaus. Da adaptive instruktionale Technologien ihr Potenzial nur entfalten können, wenn sie in reale Unterrichtskontexte eingebettet sind, untersuchte Studie 3, wie Lehrkräfte sie orchestrieren. Diese explorative Online-Studie mit Mathematiklehrkräften zielte darauf ab, Kriterien zu identifizieren, nach denen Lehrkräfte entscheiden, welche Schüler:innen sie zuerst unterstützen, wenn ein Mixed-Reality-System den Lernstatus von Schüler:innen anzeigt, die in einem ITS arbeiten. Die Ergebnisse zeigten ähnliche Heuristiken, die eine Balance zwischen unmittelbarem Unterstützungsbedarf, Schüler:innenengagement und der Vermeidung individueller Lernrückstände widerspiegelten. Diese Dissertation leistet einen umfassenden Beitrag zur Gestaltung, Evaluation und Orchestrierung adaptiver instruktionaler Technologien. Für die Theorie des adaptiven Unterrichts legt sie nahe, dass Adaptivität nicht lediglich als Anpassung instruktionaler Angebote an die aktuellen Lernpotenziale der Lernenden verstanden werden sollte, sondern als Nutzung dieser Information, um herausfordernde, aber erreichbare instruktionale Angebote bereitzustellen, die Lernende dabei unterstützen, ihre nächste Entwicklungsstufe zu erreichen. Für die Praxis verdeutlicht diese Dissertation die Bedeutung einer engen Zusammenarbeit zwischen Forschung und Praxis bei der Gestaltung adaptiver instruktionaler Technologien, die Notwendigkeit, dass Lehrkräfte die von ihnen ausgewählten adaptiven instruktionalen Technologien kritisch bewerten, sowie die Notwendigkeit, Lehrkräfte auf die Orchestrierung adaptiver instruktionaler Technologien im Unterricht vorzubereiten. Methodisch eröffnet der TPV-Ansatz neue Möglichkeiten für die skalierbare Analyse umfangreicher verbaler Daten über den Tutoring-Kontext hinaus. Insgesamt verbindet die Dissertation technologische Innovation mit empirischer Evidenz und einer praxisorientierten Perspektive und schafft damit eine Grundlage für die Entwicklung adaptiver instruktionaler Angebote, die besser auf heterogene Lernpotenziale reagieren und dadurch zu gerechteren Bildungschancen für alle Schüler:innen beitragen.