Acquisition of cognitive load under time pressure: combining multimodal measurements and a theory-based approach as a pathway to online adaptation

Abstract

Human-machine interactions (HMIs) are constantly evolving in complexity, while human cognitive resources remain limited. Ample evidence demonstrates an association between cognitive load and human performance, suggesting that the number of human errors might be reduced by using intelligent interfaces capable of keeping operators’ cognitive load at medium degrees. The development of such systems primarily requires an appropriate measurement method for cognitive load, which should be (1) easily generalizability to similar situations, (2) capable of tracking cognitive load over time without impairing performance on the primary task, and (3) as discrete and unobtrusive as possible to be suitable for real-world and commercial developments. This dissertation attempts to address these challenges by presenting a novel theoretically-grounded approach for measuring cognitive load in situations involving managing resources under time pressure. In a series of three studies, the initial temporal action density decay metric (TADD) was derived relying on the time-based resource-sharing (TBRS) model (Barrouillet, Bernardin, & Camos, 2004) and validated using behavioral data, cortical hemodynamics, and eye-tracking features. In summary, it is consistently demonstrated that narrow theoretically-determined time periods can be used for predicting cognitive load and user performance and such a targeted approach may have an advantage over data-driven bottom-up methods. By using different measurement methods, a consistent picture of the method is elaborated and conclusions could be drawn about the cognitive processes occurring during the investigated time periods. Taken together, the presented dissertation provides evidence for the applicability of the TBRS model as a theoretical basis for measuring cognitive load in realistic time pressure situations and suggests that time pressure and attentions play a role in the development of cognitive load. Furthermore, it also provides an indication of which features are more likely to be useful for assessing cognitive load. Although further research is needed to refine the method, it seems promising for the development of HMI systems capable of adapting to the cognitive load of their operators.

Die Komplexität der Mensch-Maschine-Interaktion (HMI) nimmt ständig zu, während die kognitiven Ressourcen des Menschen begrenzt bleiben. Es gibt zahlreiche Belege für einen Zusammenhang zwischen kognitiver Beanspruchung und menschlicher Leistung, was darauf hindeutet, dass die Anzahl menschlicher Fehler dadurch verringert werden könnte, dass man intelligente Schnittstellen, die die kognitive Beanspruchung der Bediener auf einem mittleren Niveau halten können, einsetzt. Die Entwicklung solcher Systeme erfordert in erster Linie eine geeignete Messmethode für die kognitive Beanspruchung, die (1) leicht auf ähnliche Situationen verallgemeinert werden kann, (2) in der Lage ist, die kognitive Beanspruchung über die Zeit zu verfolgen, ohne die Leistung bei der primären Aufgabe zu beeinträchtigen, und (3) so diskret und unauffällig wie möglich ist, um für kommerzielle Entwicklungen geeignet zu sein. Diese Dissertation versucht, diese Herausforderungen zu adressieren, indem sie einen neuartigen, theoretisch fundierten Ansatz zur Messung der kognitiven Beanspruchung in Situationen vorstellt, in denen es um das Management von Ressourcen unter Zeitdruck geht. In einer Reihe von drei Studien wurde die initial temporal action density decay Metrik (TADD) auf der Grundlage des time-based resource-sharing Modells (TBRS) von Barrouillet et al. (2004) entwickelt und anhand von Verhaltensdaten, kortikaler Hämodynamik und Eye-Tracking Korrelaten validiert. Zusammenfassend, konnte es gezeigt werden, dass spezifische Zeiträume für die Vorhersage der kognitiven Beanspruchung und der Benutzerleistung verwendet werden können und dass ein theoretisch fundierter Ansatz einen Vorteil gegenüber datengesteuerten Bottom-up Methoden haben kann. Durch den Einsatz verschiedener Messmethoden wurde ein konsistentes Bild der Methode erarbeitet und es konnten Rückschlüsse auf die kognitiven Prozesse gezogen werden, die in den untersuchten Zeiträumen ablaufen. Insgesamt liefert die vorliegende Dissertation erste Belege für die Einsetzbarkeit des TBRS-Modells als theoretische Grundlage für Messungen der kognitiven Beanspruchung in realistischen Situationen unter Zeitdruck und untermauert die Rolle der Aufmerksamkeit als entscheidenden Aspekt bei der Einschränkung des Arbeitsgedächtnisses (WM). Obwohl weitere Forschung zur Verfeinerung der Methode erforderlich ist, scheint sie vielversprechend für die Entwicklung von computerbasierten Systemen, die sich an die kognitive Beanspruchung ihrer Benutzer anpassen können.