Mappings in the Discriminative Lexicon Model

Abstract

Wie verstehen und produzieren Menschen Wörter? Das Diskriminative Lexikon Modell (DLM) postuliert eine einfache lineare Transformation zwischen den äußerlichen phonologischen/orthographischen Merkmalen und der Bedeutung von Wörtern. Wortverständis wird durch eine Transformation von den äußerlichen Merkmalen zur Bedeutung eines Wortes modelliert, und Wortproduktion erfolgt durch eine Transformation von der Bedeutung zu den äußerlichen Merkmalen. Die vorliegende Dissertation untersucht diese Transformationen und beleuchtet wie diese die Konzeptualisierung von Wortverständis und Wortproduktion im Modell formen.

Die erste Studie beinhaltet eine ausführliche Einführung in das DLM am Beispiel von deutschen Substantiven. Sie beschreibt die verschiedenen Überlegungen und Designentscheidungen, die bei der Modellierung der Morphologie einer Sprache mit dem DLM gemacht und getroffen werden müssen.

In der zweiten Studie untersuchen wir, wie Wortfrequenzeffekte, die in der psycholinguistischen Forschung allgegenwärtig sind, in die Transformationen im DLM integriert werden können. Wir führen Frequenz-informiertes Lernen (FIL) ein, eine hocheffiziente Methode, die mithilfe von gewichteter Regression die linearen Transformationen so berechnet, dass Wortfrequenzen miteinbezogen werden. FIL zeigt angemessene Frequenzeffekte, wenn es verwendet wird, um die Reaktionszeiten von lexikalischen Entscheidungen vorherzusagen. Allerdings mangelt es FIL an Präzision dabei, die Effekte von individueller Wortreihenfolge vorherzusagen.

Die dritte Studie untersucht die Effekte der Wortreihenfolge. Wir analysieren, ob die Transformationen im DLM verwendet werden können, um kontinuierliche Lerneffekte zwischen Messungen in einem Experiment zu simulieren. Dafür verwenden wir das DLM zusammen mit inkrementellem Lernen, um eine groß angelegte Studie mit lexikalischen Entscheidungen zu simulieren. Dabei wird das DLM nach jeder einzelnen lexikalischen Entscheidung im Experiment mithilfe von inkrementellem Lernen aktualisiert. Wir zeigen, dass eine solche Simulation besser darin ist, Reaktionszeiten von Versuchspersonen vorherzusagen, als eine statische Simulation ohne Lernupdates. Das demonstriert, dass sich das Weltwissen von Menschen ständig ändert und dass für eine akkurate Simulation von menschlichem Wissen die Reihenfolge von gelernten Wörtern miteinbezogen werden sollte. Außerdem zeigt dies, dass kontinuierliches Lernen mithilfe von inkrementellen Updates der Transformationen im DLM modelliert werden kann.

In der letzten Studie untersuchen wir, wie sich eine höhere Präzision der Transformationen im DLM auswirkt. Wir ersetzen die linearen Transformationen durch "deep learning" Netzwerke, und stellen fest, dass diese die Genauigkeit der Modelle erhöhen, besonders für Wörter, deren Beziehung zwischen orthographischen Merkmalen und Bedeutung eine "Ausnahme zur Regel" ist. Allerdings verbessern "deep learning" Netzwerke nicht notwendigerweise die Fähigkeit des Modells, Reaktionszeiten von lexikalischen Entscheidungen vorherzusagen, außer wenn Wortfrequenz miteinbezogen wird.

Insgesamt trägt diese Arbeit zu unserem Verständnis davon bei, wie Lernen das Wissen im mentalen Lexikon formt. Effekte von Wortfrequenz (Studie 2) und Lerneffekte zwischen Messungen (Studie 3) können mithilfe der linearen Transformationen im DLM miteinbezogen werden. Studie 4 zeigt, dass lineare Transformationen im Vergleich mit modernem "deep learning" gut dabei abschneiden, menschliche Verhaltensdaten vorherzusagen. Somit kann ein einfaches und verständliches Modell wie das DLM unser Verständnis dafür verbessern, wie Menschen Sprache verarbeiten. Jedoch können weitere Schritte unternommen werden, um die kognitive Plausibilität des Modells zu verbessern.

How do speakers comprehend and produce words? The Discriminative Lexicon Model (DLM) posits a simple mapping from a word's orthographic or phonological characteristics to its meaning to model comprehension, and vice versa to model production. The present dissertation studies in detail the mappings in the model and how they shape the model's conceptualisation of word comprehension and production.

To this end, the first study provides an in-depth introduction to the DLM with the worked example of German nouns. The study highlights the various considerations and design choices a modeller has to make when modelling a language's morphology with the DLM.

In study 2 we investigate how word frequency effects which are ubiquitous in psycholinguistic research can be incorporated into the mappings of the DLM. We propose frequency-informed learning (FIL), a highly efficient method making use of weighted regression for computing the mappings while taking into account words' frequency. We demonstrate that FIL shows appropriate frequency effects when predicting lexical decision reaction times, but that it lacks precision when it comes to the individual order words are presented in.

Study 3 in turn investigates the effects of taking precisely this order information seriously. We ask whether we can use the mappings in the DLM to simulate trial-to-trial learning effects. To this end we utilise the DLM together with incremental learning to simulate a large-scale lexical decision experiment. Crucially, the DLM is updated after each trial in the experiment using incremental learning. We show that this simulation outperforms a non-learning simulation at predicting participants' reaction times. This demonstrates that speakers' word knowledge is continuously changing, that for an accurate simulation of speakers knowledge, word order needs to be taken into account, and that this continuous learning can be modelled by continuously updating the mappings in the DLM.

In the final study, we ask what the consequences are of increasing the accuracy of the mappings in the DLM. We replace the linear mappings with deep learning networks and find that they increase the models' accuracy, particularly for words whose relation between orthographic characteristics and meanings are ``exceptions to the rule''. However, deep learning networks do not reliably increase the model's ability to predict lexical decision reaction times, except when taking into account frequency during training.

Overall, the dissertation contributes to our understanding of how learning shapes knowledge in the mental lexicon. Effects such as frequency (Study 2) and trial-to-trial effects (Study 3) can be incorporated by means of the DLM's linear learning. Finally, Study 4 shows that linear learning compares well to recent deep learning architectures when it comes to predicting behavioural data. Thus, a simple and interpretable model such as the DLM can contribute towards our understanding of how speakers process language. However, further steps can be taken for improving the model's cognitive plausibility.