Investigation and Modelling of Dynamical Facial Expression Perception

Abstract

Gesichtsausdr¨ ucke spielen eine entscheidende Rolle in der sozialen Interaktion zwi- schen Menschen im t¨ aglichen Leben. Die menschliche Wahrnehmung ist dabei außer- gew ¨ ohnlich robust bei der Vearbeitung unbekannter Gesichter, und sogar gegen¨ uber nicht- menschlichen Kopfformen (z. B. Emojis, Cartoons). Der visuelle Mechanismus, der zur Wahrnehmung dynamischer Gesichtsausdr¨ ucke f¨ uhrt, ist weitgehend unklar. In die- ser Arbeit zielen wir darauf ab, zu verstehen, wie unser visuelles System dynamische Gesichtsausdr¨ ucke codiert. Unter Verwendung von Methoden aus der Computergrafik haben wir Stimuli entwickelt, um die menschliche Verhaltenswahrnehmung durch psy- chophysische Experimente zu untersuchen, und gleichzeitig elektrophysiologische Auf- zeichnungen von Rhesusaffen gesammelt. Wir nutzen diese Daten, um neue Modelle zu entwerfen, zu testen und zu validieren. In diesem Rahmen haben wir eine neuar- tige Architektur entwickelt, die auf der Normreferenzcodierung basiert. Diese wurde urspr ¨ unglich zur Modellierung von Gesichtsidentit¨ at vorgeschlagen und beruht auf der Annahme dass Gesichter als richtungsspezifische Abweichung eines Referenzgesichts repr ¨ asentiert sind. Zun¨ achst zeigen wir, dass die Normreferenzcodierung ein g¨ ultiger Mechanismus zur Codierung von Gesichtsausdr¨ ucken ist. Wir erweitern dann die Norm- referenzcodierung auf mehrere Referenzrahmen und erkennen, dass das Lernverfahren in diesem Fall in zwei Teile aufgeteilt werden kann. Diese Multi-Dom¨ anen- Normrefe- ¨ renzcodierung stellt einen dateneffizienten Mechanismus dar, der die Ubertragung von Gesichtsausdr¨ ucken ¨ uber grundlegend unterschiedliche Gesichtsformen mit nur einem Datenpunkt erm¨ oglicht. Wir erweitern unser Modell, um es auf gr¨ oßeren Datens¨ atzen zu testen, und zeigen, dass der Mechanismus auch dann robust ist und generalisiert. Schließ- lich stellen wir fest, dass die Normreferenzcodierung im Vergleich zu anderen Computer- ¨ Vision-Modellen eine gr¨ oßere Ahnlichkeit zur Wahrnehmung unserer menschlichen Pro- banden aufweist. Insgesamt beleuchtet unsere Arbeit einen in der Neurowissenschaft be- kannten Mechanismus,der jedoch bisher in der Computer Vision wenig erforscht wurde, und zeigt, wie er in diesem Kontext genutzt werden kann. Die Normreferenzcodierung hat das Potenzial, Computersysteme zu entwickeln, deren Wahrnehmung von Gesichts- ausdr¨ ucken der menschlichen Wahrnehmung ¨ ahnlicher ist als die aktueller Techniken.

Facial expressions play a crucial role in daily human social interactions. Humans exhibit a remarkably strong and innate ability to perceive both novel faces and non-human head shapes, such as emojis and cartoons. However, the visual mechanisms involved in per- ceiving dynamic facial expressions remain largely unclear. This thesis aims to unravel the processes by which our visual system encodes dynamic facial expressions. Employing computer graphics, we have crafted stimuli to delve into human behavioral perception through psychophysics experiments. Concurrently, we collect electrophysi- ological recordings from rhesus macaques. Leveraging these data sets, we design, test, and validate our models. Our innovative framework, based on norm-referenced encod- ing—a mechanism initially proposed for encoding facial identity—proves to be a valid mechanism for encoding facial expressions. Expanding norm-referenced encoding into multi-domain applications, we discover that utilizing an updatable reference frame allows us to split the learning procedure, mak- ing it a data-efficient mechanism. This enables the transfer of facial expressions across basic face shapes with only a single training data point. Extending our model to larger datasets, we demonstrate its robustness and generalization capabilities. Notably, norm- referenced encoding yields perceptual results closer to human perception compared to other computer vision models. In summary, our research sheds light on a mechanism well-known in neuroscience but relatively unexplored in computer vision. We demonstrate its potential application in developing computer systems that interact and understand human facial expressions more similarly to current techniques. Norm-referenced encoding holds promise for the advancement of computer systems in this domain.