Machine Learning for Psychophysical Scaling with Ordinal Comparisons

Abstract

Die objektive Bestimmung der subjektiven Reizintensität beschäftigt die Wissenschaft seit mehr als 100 Jahren. Die neueste Generation dieser sogenannten psychophysischen Skalierungsverfahren kombiniert experimentelle Aufgaben, in denen Versuchspersonen die Ähnlichkeit von Reizen vergleichen, mit ordinalen Einbettungsalgorithmen, wie sie im Bereich des maschinellen Lernens entwickelt wurden, um eine robuste und mehrdimensionale Koordinatendarstellung der Reizwahrnehmung zu erhalten. Die korrekte Anwendung dieser Skalierungsverfahren erweist sich selbst für Expertinnen und Experten als schwierig, da viele Lücken in der Anwendung der Algorithmen und der Interpretation der Ergebnisse bestehen. In dieser Dissertation beschreibe ich eine Pipeline, um psychophysische Skalierung mittels ordinaler Vergleiche und maschineller Lernverfahren zugänglich zu machen. Dazu stelle ich zunächst eine Open Source Python Toolbox vor, die die wichtigsten Algorithmen und Methoden in einfach zu bedienenden und effizienten Implementierungen zur Verfügung stellt. Dann schlage ich ein Verfahren vor, um die wichtige Wahl der Dimensionalität der Skala auf der Grundlage statistischer Überlegungen zu vereinfachen, sowie Analysemethoden, um die Stabilität einer Skala zu schätzen und wissenschaftliche Schlussfolgerungen daraus zu ziehen. Ich schließe die Arbeit mit einer neuartigen Anwendung der vergleichsbasierten Skalierungsmethoden in einem Virtual-Reality-Experiment ab. Dabei messen wir die wahrgenommene Stärke der optischen Verzerrung von Gleitsichtbrillen, die zu schwerwiegenden Nebenwirkungen wie Schwindel führen kann. Die Pipeline, die ich in dieser Thesis vorstelle, ermöglicht es Forscherinnen und Forschern, ihre eigenen Wahrnehmungsfragen zu beantworten, indem sie selbst Skalen berechnen, die Dimensionalität auswählen und unter Berücksichtigung von Unsicherheit interpretieren. Fragen, die bisher mit aufwändigeren experimentellen Paradigmen oder eingeschränkten, z.B. eindimensionalen Analysemethoden untersucht wurden, können nun in einem neuen, umfassenderen Licht betrachtet werden.

Objective measurement methods of subjective stimulus intensity have occupied scientists for over 100 years. The latest generation of these so-called psychophysical scaling methods combines experimental tasks in which subjects compare the similarity of stimuli with ordinal embedding algorithms developed in machine learning to obtain robust and multidimensional point representations of stimulus perception. However, even for experts, the correct application of ordinal embedding-based scaling methods is technically and methodologically challenging. In this dissertation, I describe a pipeline to make psychophysical scaling with ordinal comparisons more accessible using machine learning techniques. First, I introduce an open-source Python toolbox. This toolbox provides the most important algorithms and methods as userfriendly and efficient implementations, making ordinal embedding methods more accessible to psychophysicists. I then develop a procedure to simplify the essential choice of scale dimensionality based on statistical considerations and propose analysis methods to estimate the quality and variability of a scale to draw scientific conclusions. At last, I present a novel application of comparison-based scaling methods in a virtual reality experiment to measure distortions of varifocal glasses that lead to serious side effects such as dizziness. The pipeline I present in this thesis empowers researchers to answer their perceptual questions by computing the scales themselves, choosing the dimensionality, and interpreting them with uncertainty in mind. They can reconsider questions previously investigated using cumbersome experimental paradigms or limited, for example one-dimensional, analysis methods and use ordinal embedding methods to view these questions from a new perspective.