Inhaltszusammenfassung:
Maschinelle Lernsysteme sind heute allgegenwärtig: Künstliche Intelligenz (KI)–basierte
Modelle empfehlen Musik, generieren Code, erstellen Gemälde und verfassen sogar
Gedichte. Im Gegensatz zu klassischen Programmen, die festen Regeln folgen, lernen
diese Systeme aus Daten. Die Verteilung der Trainingsdaten bestimmt, auf welche
Merkmale das Modell achtet, und prägt somit maßgeblich seinen Entscheidungsprozess.
So hätte beispielsweise ein autonomes Fahrzeug, das ausschließlich mit Autobahnszenen
trainiert wurde, Schwierigkeiten, sich im Stadtverkehr zurechtzufinden – und umgekehrt.
Zwar ist es möglich, einen Trainingsdatensatz zu sammeln, das beide Szenarien abdeckt, doch lassen sich nicht alle möglichen Verteilungsänderungen berücksichtigen.
Kann ein autonomes Fahrzeug beispielsweise bei ungewöhnlichen Wetterbedingungen
navigieren, die nicht Teil der Trainingsdaten waren? Und allgemeiner: Wie lässt sich
die Generalisierungsfähigkeit eines Modells über die gelernten Daten hinaus messen
und verbessern?
Die Beantwortung dieser Frage ist entscheidend für die Entwicklung von KI-Systemen,
die sowohl sicher als auch zuverlässig für den Einsatz in der Praxis sind. Aus diesem
Grund wird in dieser Doktorarbeit untersucht, wie Tiefe Neuronale Netze sich bei
Verteilungsänderungen verhalten und wie ihre Leistung verbessert werden kann. Je
nach Anwendung erwartet man entweder, dass das System von vornherein gegenüber
verschiedenen Arten von Verteilungsänderungen robust ist oder dass es sich anpassen
kann, falls die Änderung über einen längeren Zeitraum anhält. In dieser Dissertation
werden beide Szenarien behandelt.
Im ersten Szenario besteht das Ziel darin, möglichst allgemeine Repräsentationen
zu erlernen, die in unterschiedlichen Situationen hilfreich sind. Ein Ansatz hierzu
ist die Erweiterung der Trainingsdaten durch adversarial generierte Rauschmuster,
die so gestaltet sind, dass sie einen Klassifikator maximal verwirren. Durch das
gemeinsame Training des Rauschgenerators und des Klassifikators wird Letzterer
robuster gegenüber verschiedenen Bildkorruptionen. Über die Bildklassifikation hinaus
wird die Robustheit verschiedener Objekterkennungsmodelle unter Bildkorruptionen
untersucht und verbessert. Anschließend wird der Fokus auf ein anderes Lernparadigma
verschoben: das Kontrastive Lernen (KL), bei dem Modelle ohne Klasseninformation
trainiert werden. Eine vorherige Arbeit entwickelte eine theoretische Verbindung
zwischen Identifizierbarkeit und KL, und zeigte, dass KL unter bestimmten Annahmen
den datengenerierenden Prozess umkehrt. In dieser Arbeit werden diese Annahmen
gelockert, die theoretischen Garantien erweitert und die Ergebnisse empirisch validiert.
Wenn die Verteilungsänderung über mehrere Datenpunkte hinweg anhält, kann dem
Modell erlaubt werden, sich in einer unüberwachten Weise daran anzupassen. Zunächst
wird die Wirksamkeit einer gradientenfreien Anpassung der Batch-Normalisierungsstatistiken zur Testzeit untersucht, um Verteilungsänderungen entgegenzuwirken. Danach
werden zusätzliche Verbesserungen durch Selbstlernen betrachtet, bei dem das Modell
eigene Labels generiert und diese für weiteres Finetuning verwendet.
Insgesamt bietet diese Arbeit ein Instrumentarium, um zunächst die Leistung eines
Modells unter Verteilungsänderungen abzuschätzen und sie dann zu verbessern. Das
Erlernen zuverlässig generalisiender Modelle ist ein entscheidender Meilenstein auf
dem Weg zu einer Welt, in der KI-Systeme sicher in realen Anwendungen eingesetzt
werden können.
Abstract:
Machine learning systems have become ubiquitous in everyday life: Artificial Intelligence (AI)–based models recommend music, generate code, create paintings, and
even compose poetry. Unlike traditional programs that follow hand-crafted rules,
these systems learn from data. The distribution of the training data dictates what
features the model attends to and thus strongly shapes its decision-making process.
For example, if an autonomous vehicle were trained only on highway scenes, it would
struggle to navigate city streets—and vice versa. While collecting a dataset that spans
both domains is feasible, it is impossible to capture every possible distribution shift.
Can a self-driving car handle unusual weather conditions absent from its training data?
More broadly, how can we quantify and improve the model’s generalization capabilities
beyond the data it has been trained on?
Addressing this question is essential for creating AI systems that are both safe and
reliable for real-world deployment. For this reason, this thesis shows steps to better
understand how Deep Neural Networks behave when they encounter distribution shifts
as well as how their performance can be improved. Depending on the application, the
trained system can be expected to be robust to different kinds of shifts out of the box
or, if the distribution shift persists over a long time, it can be allowed to adapt to it.
Both scenarios are covered in this thesis.
In the first setting, the goal is to learn general representations that transfer across
diverse situations. One approach explored in this work is augmenting training data
with adversarially generated noise patterns designed to maximally confuse a classifier.
Jointly training the noise generator and the classifier yields models that are more
resilient to a variety of image corruptions. Extending beyond classification, the robustness of different object detection models under corruptions is benchmarked and
improved. The discussion then shifts to a different paradigm: Contrastive Learning
(CL), where models are trained without labels. Prior research has established a
theoretical connection between CL and identifiability, showing that under certain assumptions, CL effectively inverts the data-generating process. This thesis relaxes those
assumptions, extends the theoretical guarantees, and verifies the findings empirically.
In the second setting, where distribution shifts persist over multiple samples, the model
is allowed to adapt in an unsupervised manner. First, the efficacy of gradient-free
adaptation of Batch Normalization statistics at test time is evaluated. Next, additional
gains achieved through self-learning are investigated, where the model generates its
own labels and uses them for further fine-tuning.
Taken together, this work provides tools to both estimate and improve model performance under distribution shift. Building models that generalize reliably is a critical
milestone towards the safe, real-world deployment of AI systems.
machine learning