Improving the Out-of-Distribution Generalization of Deep Neural Networks

Abstract

Machine learning systems have become ubiquitous in everyday life: Artificial Intelligence (AI)–based models recommend music, generate code, create paintings, and even compose poetry. Unlike traditional programs that follow hand-crafted rules, these systems learn from data. The distribution of the training data dictates what features the model attends to and thus strongly shapes its decision-making process. For example, if an autonomous vehicle were trained only on highway scenes, it would struggle to navigate city streets—and vice versa. While collecting a dataset that spans both domains is feasible, it is impossible to capture every possible distribution shift. Can a self-driving car handle unusual weather conditions absent from its training data? More broadly, how can we quantify and improve the model’s generalization capabilities beyond the data it has been trained on? Addressing this question is essential for creating AI systems that are both safe and reliable for real-world deployment. For this reason, this thesis shows steps to better understand how Deep Neural Networks behave when they encounter distribution shifts as well as how their performance can be improved. Depending on the application, the trained system can be expected to be robust to different kinds of shifts out of the box or, if the distribution shift persists over a long time, it can be allowed to adapt to it. Both scenarios are covered in this thesis. In the first setting, the goal is to learn general representations that transfer across diverse situations. One approach explored in this work is augmenting training data with adversarially generated noise patterns designed to maximally confuse a classifier. Jointly training the noise generator and the classifier yields models that are more resilient to a variety of image corruptions. Extending beyond classification, the robustness of different object detection models under corruptions is benchmarked and improved. The discussion then shifts to a different paradigm: Contrastive Learning (CL), where models are trained without labels. Prior research has established a theoretical connection between CL and identifiability, showing that under certain assumptions, CL effectively inverts the data-generating process. This thesis relaxes those assumptions, extends the theoretical guarantees, and verifies the findings empirically. In the second setting, where distribution shifts persist over multiple samples, the model is allowed to adapt in an unsupervised manner. First, the efficacy of gradient-free adaptation of Batch Normalization statistics at test time is evaluated. Next, additional gains achieved through self-learning are investigated, where the model generates its own labels and uses them for further fine-tuning. Taken together, this work provides tools to both estimate and improve model performance under distribution shift. Building models that generalize reliably is a critical milestone towards the safe, real-world deployment of AI systems.

Maschinelle Lernsysteme sind heute allgegenwärtig: Künstliche Intelligenz (KI)–basierte Modelle empfehlen Musik, generieren Code, erstellen Gemälde und verfassen sogar Gedichte. Im Gegensatz zu klassischen Programmen, die festen Regeln folgen, lernen diese Systeme aus Daten. Die Verteilung der Trainingsdaten bestimmt, auf welche Merkmale das Modell achtet, und prägt somit maßgeblich seinen Entscheidungsprozess. So hätte beispielsweise ein autonomes Fahrzeug, das ausschließlich mit Autobahnszenen trainiert wurde, Schwierigkeiten, sich im Stadtverkehr zurechtzufinden – und umgekehrt. Zwar ist es möglich, einen Trainingsdatensatz zu sammeln, das beide Szenarien abdeckt, doch lassen sich nicht alle möglichen Verteilungsänderungen berücksichtigen. Kann ein autonomes Fahrzeug beispielsweise bei ungewöhnlichen Wetterbedingungen navigieren, die nicht Teil der Trainingsdaten waren? Und allgemeiner: Wie lässt sich die Generalisierungsfähigkeit eines Modells über die gelernten Daten hinaus messen und verbessern? Die Beantwortung dieser Frage ist entscheidend für die Entwicklung von KI-Systemen, die sowohl sicher als auch zuverlässig für den Einsatz in der Praxis sind. Aus diesem Grund wird in dieser Doktorarbeit untersucht, wie Tiefe Neuronale Netze sich bei Verteilungsänderungen verhalten und wie ihre Leistung verbessert werden kann. Je nach Anwendung erwartet man entweder, dass das System von vornherein gegenüber verschiedenen Arten von Verteilungsänderungen robust ist oder dass es sich anpassen kann, falls die Änderung über einen längeren Zeitraum anhält. In dieser Dissertation werden beide Szenarien behandelt. Im ersten Szenario besteht das Ziel darin, möglichst allgemeine Repräsentationen zu erlernen, die in unterschiedlichen Situationen hilfreich sind. Ein Ansatz hierzu ist die Erweiterung der Trainingsdaten durch adversarial generierte Rauschmuster, die so gestaltet sind, dass sie einen Klassifikator maximal verwirren. Durch das gemeinsame Training des Rauschgenerators und des Klassifikators wird Letzterer robuster gegenüber verschiedenen Bildkorruptionen. Über die Bildklassifikation hinaus wird die Robustheit verschiedener Objekterkennungsmodelle unter Bildkorruptionen untersucht und verbessert. Anschließend wird der Fokus auf ein anderes Lernparadigma verschoben: das Kontrastive Lernen (KL), bei dem Modelle ohne Klasseninformation trainiert werden. Eine vorherige Arbeit entwickelte eine theoretische Verbindung zwischen Identifizierbarkeit und KL, und zeigte, dass KL unter bestimmten Annahmen den datengenerierenden Prozess umkehrt. In dieser Arbeit werden diese Annahmen gelockert, die theoretischen Garantien erweitert und die Ergebnisse empirisch validiert. Wenn die Verteilungsänderung über mehrere Datenpunkte hinweg anhält, kann dem Modell erlaubt werden, sich in einer unüberwachten Weise daran anzupassen. Zunächst wird die Wirksamkeit einer gradientenfreien Anpassung der Batch-Normalisierungsstatistiken zur Testzeit untersucht, um Verteilungsänderungen entgegenzuwirken. Danach werden zusätzliche Verbesserungen durch Selbstlernen betrachtet, bei dem das Modell eigene Labels generiert und diese für weiteres Finetuning verwendet. Insgesamt bietet diese Arbeit ein Instrumentarium, um zunächst die Leistung eines Modells unter Verteilungsänderungen abzuschätzen und sie dann zu verbessern. Das Erlernen zuverlässig generalisiender Modelle ist ein entscheidender Meilenstein auf dem Weg zu einer Welt, in der KI-Systeme sicher in realen Anwendungen eingesetzt werden können.