Out-of-Distribution Generalization in Visual Perception

Abstract

Die Generalisierung auf Daten außerhalb der Trainingsverteilung (Out-of-Distribution, OOD) stellt ein zentrales Hindernis für den Einsatz visueller Wahrnehmungssysteme in offenen Umgebungen dar, in denen Modelle auf Objekte, Konzepte und Bedingungen treffen, die in ihren Trainingsdaten nicht enthalten waren. Während Deep-Learning-Modelle auf standardisierten Benchmarks bemerkenswerte Leistungen erzielen, versagen sie häufig in realen Einsatzszenarien, die sich von ihrer Trainingsverteilung unterscheiden. Diese Dissertation begegnet dieser Herausforderung durch das Konzept der überbrückenden Invarianten (bridging invariants) — strukturelle Eigenschaften, die über Verteilungslücken hinweg hinreichend stabil bleiben und den Wissenstransfer von bekannten zu neuartigen Bedingungen ermöglichen. Anstatt alle Verteilungsverschiebungen generisch zu behandeln, identifiziert und nutzt diese Arbeit aufgabenspezifische Invarianten, indem sie Foundation Models als externe Quellen dieser Eigenschaften einsetzt und sie über Pseudo-Labeling in aufgabenspezifische Modelle überträgt.

Die Dissertation präsentiert drei komplementäre Beiträge, die jeweils eine unterschiedliche Art von Generalisierungslücke adressieren. Erstens nutzt GOOD (Geometry-guided Open-world Object Detector, ICLR 2023) geometrische Struktur als überbrückende Invariante für Open-World-Objekterkennung. Das Verfahren trainiert ein Objektvorschlags-Netzwerk auf geometrischen Merkmalen monokularer Tiefen- und Normalenschätzer, um neuartige Objekte im Trainingsdatensatz zu entdecken, und verwendet diese Entdeckungen als Pseudo-Labels zum Training eines RGB-basierten Detektors. Mit nur einer einzigen annotierten Klasse übertrifft GOOD bisherige Methoden um 5,0% AR@100 auf neuartigen Kategorien. Zweitens identifiziert RENOVATE (NeurIPS 2024) die Vision-Language-Ausrichtung als überbrückende Invariante für Open-Vocabulary-Segmentierung. Das Verfahren nutzt Bildbeschreibungsmodelle zur Generierung kontextuell relevanter Namenskandidaten und trainiert ein Umbenennungsmodell zur Auswahl der besten Übereinstimmung für jede Segmentierungsmaske. Umbenannte Kategorienamen verbessern sowohl Training als auch Evaluation: Modelle, die auf 10⁴ Bildern mit erneuerten Namen trainiert werden, erreichen die Leistung von Modellen, die auf 5 × 10⁴ Bildern mit Originalnamen trainiert werden, und die beste Konfiguration erzielt eine relative Verbesserung von 15% im mIoU. Drittens nutzt LoftUp (ICCV 2025, Oral) Grenz- und Regionsstruktur als überbrückende Invariante, um grobe Merkmale von Vision Foundation Models auf Pixelauflösung hochzurechnen. Das Verfahren konstruiert Pseudo-Grundwahrheits-Merkmale hoher Auflösung mittels klassenagnostischer SAM-Masken und trainiert einen koordinatenbasierten Cross-Attention-Transformer für das Upsampling unter Beibehaltung von Objektgrenzen. Mit weniger als 20% zusätzlichen Parametern erzielt LoftUp Verbesserungen von 10–20% über sechs dichte Vorhersageaufgaben hinweg. Über alle drei Arbeiten hinweg ist der gemeinsame Mechanismus konsistent: Identifikation der Invariante, die über die Verteilungslücke hinweg gilt, Extraktion aus einem Foundation Model und Übertragung durch Pseudo-Labels zur Steuerung des aufgabenspezifischen Modells.

Über die Konstruktion von Brücken hinaus diskutiert diese Dissertation das vorgelagerte Problem der Lückenentdeckung (Gap Discovery) — die systematische Identifikation von Verteilungsverschiebungen, anstatt diese als bekannt vorauszusetzen. Eine strukturierte Analyse aktueller OOD-Forschung zeigt, dass die Lückenentdeckung (Gap Discovery) die am wenigsten systematisierte Aktivität des Feldes bleibt, und eine retrospektive Fallstudie demonstriert, dass automatisierte Werkzeuge aus benachbarten Fachgebieten diesen Prozess beschleunigen können. Die Dissertation schließt mit einer Analyse der Verzerrungen, die überbrückende Invarianten selbst einführen, und identifiziert offene Probleme an der Schnittstelle von Lückenentdeckung und Invarianten-Design. Zusammengenommen etablieren diese Beiträge überbrückende Invarianten als ein prinzipiengeleitetes und praktisches Rahmenwerk für OOD-Generalisierung in der visuellen Wahrnehmung.

Out-of-distribution (OOD) generalization remains a central obstacle to deploying visual perception systems in open-ended environments where models encounter objects, concepts, and conditions absent from their training data. Deep learning models achieve remarkable performance on standardized benchmarks. Yet they frequently fail when deployed in real-world settings that differ from their training distribution. This thesis addresses this challenge through the concept of bridging invariants—structural properties that remain sufficiently stable across distributional gaps and enable the transfer of knowledge from familiar to novel conditions. Rather than treating all distributional shifts generically, this work identifies and exploits task-specific invariants by leveraging foundation models as external sources of these properties and transferring them into task-specific models via pseudo-labeling.

The thesis presents three complementary contributions, each addressing a distinct type of generalization gap. First, GOOD (ICLR 2023) bridges the semantic shift gap by exploiting geometric structure—depth and surface normals shared across all physical objects—to discover novel objects via pseudo-labeling. Training with only a single annotated class, GOOD surpasses prior methods by 5.0% AR@100. Second, RENOVATE (NeurIPS 2024) bridges the label-space misalignment gap by exploiting vision-language alignment to generate precise, segment-level category names. RENOVATE yields a 15% relative mIoU improvement and matches 5x more training data with original names. Third, LoftUp (ICCV 2025 Oral) bridges the resolution gap by exploiting boundary structure from SAM masks to construct pseudo-groundtruth high-resolution features. With less than 20% additional parameters, LoftUp achieves 10–20% improvement across six dense prediction tasks. Across all three works, the shared mechanism is consistent: identify the invariant that holds across the distributional gap, extract it from a foundation model, and transfer it through pseudo-labels to guide the task-specific model.

Yet each of these bridges was built across a gap that a human researcher had already identified. Beyond constructing bridges, this thesis therefore discusses the upstream problem of gap discovery—systematically identifying distributional shifts rather than assuming they are known. A structured analysis of recent OOD research reveals that gap discovery remains the field’s least systematized activity, and a retrospective case study demonstrates that automated tools from adjacent communities can accelerate this process. The thesis concludes by analyzing the biases that bridging invariants themselves introduce and identifying open problems at the intersection of gap discovery and invariant design. Taken together, these contributions establish bridging invariants as a principled and practical framework for OOD generalization in visual perception.