Computer Vision Applications for Spectral Imaging

Abstract

Der Erfolg von Deep-Learning-basierten Algorithmen hat in den letzten Jahren die Leistung von Bildverarbeitungsmethoden auf der Grundlage von Farbbildern erheblich verbessert. Die Entwicklung von hyperspektralen und multispektralen Kameras ermöglichte neue Anwendungsgebiete für die spektrale Bildverarbeitung. Dennoch steckt die Kombination von Computer-Vision-Methoden und Spectral Imaging noch in den Kinderschuhen, zumal Deep-Learning-basierte Ansätze für Spectral Imaging noch nicht voll\-stän\-dig etabliert sind.

Jüngste Entwicklungen im Bereich der Computer Vision werden in dieser Arbeit für verschiedene Anwendungen der Spectral Imaging erprobt. Vier Herausforderungen für die Algorithmen (fehlende Datensätze, aufgabenspezifische Merkmale, komplizierte Daten-Erweiterung und große Channeldimension) werden identifiziert und angegangen.

Im ersten Teil dieser Arbeit wird ein einfaches Convolutional Neural Network vorgestellt und auf zwei Hyperspectral-Imaging-Anwendungen aus der Lebensmittelkontrolle evaluiert. In diesem Zusammenhang wird ein Datensatz von reifenden Früchten vorgestellt, der auch im weiteren Verlauf der Arbeit verwendet wird. Im zweiten Teil wird das self-supervised Pretraining für Hyperspectral Imaging am Beispiel von drei modernen Contrastive-Learning-Methoden (SimCLR, SimSiam, Barlow Twins) vorgestellt. Einige Modifikationen, wie z.B. Data Augmentation, sind hierfür notwendig. Danach wird der Hauptbeitrag dieser Arbeit, eine wellenlängenbasierte 2D-Convolution für die hyperspektrale Bildgebung, vorgestellt. Die Kernidee der Methode ist der eingeführte Bias "Ähnliche Wellenlängen zeigen ähnliche Merkmale". Dieser Bias führt zu einer signifikanten Reduktion der trainierbaren Parameter und unterstützt das Training von kamera-agnostischen Modellen. Im letzten Teil dieser Arbeit wird die Tauglichkeit von Multispektralkameras für maritime Such- und Rettungseinsätze diskutiert und evaluiert. Dazu wurde ein Datensatz mit Menschen im Wasser aufgenommen und veröffentlicht. In diesem Zusammenhang wird eine Methode vorgestellt, mit der Background-Bias, ein Problem bei diesen Fernerkundungsaufnahmen, reduziert werden kann. Am Ende wird die Arbeit mit einer Zusammenfassung, einer kurzen Diskussion und einem Ausblick abgerundet.

Keine der definierten Herausforderungen konnte vollständig bewältigt werden. Dennoch zeigen die vorgestellten Ansätze, wie eine Lösung aussehen könnte und bereiten zukünftige Forschung in diese Richtung vor.

The success of deep-learning-based algorithms significantly boosted the performance of computer vision methods based on color images in recent years. The development of hyperspectral and multispectral camera systems allowed many new applications of spectral imaging. Still, the combination of both, computer vision methods and spectral imaging, are in its infancy, especially since deep-learning-based approaches are not well-established for spectral imaging.

In this work, recent computer vision developments are applied to different spectral imaging tasks. Four challenges for the algorithms (lack of data sets, task-specific features, complicated data augmentation, and large channel dimension) are identified and tackled.

In the first part of this work, a simple convolutional neural network is proposed and evaluated on two hyperspectral imaging applications in food inspection. In this context, a data set of ripening fruit is introduced, which is used throughout the rest of the work. In the second part, self-supervised pretraining for hyperspectral imaging is introduced based on the example of three state-of-the-art contrastive learning methods (SimCLR, SimSiam, Barlow Twins). Some modifications, like data augmentations, are required for this. Afterward, the main contribution of this paper, a wavelength-aware 2D convolution for hyperspectral imaging, is proposed. The key idea of the method is the introduced bias "Similiar wavelengths show similar features". This bias leads to a significant trainable parameter reduction and supports the training of camera-agnostic models. The last part of this work discusses and evaluates the usefulness of multispectral cameras for maritime search and rescue missions. Therefore, a data set with humans in open water was recorded and published. In this context, a method is presented which can reduce the background bias, a problem of these remote sensing recordings. In the end, the work is concluded with a summary, a short discussion, and an outlook.

None of the defined challenges were fully overcome. Still, the presented approaches show how a solution could look and prepare future research in these directions.