Programmable Optics for Computational Photography

DSpace Repository

Show simple item record

dc.contributor.advisor Lensch, Hendrik P. A. (Prof. Dr.)
dc.contributor.author Chen, Jieen
dc.date.accessioned 2022-06-07T11:11:32Z
dc.date.available 2022-06-07T11:11:32Z
dc.date.issued 2022-06-07
dc.identifier.uri http://hdl.handle.net/10900/127842
dc.identifier.uri http://nbn-resolving.de/urn:nbn:de:bsz:21-dspace-1278424 de_DE
dc.identifier.uri http://dx.doi.org/10.15496/publikation-69205
dc.description.abstract Die programmierbare Optik stößt auf großes Interesse in Bezug auf die computergestützte Fotografie. Jüngste Entwicklungen bezüglich räumlicher Lichtmodulatoren (SLMs) haben dazu geführt, dass eine optische Kodierung in der Fotografie möglich ist, die das Versprechen birgt, Abbildungsaufgaben kostengünstiger zu lösen. Diese Arbeit untersucht die gemeinsame Gestaltung von Optik und digitaler Verarbeitung sowohl hinsichtlich optischer Wellenfront- und Strahlencodierung als auch Inverser-Solver und neuronaler Netze. Wir beginnen mit einer Einführung in die Grundlagen der Bildentstehung, das Gestaltungsparadigma, die Details des erleichterten SLM und die Grundlagen der Bildrekonstruktion. Anschließend identifizieren wir die Punktspreizfunktionen (PSF) als Bindeglied zwischen optischen und digitalen Modulen der Abbildungskette und bauen eine computerbasierte Kamera auf, die benutzerdefinierte PSF durch die phasenkodierte Blende ermöglicht. Sobald die Kamera verifiziert ist, realisieren wir eine Schnappschuss-Multispektral-Bildgebung, indem wir die chromatische Dispersion der PSFs untersuchen. Ein modellbasierter Rahmen wird konstruiert, um Spektren pro Pixel in einem einzigen Bild zu kodieren und anschließend mehrere Spektralbilder in voller Auflösung mit einem inversen Solver zu dekodieren. Während handabgestimmte PSFs effektiv sind, nutzt ein ganzheitlicher Ansatz die großen Mengen an Bilddaten, um das optische Phasenmuster zu lernen. Als nächstes wird eine datengetriebene Joint-Design-Methode entwickelt und validiert, die die physikalischen Parameter und die digitale Rekonstruktion in einer End-to-End-Methode für ein klassisches Bildgebungsproblem optimiert: die erweiterte Tiefenschärfe. Darüber hinaus wirft die Joint-Design-Methode Licht auf die Lösung eines Abbildungsproblems: Wie kann man ein optisch echtes Hybrid-Zoom mit einem einzigen Objektiv an einer einzigen Kamera erreichen? Wir nähern uns der Lösung, indem wir eine computerbasierte Kamera einrichten, die die Hauptstrahlverteilung modifiziert, sodaß ein programmierbares Sichtfeld ermöglicht wird. de_DE
dc.description.abstract Programmable optics is generating considerable interest in terms of computational photography. Recent developments regarding spatial light modulators (SLMs) have made optical coding in photography possible, which bears the promise of solving imaging tasks more cost-effectively. This thesis examines the joint design of optics and digital processing regarding both optical wavefront and ray encoding and inverse solvers and neural networks. We start with an introduction to the fundamentals of image formation, the design paradigm, the details of the facilitated SLM, and the basics of image reconstruction. We then identify the point spread functions (PSFs) as a link between the optics and digital modules of the imaging chain and set up a computational camera, allowing user-defined PSFs through the phase-coded aperture. Once the camera is verified, we realize snapshot multispectral imaging by inspecting the chromatic dispersion of PSFs. A model-based framework is constructed to encode per-pixel spectra on a single image and then to decode multiple full-resolution spectral images with a regularizer-assisted inverse solver. While hand-tuned PSFs are effective, a holistic approach takes advantage of the large amounts of image data to learn the optical phase pattern. Next, we constitute and validate a data-driven joint-design method that optimizes physical parameters and digital reconstruction in an end-to-end fashion on a classical imaging problem: extended depth of field. In addition, the joint-design scheme sheds light to solve an imaging conundrum: how to achieve an optically true hybrid zooming with a single lens on a single camera? We approach the solution by establishing a computational camera that modifies the chief ray distribution; ergo, it enables a programmable field of view. en
dc.language.iso en de_DE
dc.publisher Universität Tübingen de_DE
dc.rights ubt-podok de_DE
dc.rights.uri http://tobias-lib.uni-tuebingen.de/doku/lic_mit_pod.php?la=de de_DE
dc.rights.uri http://tobias-lib.uni-tuebingen.de/doku/lic_mit_pod.php?la=en en
dc.subject.ddc 004 de_DE
dc.subject.other PSF en
dc.subject.other Computational photography en
dc.subject.other Computer vision en
dc.subject.other Programmable optics en
dc.subject.other Machine learning en
dc.subject.other Computational imaging en
dc.subject.other Spectral imaging en
dc.subject.other Extended depth-of-field en
dc.subject.other Computational camera en
dc.subject.other Hybrid zooming en
dc.title Programmable Optics for Computational Photography en
dc.type PhDThesis de_DE
dcterms.dateAccepted 2022-04-25
utue.publikation.fachbereich Informatik de_DE
utue.publikation.fakultaet 7 Mathematisch-Naturwissenschaftliche Fakultät de_DE
utue.publikation.noppn yes de_DE

Dateien:

This item appears in the following Collection(s)

Show simple item record