Design and applications of perception-based mesh, image, and display-related quality metrics

Abstract

Computer graphics have become an integral part of our daily lives, enabling immersive experiences in movies, video games, virtual reality, and augmented reality. However, the various stages of the computer graphics pipeline, from content generation to rendering and display, present their own challenges that can reduce visual quality and thus degrade the overall experience. Perceptual metrics are crucial for evaluating visual quality. However, many existing methods have limitations in reproducing human perception accurately, as they must account for the complexities of the human visual system. This dissertation aims to tackle these issues by proposing innovative advancements across different pipeline stages. Firstly, it introduces a novel neural-based visibility metric to improve the assessment of near-threshold image distortions. Secondly, it addresses shortcomings of the mesh quality metrics, vital for enhancing the integrity of three-dimensional models. Thirdly, the dissertation focuses on optimizing the visual quality of animated content while considering display characteristics and a limited rendering budget. Finally, the work delves into the challenges specific to stereo vision in a virtual reality setting. The ultimate objective is to enable the creation of more efficient and automated designs for virtual experiences, benefiting fields like entertainment and education. Through these contributions, this research seeks to elevate the standard of visual quality in computer graphics, enriching the way we interact with virtual worlds.

Computergrafik ist zu einem integralen Bestandteil unseres täglichen Lebens geworden und ermöglicht immersive Erlebnisse in Filmen, Videospielen, virtueller und erweiterter Realität. Allerdings stellen die verschiedenen Phasen der Computergrafik- Pipeline, angefangen vom Erstellen von Inhalten bis hin zu deren Rendering und Anzeige, ihre eigenen Herausforderungen dar, die die visuelle Qualität beeinträchtigen und somit das Gesamterlebnis negative beeinträchtigen können. Perzeptionsmetriken sind entscheidend für die Bewertung der visuellen Qualität. Viele bestehende Methoden haben jedoch ihre Grenzen bei der genauenWiedergabe der menschlichen Wahrnehmung, da sie die Komplexität des menschlichen visuellen Systems berücksichtigen müssen. Diese Dissertation zielt darauf ab, diese Probleme zu lösen, indem sie innovative Fortschritte in verschiedenen Phasen der Pipeline vorschlägt. Zunächst wird eine neuartige, neuronale Sichtbarkeitsmetrik vorgestellt, um die Beurteilung von Bildverzerrungen nahe derWahrnehmungsschwelle zu verbessern. Zweitens werden Schwächen von Mesh-Qualitätsmetriken behoben, die für verzerrungsfreie dreidimensionale Modelle von entscheidender Bedeutung sind. Drittens konzentriert sich die Dissertation darauf, die visuelle Qualität von animierten Inhalten zu optimieren und gleichzeitig Bildschirmeigenschaften und ein begrenztes Rendering-Budget zu berücksichtigen. Schließlich widmet sich die Arbeit den spezifischen Herausforderungen der Stereo-Vision in der virtuellen Realität. Das ultimative Ziel ist es, die Schaffung effizienterer und automatisierter Designs für virtuelle Erfahrungen zu ermöglichen, was Bereiche wie Unterhaltung und Bildung zugutekommt. Durch diese Beiträge strebt diese Forschung an, den Standard der visuellen Qualität in der Computergrafik zu erhöhen und unsere Interaktionen mit virtuellenWelten zu bereichern.