Advances on computational imaging, material appearance, and virtual reality

Resumen

Esta tesis se centra en tres campos relacionados con la computación visual (visual computing): imagen computacional, apariencia de materiales, y realidad virtual. La primera parte de la tesis se centra en el campo de la imagen computacional (computational imaging), y en particular, la captura de imágenes de alto rango dinámico, y de vídeo de alta velocidad. En el primer caso, nos centramos en la captura de imágenes de alto rango dinámico en un solo disparo. Proponemos un novedoso algoritmo de reconstrucción basado en sparse coding que nos permite reconstruir el rango completo de luminancias de una escena, a partir de una sola imagen en bajo rango dinámico con la información de luminancia codificada. En el segundo caso, nos centramos en el dominio temporal, proponiendo un algoritmo de reconstrucción que nos permite recuperar secuencias de video de alta velocidad a partir de una sola imagen capturada, en la que la información temporal se encuentra codificada. La segunda parte de la tesis se centra en percepción visual y edición de apariencia de materiales del mundo real. En este trabajo, proponemos un espacio intuitivo y basado en percepción para la manipulación y edición de materiales capturados. Para ello, derivamos una serie de atributos significativos para describir apariencia, y después construimos un espacio para manipular dichos atributos basándonos en un estudio de usuarios a gran escala. Después, proponemos una serie de aplicaciones que pueden derivarse del uso de este espacio. Una de estas aplicaciones, a la que dedicamos especial atención, es el proceso de mapeado de tono (gamut mapping). El rango de apariencias que los dispositivos de reproducción (e.g., pantallas o impresoras) pueden mostrar está limitado, y es diferente para cada dispositivo. Dada una apariencia deseada, que puede estar fuera de esta gama que los dispositivos pueden mostrar, el proceso de mapeado de tono consiste en convertir dicha apariencia a una que el dispositivo sí que pueda representar, intentando minimizarlas alteraciones visuales que le podamos causar en este proceso. Para esta tarea, hacemos uso de nuestro espacio de manipulación basado en atributos perceptuales para introducir percepción visual en este proceso, y así intentar minimizar las distorsiones visuales percibidas que puedan surgir durante el mapeado de tono. La tercera parte de la tesis se centra en realidad virtual. Primero, nos centramos en el estudio del comportamiento y la mirada de los usuarios en panoramas estáticos con estéreo en todo el campo de visión (omnistereo). Para ello, capturamos y analizamos muestras de varios usuarios, y además proponemos una serie de aplicaciones haciendo uso de nuestras conclusiones. Después, investigamos comportamientos más complejos, esta vez en entornos dinámicos bajo un contexto cinematográfico. Para ello, capturamos datos de la mirada de los usuarios visualizando vídeos en realidad virtual que contienen cortes con diferentes parámetros, y con estos datos realizamos el primer análisis sistemático de la percepción de continuidad y el comportamiento de los usuarios visualizando contenido cinematográfico en realidad virtual. Finalmente, proponemos un nuevo método para añadir paralaje a la visualización en tiempo real de vídeos en realidad virtual. Este método permite que vídeos que habían sido capturados desde un único punto de vista, puedan ser visualizados desde puntos de vista ligeramente diferentes, mejorando la inmersión y la calidad de la experiencia virtual