No abstract

In Augmented Reality systems, virtual objects are combined with real objects, both three dimensional, interactively and at run-time. In an ideal scenario, the user has the feeling that real and virtual objects coexist in the same space and is unable to differentiate the types of objects from each other. To achieve this goal, research on rendering techniques have been conducted in recent years. In this paper, we present a Systematic Literature Review aiming to identify the main characteristics concerning photorealism in Mixed and Augmented Reality systems to find research opportunities that can be further exploited or optimized. The objective is to verify if exists a definition of photorealism in Mixed and Augmented Reality. We present a theoreticalfundamental over the most used methods concerning realism in Computer Graphics. Also, we want to identify the most used methods and tools to enable photorealism in Mixed and Augmented Reality systems.

Remember the two benefits of failure. First, if you do fail, you learn what doesn't work; and second, the failure gives you the opportunity to try a new approach." (Roger Von Oech) RESUMOEsta dissertação apresenta um framework que permite que dispositivos de baixo custo visualizem e interajam com cenas fotorrealísticas. Para realizar essa tarefa, o framework faz uso do pipeline de renderização de alta definição do Unity, que tem um algoritmo de rastreamento de raio proprietário, e o pacote de streaming do Unity, que permite o streaming de um aplicativo em seu editor. O framework permite a composição de uma cena realista usando um algoritmo de Ray Tracing, e uma câmera de realidade virtual com shaders de barril, para corrigir a distorção da lente necessária para usar um cardboard de baixo custo. Inclui também um método para coletar a orientação espacial do dispositivo móvel por meio de um navegador Web para controlar a visão do usuário, entregue via WebRTC. O framework proposto pode produzir ambientes de baixa latência, realistas e imersivos para serem acessados por meio de HMDs e dispositivos móveis de baixo custo. Para avaliar a estrutura, este trabalho considera a verificação da taxa de quadros alcançada pelo servidor e pelo dispositivo móvel, que deve ser superior a 30 FPS para uma experiência fluida. Além disso, discute se a qualidade geral da experiência é aceitável, ao avaliar o atraso da entrega das imagens desde o servidor até o dispositivo móvel, em face da movimentação do usuário. Nossos testes mostraram que o framework atinge uma latência média em torno dos 177 (ms) com equipamentos wi-fi de uso doméstico e uma variação máxima das latências igual a 77.9 (ms), entre as 8 cenas testadas.Palavras-chave: Fotorealismo. Realidade virtual. Ray Tracing. Streaming. Dispositivos de baixo custo.

Although Augmented Reality applications are becoming increasingly popular, the lack of visual realism in rendering still remains an open problem due to its computational cost. Physically-based algorithms can generate renderings with a high degree of photorealism, and they are becoming popular after the recent development of hardware accelerators. This work shows how to integrate Augmented Reality frameworks with ray tracing frameworks to create scenes with high-quality, real-time reflections and refractions, with emphasis on the blending of virtual objects to the real environment. To support the interaction between real and virtual elements, a textured cube using images from the real environment must be provided. Our framework does not add processing overhead to the application when comparing the use of the proposed middleware to the use of ray tracing frameworks alone. We will show that with our approach, photorealistic augmented reality rendering can be achieved in real time without the use of any special equipment.

Nos últimos anos percebemos o aumento e a popularização de aplicações de realidade aumentada. Entretanto, ´e comum que esses sistemas apresentem uma considerável discrepância visual entre elementos reais e virtuais, o que acarreta na falta de realismo, sendo esse um dos motivos que desencorajam o uso desse tipo de aplicação. Algoritmos baseados em física, como o ray tracing, geram renderizações com um alto grau de fotorrealismo e estão se popularizando após o recente desenvolvimento de aceleradores de hardware. Alguns trabalhos presentes na literatura combinam essas duas tecnologias, realidade aumentada e ray tracing, de forma rígida e sem modularização, tornando a solução dependente de frameworks específicos. Neste trabalho, propomos um middleware para integrar realidade aumentada e ray tracing em tempo real, através do mapeamento das coordenadas da câmera no framework de ray tracing e de um processo de composição de imagens. Além disso, o middleware funciona de forma modularizada, permitindo ao usuário escolher entre bibliotecas e frameworks existentes, os que melhor se adequem `as necessidades e competências do usuário. Construímos uma aplicação utilizando o middleware ARRay-Tracing para integrar dois frameworks de ray tracing, o Optix e o VKRay, a um framework de realidade aumentada, o artoolkitX, obtendo em tempo real reflexões e refrações mais realistas. Após a avaliação, concluímos que o ARRay-Tracing possibilita a integração modular sem acrescentar sobrecarga de processamento `a aplicação, atingindo a taxa de 30 quadros por segundo para a renderização de cenas de baixa complexidade.