ARRay-Tracing: a middleware to integrate real-time ray tracing and augmented reality

Abstract

Nos últimos anos percebemos o aumento e a popularização de aplicações de realidade aumentada. Entretanto, ´e comum que esses sistemas apresentem uma considerável discrepância visual entre elementos reais e virtuais, o que acarreta na falta de realismo, sendo esse um dos motivos que desencorajam o uso desse tipo de aplicação. Algoritmos baseados em física, como o ray tracing, geram renderizações com um alto grau de fotorrealismo e estão se popularizando após o recente desenvolvimento de aceleradores de hardware. Alguns trabalhos presentes na literatura combinam essas duas tecnologias, realidade aumentada e ray tracing, de forma rígida e sem modularização, tornando a solução dependente de frameworks específicos. Neste trabalho, propomos um middleware para integrar realidade aumentada e ray tracing em tempo real, através do mapeamento das coordenadas da câmera no framework de ray tracing e de um processo de composição de imagens. Além disso, o middleware funciona de forma modularizada, permitindo ao usuário escolher entre bibliotecas e frameworks existentes, os que melhor se adequem `as necessidades e competências do usuário. Construímos uma aplicação utilizando o middleware ARRay-Tracing para integrar dois frameworks de ray tracing, o Optix e o VKRay, a um framework de realidade aumentada, o artoolkitX, obtendo em tempo real reflexões e refrações mais realistas. Após a avaliação, concluímos que o ARRay-Tracing possibilita a integração modular sem acrescentar sobrecarga de processamento `a aplicação, atingindo a taxa de 30 quadros por segundo para a renderização de cenas de baixa complexidade.