NVIDIA faz parceria com a SMI para desenvolver técnicas de renderização inovadoras que melhoram a experiência em VR

David Luebke e Aaron Lefohn

Na sua visão periférica, menos é mais

Os pesquisadores da NVIDIA estão utilizando a mais recente tecnologia de rastreamento ocular da SMI para desenvolver uma nova técnica que corresponde à fisiologia do olho humano com o objetivo de aumentar a fidelidade visual na realidade virtual.

A demonstração — que faremos novamente na conferência anual de computação gráfica SIGGRAPH em Anaheim, Califórnia, de 24 a 28 de julho — é simples. Basta colocar um headset com rastreamento ocular integrado e dar uma olhada na cena virtual de uma sala de aula com quadro negro e cadeiras. Está bonito, não está?

Agora, olhe para a cadeira do professor, desligue o rastreamento ocular e olhe em volta novamente. Somente a área ao redor da cadeira está renderizada em detalhes. Em sua visão periférica, a demonstração foi renderizada em uma versão menos detalhada da imagem, e você nem percebeu.

Essa nova técnica de renderização foveada¹ baseada em percepção é mais do que apenas um truque legal. Essa técnica promete focar os recursos de computação onde eles são mais importantes, permitindo que os desenvolvedores criem ambientes virtuais mais imersivos.

O que torna a técnica de renderização foveada da NVIDIA especial?

Podemos pensar que a visão humana tem dois componentes: a visão fóvea e a periférica. A pequena região de sua retina, chamada fóvea, é onde se concentram os cones — um tipo de célula fotorreceptora — que oferece visão detalhada e precisa. A visão periférica abrange um campo de visão muito maior, mas sem tanta acuidade.

No Foveation

Essa diferença em acuidade inspirou os sistemas de renderização foveada, que rastreiam o olhar do usuário e procuram aumentar os desempenhos gráficos ao renderizar uma qualidade de imagem menor na periferia. No entanto, a renderização foveada em demasia pode levar a defeitos visíveis, como tremulação, borrões ou impressão de visão tunelada².

Nossos pesquisadores usaram o protótipo de headset de rastreamento ocular da SMI para realizar um estudo perceptual minucioso sobre o que as pessoas realmente enxergam em sua visão periférica na VR. Com o conhecimento adquirido, eles desenvolveram um novo algoritmo de renderização que permite uma redução no esforço de renderização, sem ter uma queda notável na qualidade visual.

Foveated image

A equipe de pesquisa da NVIDIA, liderada por Anjul Patney, Joohwan Kim e Marco Salvi, descobriu que as técnicas de renderização foveada existentes tendem a gerar borrões ou tremores na visão periférica. Por isso, a equipe trabalhou para compreender os detalhes percebidos pelos humanos — como cor, contraste, bordas e movimento — no campo periférico.

Por exemplo, eles descobriram que o método tradicional de renderização de imagens de baixa resolução em nossa visão periférica resulta em temores que podem distrair, se a foveação for muito intensa. Eles também descobriram que o simples fato de desfocar as imagens percebidas pela região periférica do olho reduz o contraste, induzindo a uma sensação de visão tunelada.

Image with contrast preserving foveation.

Mas, ao combinar o desfoque com a preservação do contraste, eles descobriram que os usuários podiam tolerar o borrão até duas vezes mais antes de enxergar diferenças entre as imagens foveadas e as não foveadas.

“Isso é muito importante”, explicou Patney, “pois, com a realidade virtual, as taxas de frame e resoluções exigidas estão aumentando mais rápido do que nunca”.

Potencial do rastreamento ocular

Não seria possível fazer a demonstração sem nossos parceiros na SMI, o fabricante de aplicações de visão computacional na Alemanha. Sua tecnologia funciona ao envolver a borda de cada lente do headset com luzes infravermelhas. Em conjunto com o software da SMI, isso permite que os computadores possam detectar precisamente para onde seus olhos estão olhando, e a uma velocidade incrível.

A renderização foveada é apenas uma aplicação da tecnologia VR de rastreamento ocular da SMI. Ela também promete admitir calibragem pessoal da exibição, interação natural sem barreiras, presença social e novas percepções analíticas.

Saiba mais

Para ver todos os detalhes, acesse nossa página do projeto. Para ver nossa demonstração pessoalmente, visite nosso estande na área de Tecnologia emergente na SIGGRAPH. E siga as novidades na exposição em #SIGGRAPH2016.

¹ Fóvea é uma pequena depressão na retina do olho, onde a acuidade visual é a mais elevada. O centro do campo de visão é focado nesta região, onde os cones da retina são particularmente concentrados e a visão de cores são melhores.

² Visão Tunelada é a visão em que a tonalidade exibe um alto nível de contraste no centro, mas levemente escurecida nos arredores da imagem.

Histórias semelhantes