Nota do editor: Esta postagem faz parte da série IA Decodificada, que desmistifica a IA ao tornar a tecnologia mais acessível e que apresenta novos hardware, software, ferramentas e acelerações para usuários de PC RTX.
Imagine uma vista deslumbrante, como um penhasco à beira da água. Mesmo sendo uma imagem 2D, a cena seria linda e convidativa. Agora imagine explorar essa mesma visualização em 3D – sem precisar estar lá.
A IA baseada na tecnologia NVIDIA RTX ajuda a transformar essa imaginação em realidade. Usando o Instant NeRF, os criativos estão transformando coleções de imagens estáticas em cenas digitais 3D em apenas alguns segundos.
Simplesmente Radiante
Um NeRF, ou campo de radiância neural, é um modelo de IA que pega imagens 2D representando uma cena como entrada e interpola entre elas para renderizar uma cena 3D completa. O modelo funciona como uma rede neural – um modelo que replica como o cérebro é organizado e é frequentemente usado para tarefas que exigem reconhecimento de padrões.
Usando localização espacial e renderização volumétrica, um NeRF usa a pose da câmera das imagens para renderizar uma iteração 3D da cena. Tradicionalmente, esses modelos são computacionalmente intensivos, exigindo grandes quantidades de poder e tempo de renderização.
Um recente projeto de pesquisa de IA da NVIDIA mudou isso.
O Instant NeRF leva os NeRFs para o próximo nível, usando renderização inversa acelerada por IA para aproximar como a luz se comporta no mundo real. Ele permite que os pesquisadores construam uma cena 3D a partir de imagens 2D tiradas em diferentes ângulos. As cenas agora podem ser geradas em segundos, e quanto mais tempo o modelo NeRF for treinado, mais detalhadas serão as renderizações 3D resultantes.
Os pesquisadores da NVIDIA lançaram quatro primitivos gráficos neurais, ou conjuntos de dados pré-treinados, como parte do conjunto de ferramentas de treinamento Instant-NGP na conferência de computação gráfica SIGGRAPH em 2022. As ferramentas permitem que qualquer pessoa crie NeRFs com seus próprios dados. Os pesquisadores ganharam o prêmio de melhor artigo pelo trabalho, e a revista TIME nomeou Instant NeRF como a melhor invenção de 2022.
Além de acelerar a renderização de NeRFs, o Instant NeRF torna todo o processo de reconstrução de imagem acessível usando GPUs NVIDIA RTX e GeForce RTX para desktops e notebooks Embora o tempo necessário para renderizar uma cena dependa de fatores como o tamanho do conjunto de dados e a combinação de conteúdo de imagem e vídeo, o treinamento de IA não requer hardware de nível de servidor ou baseado em nuvem.
As workstations NVIDIA RTX e os PCs GeForce RTX são ideais para atender às demandas computacionais de renderização de NeRFs. As GPUs NVIDIA RTX e GeForce RTX apresentam Tensor Cores, aceleradores de hardware de IA dedicados que fornecem potência para executar IA generativa localmente.
Preparar, apontar, já!
Comece com o Instant NeRF para aprender sobre campos de radiância e experimentar imagens de uma nova maneira.
Desenvolvedores e entusiastas de tecnologia podem baixar a base do código-fonte para compilar. Usuários não técnicos podem baixar os instaladores do Windows para o software Instant-NGP , disponíveis no GitHub .
Embora o instalador esteja disponível para uma ampla variedade de GPUs RTX, o programa tem melhor desempenho nas GPUs GeForce RTX Série 40 de arquitetura mais recente e NVIDIA RTX Ada Generation.
O guia “Introdução ao NeRF Instantâneo” orienta os usuários durante o processo, incluindo o carregamento de um dos primitivos, como “NeRF Fox”, para ter uma ideia do que é possível. Instruções detalhadas e tutoriais em vídeo — como o acima — demonstram como criar NeRFs com dados personalizados, incluindo dicas para capturar boas imagens de entrada e compilar bases de código (se construídas a partir do código-fonte). O guia também aborda o uso da interface gráfica do usuário Instant NeRF, otimizando os parâmetros da cena e criando uma animação a partir da cena.
A comunidade NeRF também oferece muitas dicas e truques para ajudar os usuários a começar. Por exemplo, confira a transmissão ao vivo abaixo e esta postagem técnica no blog.
Compartilhando e Contando Histórias
Artistas digitais estão compondo belas cenas e contando histórias novas com NVIDIA Instant NeRF. A galeria Instant NeRF apresenta alguns dos exemplos mais inovadores e instigantes, que podem ser visualizados como videoclipes em qualquer navegador da web.
Aqui estão alguns:
- “Through the Looking Glass”, de Karen X. Cheng e James Perlman Uma pianista pratica sua música, parte de sua rotina diária, embora não haja nada de mundano no que acontece a seguir. O espectador olha para o espelho, um mundo virtual que pode ser observado mas não atravessado; é inacessível por meios normais. Depois, ao cruzar o limiar, revela-se que este espelho é na verdade uma janela para uma realidade invertida que pode ser explorada a partir de dentro. Qual deles é real?
- “Meditation” por Franc Lucent Assim que entraram em um dos muitos quartos da propriedade de Nico Santucci, Lucent sabia que precisavam transformá-lo em um NeRF. Brincando com a faixa dinâmica e os reflexos no lago, apresentou ao artista uma exploração desconhecida. Eles ficaram satisfeitos com a suavidade da luz e a forma como o NeRF eleva a sala para o que parece ter saído de um sonho – o lugar perfeito para meditar. Um NeRF pode congelar um momento de uma forma mais envolvente do que uma foto ou vídeo.
- “Zeus” de Hugues Bruyère Essas cenas 3D renderizadas com Instant NeRF usam os dados que Bruyère capturou anteriormente para fotogrametria tradicional usando câmeras digitais sem espelho, smartphones, câmeras de 360 graus e drones. O Instant NeRF oferece a ele uma ferramenta poderosa para ajudar a preservar e compartilhar artefatos culturais por meio de bibliotecas on-line, museus, experiências de realidade virtual e projetos de conservação de patrimônio. Este NeRF foi treinado usando um conjunto de dados de fotos tiradas com um iPhone no Royal Ontario Museum.
Da imagem ao vídeo à realidade
Transformar imagens em uma cena 3D com IA é legal. Entrar nessa criação 3D é o próximo nível.
Graças a uma atualização recente do Instant NeRF, os usuários podem renderizar suas cenas a partir de imagens estáticas e entrar virtualmente nos ambientes, movendo-se livremente no espaço 3D. Em ambientes de realidade virtual (VR), os usuários podem sentir uma imersão completa em novos mundos, tudo dentro de seus headsets.
Os benefícios potenciais são quase infinitos.
Por exemplo, um corretor de imóveis pode criar e compartilhar um modelo 3D de uma propriedade, oferecendo passeios virtuais em novos níveis. Os varejistas podem exibir produtos em uma loja online, alimentada por uma coleção de imagens e IA executada em GPUs RTX. Esses modelos de IA potencializam a criatividade e estão ajudando a impulsionar a acessibilidade de experiências imersivas em 3D em outros setores.
O Instant NeRF vem com a capacidade de limpar cenas facilmente em VR, tornando a criação de NeRFs de alta qualidade mais intuitiva do que nunca. Saiba mais sobre como navegar em espaços NeRF instantâneos em VR.
Baixe Instant-NGP para começar e compartilhe suas criações nas redes sociais com a hashtag #InstantNeRF.
A IA generativa está transformando jogos, videoconferências e experiências interativas de todos os tipos. Entenda o que há de novo e o que vem por aí assinando a nossa newsletter de IA Decodificada.