Nota do editor: essa publicação faz parte da série Conheça o Omnivore , que apresenta criadores e desenvolvedores individuais que usam o NVIDIA Omniverse para acelerar seus workflows 3D e para criar mundos virtuais.
Imagine tirar uma selfie e usá-la para fazer um avatar 3D em movimento, falante e personalizável em apenas alguns segundos.
Uma nova extensão do NVIDIA Omniverse, uma plataforma de colaboração de design e simulação de mundos, possibilita justamente isso.
Criada pelos desenvolvedores da startup de softwares in3D, a extensão permite que as pessoas importem avatares 3D de si mesmos instantaneamente para ambientes virtuais usando seus smartphones. As extensões do Omniverse são os blocos fundamentais de construção que permitem que qualquer pessoa crie e amplie as funções das aplicações do Omniverse.
A aplicação da in3D agora pode levar as pessoas, em seus formatos digitais, para o Omniverse. Ela ajuda os criadores a construir mundos virtuais envolventes e a usar esses avatares como heróis, atores ou espectadores em suas histórias. A aplicação funciona em qualquer telefone com uma câmera, recriando a geometria e a textura completas do usuário com base em uma selfie em vídeo.
Os avatares podem até ser adicionados a mundos 3D com animações e um guarda-roupa personalizável.
A in3D é membro do NVIDIA Inception, um programa global gratuito que incentiva startups de ponta.
Criação de Avatar Simples e Dimensionável
A criação de um avatar 3D fotorrealista tradicionalmente levava vários meses, com os custos chegando a dezenas de milhares de dólares. A fotogrametria, uma abordagem padrão para criar referências 3D de humanos a partir de imagens, é extremamente cara, requer um estúdio digital e carece dimensionamento.
Com o in3D, o processo de criação de avatares 3D é simples e dimensionável. A aplicação compreende a geometria, a textura, a profundidade e vários vetores de uma pessoa por meio de um escaneamento móvel, e usa essas informações para replicar detalhes realistas e criar animações preditivas para avatares.
Dmitry Ulyanov, CEO da in3D, que tem sede em Tel Aviv, Israel, disse que a aplicação captura até pequenos detalhes com precisão no nível de centímetro e corrige automaticamente a iluminação. Isso permite uma geometria precisa da cabeça a partir de uma única selfie, bem como a estimativa da forma exata do corpo do usuário.
Para criadores que criam mundos 3D, a aplicação da in3D pode economizar inúmeras horas, aumentar a produtividade e resultar em uma economia substancial de custos, afirmou Ulyanov.
“Criar manualmente um avatar pode levar meses”, acrescentou. “Com a aplicação de escaneamento e o kit de desenvolvimento do software da in3D, o usuário pode digitalizar e fazer upload de 21.000 pessoas com uma única GPU e celular no mesmo tempo.”
Conectando-se ao Omniverse
Ulyanov disse que o uso da extensão da In3D com o NVIDIA Omniverse Avatar Cloud Engine (ACE) abre muitas possibilidades para a construção de avatares, pois os usuários podem personalizar facilmente os avatares importados do in3D para interagir com seus mundos virtuais, em tempo real e em escala.
A In3D usa o Universal Scene Description (USD), um formato de arquivo extensível de código aberto, para integrar perfeitamente seus avatares de alta fidelidade ao Omniverse. Todos os dados do avatar estão incluídos em um arquivo USD, eliminando a necessidade de shaders ou incorporações complexas. Além disso, para levar os avatares ao Omniverse basta simplesmente arrastar e soltar.
Depois de importados para o Omniverse via USD, os avatares podem ser usados em aplicações como Omniverse Create e Audio2Face. Os usuários têm um conjunto completo de ferramentas no Omniverse para apoiar a criação holística de conteúdo, seja animando os corpos dos avatares com a ferramenta de redirecionamento ou criando suas expressões faciais com o Audio2Face.
Para criar a Extensão do Omniverse, a in3D usou o Kit Omniverse e seguiu o fluxo de desenvolvimento usando o programa de computador VSCode. Ser capaz de colocar um ponto de interrupção em qualquer lugar no código tornou o VSCode uma solução fácil, conveniente e pronta para uso para conectar a in3D ao Omniverse, disse Ulyanov.
“A capacidade de centralizar nosso SDK com outros softwares para desenvolvedores 3D é revolucionária”, disse ele. “Com nossa Extensão do Omniverse já disponível, queremos expandir a base de desenvolvedores que usam nossos avatares.”
“Poder fazer o upload do nosso SDK e conectá-lo a todas as ferramentas que os desenvolvedores 3D usam tornou a in3D uma solução tangível para implantar em todos os ambientes de desenvolvimento 3D”, disse Sergei Sherman, Diretor de Marketing da in3D. “Isso era algo que não teríamos conseguido fazer sozinhos em tão pouco tempo.”
Participe da Criação
Criadores e desenvolvedores do mundo todo podem fazer download do NVIDIA Omniverse gratuitamente, e equipes corporativas podem usar a plataforma para seus projetos 3D.
Saiba como conectar e criar mundos virtuais com o Omniverse no NVIDIA GTC, a conferência de design e simulação para a era da AI e do metaverso, que ocorrerá on-line de 19 a 22 de setembro. A inscrição é gratuita e oferece acesso a dezenas de sessões e eventos especiais.
Os desenvolvedores podem usar o Omniverse Code para criar sua própria Extensão do Omniverse para o concurso inaugural #ExtendOmniverse até sexta-feira, 9 de setembro, às 22h (horário de Brasília), para ter a chance de ganhar uma GPU NVIDIA RTX. Confira os vencedores no Grupo de Usuários NVIDIA Omniverse no GTC.
Encontre documentação e tutoriais adicionais no Omniverse Resource Center, que detalha como desenvolvedores como Ulyanov podem criar aplicações e extensões personalizadas baseadas no USD para a plataforma.
Siga o NVIDIA Omniverse no Instagram, noMedium, noTwitter e noYouTube para mais recursos e inspiração. Confira os fóruns do Omniverse e junte-se ao nosso Servidor do Discord e ao canal na Twitch para conversar com a comunidade.