Em um momento de puro acaso, Lah Yileh Lee e Xinting Lee, uma dupla de cantores talentosos que costumam transmitir suas apresentações online, se apresentaram em uma praça pública em Taipei quando o fundador e CEO da NVIDIA Jensen Huang se deparou com elas.
Huang não resistiu a participar, torcendo por sua serenata enquanto gravavam “Always Remember Us This Way” de Lady Gaga.
O vídeo resultante rapidamente se tornou viral, assim como um vídeo de acompanhamento da dupla, que cantou “Hold My Hand” de Lady Gaga, a música originalmente solicitada por Huang.
Toy Jensen Criado Usando o NVIDIA Omniverse Avatar Cloud Engine
Agora, com a ajuda de seu avatar baseado em IA, Toy Jensen, Huang criou uma resposta lúdica com tema natalino.
A equipe criativa da NVIDIA desenvolveu rapidamente uma performance de férias de TJ, uma demonstração técnica que mostra as principais tecnologias que fazem parte da plataforma NVIDIA Omniverse Avatar Cloud Engine (ACE).
O Omniverse ACE é uma coleção de workflows e microsserviços de IA nativos do cloud para que os desenvolvedores criem, personalizem e implantem facilmente avatares envolventes e interativos.
Ao contrário do desenvolvimento de avatar atual, que requer experiência, equipamento especializado e fluxos de trabalho intensivos manualmente, o Omniverse ACE é construído sobre o Unified Compute Framework, da NVIDIA, ou UCF, que possibilita criar e configurar pipelines de IA rapidamente com o mínimo de codificação.
“É uma tecnologia realmente incrível, e o fato de podermos fazer isso é fenomenal”, disse Cyrus Hogg, gerente de programa técnico da NVIDIA.
Para isso, a equipe da NVIDIA utilizou um modelo de conversão de voz desenvolvido recentemente para extrair a voz de um cantor profissional de uma amostra fornecida por eles e transformá-la na voz de TJ, originalmente desenvolvida por treinamento em horas de gravações do mundo real. Eles usaram as notas musicais daquela amostra e aplicaram na voz digital de TJ para fazer o avatar cantar as mesmas notas e com o mesmo ritmo do cantor original.
NVIDIA Omniverse Generative AI: Audio2Face e Audio2Gesture Permitem Expressões Faciais Realistas e Movimentos Corporais
Em seguida, a equipe usou o NVIDIA Omniverse ACE junto com as tecnologias Omniverse Audio2Face e Audio2Gesture para gerar expressões faciais realistas e movimentos corporais para a performance animada baseada apenas no áudio de TJ.
Enquanto a equipe por trás das tecnologias Omniverse ACE passou anos desenvolvendo e aprimorando a tecnologia apresentada na performance, transformar a faixa de música que eles criaram em um vídeo levou apenas algumas horas.
Toy Jensen Encanta os Fãs com Performance de ‘Jingle Bells’
Isso lhes deu tempo de sobra para garantir um desempenho incrível.
Eles até colaboraram com Jochem van der Saag, um compositor e produtor que trabalhou com Michael Bublé e David Foster, para criar a faixa de apoio perfeita para TJ cantar junto.
“Temos van der Saag compondo a música e ele também vai orquestrar para nós”, disse Hogg. “Portanto, é uma ótima adição à equipe. E estamos muito animados em tê-lo a bordo.”
ACE Pode Revolucionar as Experiências Virtuais
O resultado é a vitrine perfeita para o NVIDIA Omniverse ACE e as aplicações que ele pode ter em vários setores: para eventos virtuais, educação online e atendimento ao cliente, bem como na criação de avatares personalizados para videogames, mídias sociais e experiências de realidade virtual. O NVIDIA Omniverse ACE estará disponível em breve para parceiros de acesso antecipado.