Nota do editor: Este post faz parte da série IA Decodificada, que desmistifica a IA ao tornar a tecnologia mais acessível e que apresenta novos hardware, software, ferramentas e acelerações para usuários de PC RTX.
Os personagens digitais estão subindo de nível.
Personagens não jogáveis geralmente desempenham um papel crucial na narrativa de videogames, mas como geralmente são projetados com um propósito fixo, podem se tornar repetitivos e chatos – especialmente em mundos vastos onde existem milhares.
Graças, em parte, aos incríveis avanços na computação visual, como ray tracing e DLSS, os videogames estão mais envolventes e realistas do que nunca, tornando os encontros áridos com NPCs especialmente chocantes.
No início deste ano, foram lançados microsserviços de produção para o NVIDIA Avatar Cloud Engine , dando aos desenvolvedores de jogos e criadores digitais um trunfo na manga quando se trata de criar NPCs realistas. Os microsserviços ACE permitem que os desenvolvedores integrem modelos de IA Generativas de última geração em avatares digitais em jogos e aplicações. Com os microsserviços ACE, os NPCs podem interagir e conversar dinamicamente com os jogadores no jogo e em tempo real.
Os principais desenvolvedores de jogos, estúdios e startups já estão incorporando ACE em seus títulos, trazendo novos níveis de personalidade e engajamento para NPCs e humanos digitais.
Dê vida aos avatares com NVIDIA ACE
O processo de criação de NPCs começa fornecendo-lhes uma história de fundo e um propósito, o que ajuda a orientar a narrativa e garante um diálogo contextualmente relevante. Em seguida, os subcomponentes do ACE trabalham juntos para criar a interatividade do avatar e melhorar a capacidade de resposta.
Os NPCs utilizam até quatro modelos de IA para ouvir, processar, gerar diálogo e responder.
A voz do jogador entra primeiro no NVIDIA Riva, uma tecnologia que cria pipelines de IA conversacionais em tempo real totalmente personalizáveis e transforma chatbots em assistentes envolventes e expressivos usando microsserviços de fala e tradução multilíngues acelerados por GPU.
Com o ACE, o recurso de reconhecimento automático de fala (ASR) da Riva processa o que foi dito e usa IA para fornecer uma transcrição altamente precisa em tempo real. Explore uma demonstração de fala para texto com tecnologia Riva em uma dúzia de idiomas.
A transcrição então vai para um LLM – como Gemma do Google, Llama 2 da Meta ou Mistral – e utiliza a tradução automática neural de Riva para gerar uma resposta de texto em linguagem natural. Em seguida, a funcionalidade Text-to-Speech da Riva gera uma resposta de áudio.
Por fim, o NVIDIA Audio2Face (A2F) gera expressões faciais que podem ser sincronizadas com diálogos em vários idiomas. Com o microsserviço, os avatares digitais podem exibir emoções dinâmicas e realistas transmitidas ao vivo ou incorporadas durante o pós-processamento.
A rede de IA anima automaticamente os movimentos do rosto, dos olhos, da boca, da língua e da cabeça para corresponder à amplitude emocional e ao nível de intensidade selecionados. E o A2F pode inferir emoções automaticamente diretamente de um clipe de áudio.
Cada etapa acontece em tempo real para garantir um diálogo fluido entre o jogador e o personagem. E as ferramentas são personalizáveis, dando aos desenvolvedores a flexibilidade de criar os tipos de personagens necessários para uma narrativa envolvente ou construção de mundos.
Nascido para rodar
Na GDC e GTC, desenvolvedores e parceiros de plataforma apresentaram demonstrações aproveitando os microsserviços NVIDIA ACE, desde NPCs interativos em jogos até poderosas enfermeiras humanas digitais.
A Ubisoft está explorando novos tipos de jogabilidade interativa com NPCs dinâmicos. Os NPCs NEO, produto de seu mais recente projeto de pesquisa e desenvolvimento, são projetados para interagir em tempo real com os jogadores, seu ambiente e outros personagens, abrindo novas possibilidades para uma narrativa dinâmica e emergente.
As capacidades desses NPCs NEO foram demonstrada utilizando demos, cada uma focada em diferentes aspectos do comportamento dos NPCs, incluindo consciência ambiental e contextual; reações e animações em tempo real; e memória de conversação, colaboração e tomada de decisões estratégicas. Combinadas, as demos destacaram o potencial da tecnologia para ultrapassar os limites do design e da imersão de jogos.
Usando a tecnologia Inworld AI, a equipe narrativa da Ubisoft criou dois NPCs NEO, Bloom e Iron, cada um com sua própria história de fundo, base de conhecimento e estilo de conversação único. A tecnologia Inworld também forneceu aos NPCs NEO conhecimento intrínseco de seus arredores, bem como respostas interativas alimentadas pelo LLM da Inworld. NVIDIA A2F forneceu animações faciais e sincronização labial para os dois NPCs em tempo real.
A Inworld e a NVIDIA agitaram a GDC com uma nova demonstração de tecnologia chamada Covert Protocol, que apresentou as tecnologias NVIDIA ACE e o Inworld Engine. Na demo, os jogadores controlavam um detetive particular que completava objetivos com base no resultado de conversas com NPCs no local. O Covert Protocol desbloqueou a mecânica de jogo de simulação social com personagens digitais alimentados por IA que atuaram como portadores de informações cruciais, apresentaram desafios e catalisaram desenvolvimentos narrativos importantes. Este nível aprimorado de interatividade orientada por IA e agência do jogador está definido para abrir novas possibilidades para uma jogabilidade emergente e específica para o jogador.
Construído no Unreal Engine 5, o Covert Protocol usa o Inworld Engine e NVIDIA ACE, incluindo NVIDIA Riva ASR e A2F, para aumentar os pipelines de fala e animação do Inworld.
Na versão mais recente da demonstração tecnológica NVIDIA Kairos construída em colaboração com Convai, que foi mostrada na CES, Riva ASR e A2F foram usados para melhorar significativamente a interatividade do NPC. A nova estrutura de Convai permitiu que os NPCs conversassem entre si e lhes deu consciência dos objetos, permitindo-lhes pegar e entregar itens nas áreas desejadas. Além disso, os NPCs ganharam a habilidade de conduzir os jogadores aos objetivos e atravessar mundos.
Personagens digitais no mundo real
A tecnologia usada para criar NPCs também está sendo usada para animar avatares e humanos digitais. Indo além dos jogos, a IA generativa para tarefas específicas está migrando para a saúde, atendimento ao cliente e muito mais.
A NVIDIA colaborou com a Hippocratic AI no GTC para ampliar sua solução de agente de saúde, mostrando o potencial de um avatar de agente de saúde com IA generativo. Mais trabalho está em andamento para desenvolver uma plataforma de inferência de latência superbaixa para potencializar casos de uso em tempo real.
“Nossos assistentes digitais fornecem informações úteis, oportunas e precisas para pacientes em todo o mundo”, disse Munjal Shah, cofundador e CEO da Hippocratic AI. “As tecnologias NVIDIA ACE dão vida a eles com recursos visuais de ponta e animações realistas que ajudam a se conectar melhor com os pacientes.”
Os testes internos dos agentes de saúde de IA iniciais da Hippocratic concentram-se na gestão de cuidados crônicos, treinamento de bem-estar, avaliações de risco à saúde, determinantes sociais de pesquisas de saúde, divulgação pré-operatória e acompanhamento pós-alta.
UneeQ é uma plataforma humana digital autônoma focada em avatares alimentados por IA para atendimento ao cliente e aplicativos interativos. A UneeQ integrou o microsserviço NVIDIA A2F em sua plataforma e combinou-o com sua tecnologia de animação sintética Synanim ML para criar avatares altamente realistas para melhorar a experiência e o envolvimento do cliente.
“A UneeQ combina IA de animação NVIDIA com nossa própria tecnologia de animação sintética Synanim ML para fornecer interações humanas digitais em tempo real que são emocionalmente responsivas e proporcionam experiências dinâmicas alimentadas por IA conversacional”, disse Danny Tomsett, fundador e CEO da UneeQ.
IA em jogos
ACE é uma das muitas tecnologias de IA da NVIDIA que levam os jogos para o próximo nível.
- NVIDIA DLSS é uma tecnologia gráfica inovadora que usa IA para aumentar as taxas de quadros e melhorar a qualidade da imagem nas GPUs GeForce RTX.
- NVIDIA RTX Remix permite que modders capturem facilmente recursos de jogos, aprimorem automaticamente materiais com ferramentas generativas de IA e criem rapidamente remasterizações RTX impressionantes com ray tracing completo e DLSS.
- NVIDIA Freestyle, acessado por meio do novo aplicativo NVIDIA beta, permite que os usuários personalizem a estética visual de mais de 1.200 jogos por meio de filtros de pós-processamento em tempo real, com recursos como RTX HDR, RTX Dynamic Vibrance e muito mais.
- O aplicativo NVIDIA Broadcast transforma qualquer sala em um estúdio doméstico, oferecendo ferramentas de voz e vídeo aprimoradas por IA para transmissão ao vivo, incluindo remoção de ruído e eco, fundo virtual e tela verde de IA, quadro automático, remoção de ruído de vídeo e contato visual.
Experimente o que há de melhor e mais recente em experiências alimentadas por IA com PCs e workstations NVIDIA RTX e entenda o que há de novo e o que vem por aí com IA Decodificada.
Receba atualizações semanais diretamente em sua caixa de entrada assinando a newsletter IA Decodificada.