Transformar uma ideia de simulação em uma aplicação funcional significa reunir assets, conectar física e renderização, e conferir se a cena se comporta como o esperado. Desenvolvedores estão combinando modelos de IA de fronteira com as bibliotecas NVIDIA Omniverse para dar conta desse trabalho: criam aplicações para explorar cenários, investigar falhas e aprimorar projetos.
Os desenvolvedores orientam os agentes de IA com instruções em linguagem natural, revisam os resultados e conduzem as mudanças. As bibliotecas Omniverse oferecem recursos de física, renderização e simulação de sensores acelerados por GPU.
Explore os projetos abaixo para ver modelos de IA de fronteira como o GPT-6 Astra em ação, e volte outras vezes para conferir novos exemplos de equipes da NVIDIA e de desenvolvedores de todo o ecossistema.
Construa um Simulador de Humanoide para um Ambiente de Armazém
Explore o controle baseado em física de um robô humanoide, em formato de jogo, com visão em primeira e em terceira pessoa.
Antes de automatizar tarefas de armazém, os desenvolvedores precisam de um ambiente de simulação interativo para explorar o comportamento das tarefas e avaliar como o trabalho é executado. Frank DeLise, gerente de produto de Omniverse na NVIDIA, usou o Astra para transformar um armazém SimReady e um robô humanoide em um simulador interativo com visão em primeira e em terceira pessoa.
DeLise orientou o Astra a conectar as bibliotecas NVIDIA Omniverse de física (ovphysx), atualização de cena (ovstage), renderização (ovrtx) e interface de usuário (ovui). Ele também usou o Astra com o SimReady (simready-foundation) para criar a cena física na simulação. O Astra então gerou a animação e o código da aplicação para reunir esses recursos.
Saiba como preparar e validar assets SimReady de robôs com modelos de IA de fronteira e bibliotecas NVIDIA Omniverse.
Conecte um Fluxo de Teste de Direção Autônoma
Mudar uma cena, um sensor ou um modelo de direção pode afetar bastante as simulações de veículos autônomos. Doyub Kim, um dos gerentes da equipe de tecnologia de simulação da NVIDIA, pediu ao Astra que construísse o Zero to Alpamayo, um ambiente de simulação reutilizável baseado na Market Street, em São Francisco.
Kim orientou o Astra a mapear o fluxo de trabalho e depois conectar, em etapas, a criação de assets, o tráfego, a simulação de sensores Omniverse RTX e a direção Alpamayo, conferindo cada integração. O protótipo resultante virou um campo de testes para comparar modelos e rastrear como mudanças de cena ou de sensor afetam o comportamento de direção nas etapas seguintes. Um experimento separado com o Cosmos3-Nano variou clima e iluminação em vídeos gravados de simulação, o que permitiu a Kim comparar as respostas do modelo de direção ao mesmo cenário sob condições diferentes.
Use Diferenças de Sensor para Criar e Melhorar Gêmeos Digitais
Comparar as saídas gravadas e simuladas de câmera e LiDAR dá aos desenvolvedores um retorno baseado em indicadores-chave de performance para refinar uma cena.
Para testar robôs e veículos autônomos, os desenvolvedores precisam saber o quanto os sensores simulados se aproximam dos reais. Ashley Reid, que trabalha com validação de sensores RTX na NVIDIA, orientou agentes Astra e Claude Fable 5 a comparar as saídas de câmera e de LiDAR bruto do ovrtx com dados gravados. Os agentes criaram dois gêmeos digitais do zero e aprimoraram outros dois já existentes.
Ao longo de cerca de três dias, Reid conduziu um fluxo iterativo no qual os agentes mediam diferenças, criavam ou modificavam cenas OpenUSD e conferiam os resultados. As mudanças trataram de objetos ausentes, geometria e materiais, com aceitação condicionada a métricas de câmera e LiDAR. Isso dá aos desenvolvedores uma forma de usar as discrepâncias medidas para guiar a criação e a melhoria de cenas.
Comece renderizando uma cena OpenUSD com o exemplo mínimo em Python do ovrtx e depois defina uma medida de sensor para comparar com os dados gravados.
Robo Olympics: Teste Habilidades de Robôs com Simulação
Ensinar novos movimentos a robôs significa verificar se essas ações funcionam sob restrições físicas. Tae Kim, que lidera engenharia e produto de NVIDIA Omniverse, usou vídeos de esportes e instruções em linguagem natural para guiar o Astra na construção do Robo Olympics, um projeto experimental que testa humanoides Unitree G1 simulados executando movimentos esportivos.
Sob a direção de Kim, o Astra construiu controladores e os refinou por meio de ensaios de física. O Newton Physics Engine simulou o comportamento, o framework de código aberto NVIDIA Warp acelerou os cálculos e o ovrtx renderizou as cenas e as imagens de câmera virtual. Em um experimento, o robô superou uma única barreira em 64 de 100 tentativas de simulação. Os ensaios deram a Kim retorno para melhorar a sincronização e o controle do robô.
Assista a Kim explorando a construção de simulações com o Astra e as bibliotecas NVIDIA Omniverse.
Teste a Desmontagem Robótica com Projeto Assistido por Computador e Simulação
Antes que um robô consiga desmontar um produto, os desenvolvedores precisam saber se as ferramentas dele alcançam e removem as peças. Jens Jebens, gerente sênior de produto de OpenUSD na NVIDIA, orientou o Astra a modelar uma suspensão de carro no PTC Onshape e configurá-la no NVIDIA Isaac Sim.
Com o Astra, Jebens explorou revisões de projeto assistido por computador e de ferramental para robôs com base em simulação. O agente mediu o espaço disponível e projetou uma chave que o robô poderia usar para alcançar os parafusos da suspensão. Jebens relatou a remoção bem-sucedida de um componente da suspensão em simulação. Isso conecta decisões de projeto e de ferramental aos resultados de desmontagem, e oferece um ponto de partida para o treinamento de políticas de robôs.
Conheça o guia do importador Onshape.
Leve a Estação Espacial Internacional para o Navegador
Transformar modelos 3D em uma aplicação exige conectar assets, dados ao vivo e uma interface. Nic Johns, um dos diretores de engenharia da NVIDIA, pediu ao Astra que montasse assets da NASA em um modelo OpenUSD da Estação Espacial Internacional com telemetria. Johns construiu a aplicação com um único prompt e depois usou um prompt seguinte para deslocar a cena para o lado diurno da Terra, de modo que o planeta ficasse visível.
O fluxo usou o Blender para preparação de assets e as bibliotecas Omniverse para renderização (ovrtx), runtime de cena (ovstage) e streaming (ovstream). A aplicação leva modelos 3D e dados operacionais para o navegador, com Johns conduzindo o desenvolvimento por prompts e correções.
Experimente a skill Omniverse Real-Time Viewer.
Transforme Salas Capturadas em Ambientes de Teste
Uma sala reconstruída digitalmente precisa de objetos editáveis e de comportamento físico preciso antes que os desenvolvedores possam testar interações. Chirag Majithia, da equipe de aplicações de engenharia do Isaac na NVIDIA, orientou o Astra a transformar capturas de câmera estéreo em um estúdio OpenUSD editável.
O fluxo combinou PyCuSFM, FoundationStereo e nvblox para a reconstrução, com a revisão do usuário guiando a seleção e o posicionamento dos objetos. O Astra reuniu assets gerados e criados no Blender e usou os USD Content Agents para configurar como os objetos se movem e interagem na simulação. Testes no Isaac Sim guiaram revisões de colisão e de contato para portas e gavetas. O estúdio conecta a geometria capturada ao teste de interação, o que facilita inspecionar falhas e o comportamento dos objetos.
Conheça os USD Content Agents.
Tem uma ideia de simulação? Explore as bibliotecas NVIDIA Omniverse para começar a construir com um agente de IA.