A simulação de veículos autônomos apresenta dois desafios: gerar um mundo com detalhes e realismo suficientes para que o motorista de IA perceba a simulação como real, além de criar simulações em escala grande o suficiente para cobrir todos os casos em que o motorista de IA precisa ser totalmente treinado e testado.
Para enfrentar esses desafios, os pesquisadores da NVIDIA criaram novas ferramentas baseadas em IA para criar simulações diretamente de dados do mundo real. O fundador e CEO da NVIDIA, Jensen Huang, previu o avanço durante sua apresentação de abertura do GTC.
Esta pesquisa inclui trabalhos premiados publicados pela primeira vez na SIGGRAPH, uma conferência de computação gráfica realizada no mês passado.
Motor de Reconstrução Neural
O Motor de Reconstrução Neural é um novo conjunto de ferramentas de IA para a plataforma de simulação NVIDIA DRIVE Sim que usa várias redes de IA para transformar dados de vídeo gravados em simulação.
O novo pipeline usa IA para extrair automaticamente os principais componentes necessários para simulação, incluindo o ambiente, ativos 3D e cenários. Essas peças são então reconstruídas em cenas de simulação que têm o realismo das gravações de dados, mas são totalmente reativas e podem ser manipuladas conforme necessário. Alcançar esse nível de detalhe e diversidade manualmente é caro, demorado e não escalável.
Ambientes e ativos
Uma simulação precisa de um ambiente para operar. O pipeline de IA converte dados de vídeo 2D de uma unidade do mundo real para um ambiente dinâmico de digital twins 3D que pode ser carregado no DRIVE Sim.
O pipeline DRIVE Sim AI segue um processo semelhante para reconstruir outros ativos 3D. Os engenheiros podem usar os ativos para reconstruir a cena atual ou colocá-los em uma biblioteca maior de ativos para serem usados em qualquer simulação.
Usar o pipeline de coleta de ativos é fundamental para aumentar a biblioteca do DRIVE Sim e garantir que ela corresponda à diversidade e distribuição do mundo real.
Cenários
Cenários são os eventos que ocorrem durante uma simulação em um ambiente combinado com ativos.
O Motor de Reconstrução Neural atribui comportamentos baseados em IA aos atores na cena, para que, quando apresentados aos eventos originais, eles se comportem exatamente como na unidade real. No entanto, como possuem um modelo de comportamento de IA, as figuras na simulação podem responder e reagir às mudanças do AV ou de outros elementos da cena.
Como esses cenários estão todos ocorrendo em simulação, eles também podem ser manipulados para adicionar novas situações. O tempo e a localização dos eventos podem ser alterados. Os desenvolvedores podem até incorporar elementos inteiramente novos, sintéticos ou reais, para tornar-se um cenário mais desafiador, como a adição de uma criança correndo atrás de uma bola na cena abaixo.
Integração no DRIVE Sim
Depois que o ambiente, os ativos e o cenário são extraídos, eles são remontados no DRIVE Sim para criar uma simulação 3D da cena gravada ou misturados com outros ativos para criar uma cena completamente nova.
O DRIVE Sim fornece as ferramentas para os desenvolvedores ajustarem objetos dinâmicos e estáticos, o caminho do veículo e a localização, orientação e parâmetros dos sensores do veículo.
As mesmas cenas no DRIVE Sim também são usadas para gerar dados sintéticos pré-etiquetados para treinar sistemas de percepção. Randomizações são aplicadas em cenas recriadas para adicionar diversidade aos dados de treinamento. A criação de cenas a partir de dados do mundo real reduz bastante a lacuna de simulação para real.
A capacidade de misturar e combinar formatos de simulação é uma vantagem significativa no teste e validação abrangentes de VAs em escala. Os engenheiros podem manipular eventos em um mundo que responde às suas necessidades com precisão.
O Motor de Reconstrução Neural é o resultado do trabalho da equipe de pesquisa da NVIDIA e será integrado em futuras versões do DRIVE Sim. Essa inovação permitirá que os desenvolvedores aproveitem a simulação baseada em física e a simulação neural na mesma plataforma baseada no cloud.