Transformar ambientes do mundo real em simulação interativa não requer mais dias ou semanas de trabalho. Com o NVIDIA Omniverse NuRec e o 3DGUT (3D Gaussian with Unscented Transforms), você pode reconstruir cenas 3D fotorrealistas a partir de dados simples do sensor e implantá-las no NVIDIA Isaac Sim ou no CARLA Simulator instantaneamente.
Esta postagem mostra como capturar dados do mundo real, treinar uma reconstrução e carregar os resultados no Isaac Sim.
Vídeo 1. As bibliotecas de reconstrução neural NVIDIA Omniverse NuRec trazem o mundo real para a simulação, utilizando dados de múltiplos sensores para alcançar ambientes fotorrealistas essenciais para testar e validar sistemas de robótica.
Como Criar uma Simulação Interativa a Partir de Fotos
A reconstrução neural permite o treinamento eficiente de robôs em simulações realistas, melhorando a transferência de simulação para real. As etapas a seguir simplificam a reconstrução neural e a renderização em uma receita que funciona em diferentes ambientes.
Etapa 1: Capturar a Cena do Mundo Real
Capture aproximadamente 100 fotos de todos os ângulos com boa iluminação e sobreposição entre as imagens para ajudar na correspondência de recursos. Especificações de exemplo: f/8, 1/100s+, 18 mm ou similar).
Etapa 2: Gerar Reconstrução Esparsa com COLMAP
Para gerar uma nuvem de pontos esparsa e um parâmetro de câmera, use COLMAP, um pipeline de uso geral Structure-from-Motion (SfM) e Multi-View Stereo (MVS). Você pode conseguir isso por meio de sua GUI usando reconstrução automática ou executando comandos para extração de recursos, correspondência de recursos e reconstrução esparsa. Para compatibilidade com 3DGUT, selecione o modelo de câmera pinhole ou pinhole simples.
Etapa 3: Treinar com 3DGUT para Reconstrução Densa
Use as saídas COLMAP para treinar com 3DGUT e config apps/colmap_3dgut_mcmc.yaml.
Etapa 4: Exportar para USD e Normalizar
Após a conclusão do treinamento, exporte sua cena reconstruída como um arquivo USD usando estes sinalizadores essenciais:
Confira um tutorial para obter um script de exemplo que pode ser executado diretamente do Editor de Scripts ou como um Aplicativo Independente.
Isso cria um ativo em USD que se integra perfeitamente ao ecossistema de simulação do Isaac Sim.
Etapa 5: Implantar a Cena Reconstruída
Os ativos em USD gerados por meio desse pipeline podem ser carregados ou referenciados diretamente no Isaac Sim, assim como qualquer outro ativo em USD. Basta usar o File > Import ou arrastar e soltar o arquivo USD no palco a partir do navegador de conteúdo.
Depois de carregar o ativo em USD, um plano de aterramento pode ser criado dentro do Isaac Sim para simulação de mobilidade, conforme explicado no Vídeo 2.
Vídeo 2. Tutorial passo a passo sobre como adicionar uma malha de plano de solo e física à cena renderizada durante a importação para o Isaac Sim
Cenas reconstruídas também estão disponíveis no NVIDIA Physical AI Dataset para importação rápida e experimentação imediata.
Como Reproduzir Cenas de Veículos Autônomos em CARLA
Para o desenvolvimento de veículos autônomos (AV), as bibliotecas Omniverse NuRec integradas ao simulador CARLA AV de código aberto abrem possibilidades poderosas. Este é um novo recurso experimental e funciona com cenas de amostra que já foram reconstruídas e disponíveis no conjunto de dados NVIDIA Physical AI.
Etapa 1: Executar o CARLA e Configurar Scripts
Selecione uma cena no conjunto de dados de IA física, navegue até o diretório CARLA e execute o seguinte script:
Passo 2: Repita a Cena
Em seguida, reproduza o cenário NuRec do Omniverse usando o seguinte:
Etapa 3: Capturar Dados
Você também pode capturar dados dentro da simulação para testes adicionais. Captura de imagem para geração de conjunto de dados:
Essa integração permite que você reproduza unidades do mundo real em um ambiente de simulação controlável, completo com todos os atores e dinâmicas da cena original.
Como aprimorar ainda mais as cenas reconstruídasQuer levar suas cenas reconstruídas ainda mais longe? O NVIDIA Cosmos Transfer, um modelo de base mundial multicontrole, amplifica a robótica e a simulação AV, permitindo a geração de vídeo precisa e controlável. Use o Cosmos Transfer para sintetizar diversos ambientes, condições de iluminação e cenários climáticos. Você também pode adicionar e editar objetos dinamicamente usando controles multimodais, como segmentação, mapas de profundidade, mapas HD e muito mais.
Essa abordagem simplifica a criação de conjuntos de dados ricos em cenários, reduz o esforço manual e garante uma validação rigorosa e fotorrealista. Com o Cosmos Transfer-1 destilado para reduzir 70 etapas de difusão, você pode gerar vídeo controlável fotorrealista em menos de 30 segundos. Com base nessas melhorias de desempenho, o Cosmos Transfer-2 será lançado em breve para acelerar ainda mais a geração de dados sintéticos (SDG) para o desenvolvimento de AV.
Por que a Renderização Baseada em Gaussiano Acelera os Workflows de Simulação
Os gaussianos 3D representam um salto transformador na forma como o mundo real é reconstruído e simulado para robótica e veículos autônomos. Ao simplificar o caminho da captura de dados para ambientes interativos e fotorrealistas, as bibliotecas Omniverse NuRec aproveitam a renderização baseada em Gaussian para acelerar drasticamente os fluxos de trabalho de simulação para testes escaláveis e robustos.
A combinação do pipeline de estrutura a partir do movimento comprovado pelo COLMAP com os recursos avançados de renderização 3DGUT cria uma base robusta que lida com cenários complexos do mundo real – desde condições de iluminação desafiadoras até distorções intrincadas da câmera – que atrapalhariam os métodos tradicionais de reconstrução.
Comece a Renderizar Cenas do Mundo Real em Simulação Interativa
Seja você um pesquisador com o objetivo de ultrapassar os limites da transferência de simulação para real ou um engenheiro que busca geração de cena eficiente e de alta fidelidade, esses avanços permitem que você itere rapidamente e implante com confiança soluções baseadas na complexidade do mundo real.
Pronto para começar?
- Baixe dados reconstruídos de amostra do conjunto de dados de IA física da NVIDIA
- Acesse a implementação do 3DGUT a partir do nv-tlabs/3dgrut Repositório GitHub
- Simule soluções de robótica orientadas por IA em ambientes virtuais baseados em física com o NVIDIA Isaac Sim 5.0
- Saiba mais sobre como integrar o CARLA Simulator com o NVIDIA Omniverse NuRec
O futuro da simulação física de IA está aqui e está mais acessível do que nunca. Comece a criar gêmeos digitais mais ricos e realistas para as máquinas inteligentes de amanhã.