As tecnologias de simulação escaláveis estão impulsionando o futuro da robótica autônoma, reduzindo o tempo e os custos de desenvolvimento.
O Universal Scene Description (OpenUSD) fornece um framework de dados escalável e interoperável para o desenvolvimento de mundos virtuais onde os robôs podem aprender a ser robôs. Com as simulações baseadas em OpenUSD do SimReady, os desenvolvedores podem criar cenários ilimitados com base no mundo físico.
E o NVIDIA Isaac Sim está avançando na simulação de robótica baseada em IA de percepção. Isaac Sim é uma aplicação de referência criada na plataforma NVIDIA Omniverse para desenvolvedores simularem e testarem robôs orientados por IA em ambientes virtuais baseados em física.
Na AWS re:Invent, a NVIDIA anunciou que o Isaac Sim agora está disponível em instâncias G6e do Amazon EC2 com GPUs NVIDIA L40S. Essas instâncias poderosas aprimoram o desempenho e a acessibilidade do Isaac Sim, tornando as simulações de robótica de alta qualidade mais escaláveis e eficientes.
Esses avanços no Isaac Sim marcam um salto significativo para o desenvolvimento da robótica. Ao permitir testes realistas e treinamento de modelos de IA em ambientes virtuais, as empresas podem reduzir o tempo de implantação e melhorar o desempenho do robô em uma variedade de casos de uso.
Avançando na Simulação Robótica com Geração de Dados Sintéticos
Empresas de robótica como Cobot, Field AI e Vention estão usando Isaac Sim para simular e validar o desempenho do robô, enquanto outras, como SoftServe e Tata Consultancy Services, usam dados sintéticos para inicializar modelos de IA para diversas aplicações robóticas.
A evolução do aprendizado de robôs está profundamente entrelaçada com a tecnologia de simulação. Os primeiros experimentos em robótica dependiam muito de testes trabalhosos e com muitos recursos. A simulação é uma ferramenta crucial para a criação de ambientes fisicamente precisos, onde os robôs podem aprender por tentativa e erro, refinar algoritmos e até treinar modelos de IA usando dados sintéticos.
A IA física descreve modelos de IA que podem entender e interagir com o mundo físico. Ele incorpora a próxima onda de máquinas e robôs autônomos, como carros autônomos, manipuladores industriais, robôs móveis, humanóides e até mesmo infraestrutura operada por robôs, como fábricas e armazéns.
A simulação robótica, que forma o segundo computador na solução de três computadores, é a pedra angular do desenvolvimento físico de IA que permite que engenheiros e pesquisadores projetem, testem e refinem sistemas em um ambiente virtual controlado.
Uma abordagem de simulação em primeiro lugar reduz significativamente o custo e o tempo associados à prototipagem física, ao mesmo tempo em que aumenta a segurança, permitindo que os robôs sejam testados em cenários que, de outra forma, poderiam ser impraticáveis ou perigosos na vida real.
Com um novo fluxo de trabalho de referência, os desenvolvedores podem acelerar a geração de conjuntos de dados 3D sintéticos com IA generativa usando microsserviços OpenUSD NIM. Essa integração simplifica o pipeline desde a criação da cena até o aumento de dados, permitindo um treinamento mais rápido e preciso dos modelos de IA de percepção.
Os dados sintéticos podem ajudar a enfrentar o desafio de dados limitados, restritos ou indisponíveis necessários para treinar vários tipos de modelos de IA, especialmente em visão computacional. O desenvolvimento de modelos de reconhecimento de ação é um caso de uso comum que pode se beneficiar da geração de dados sintéticos.
Para saber como criar um conjunto de dados de vídeo de reconhecimento de ação humana com Isaac Sim, confira o blog técnico sobre Dimensionamento de Modelos de Reconhecimento de Ação com Dados Sintéticos. As simulações 3D oferecem aos desenvolvedores controle preciso sobre a geração de imagens, eliminando alucinações.
Simulação Robótica para Humanóides
Os robôs humanóides são a próxima onda de IA incorporada, mas apresentam um desafio na interseção da mecatrônica, teoria de controle e IA. A simulação é crucial para resolver esse desafio, fornecendo uma plataforma segura, econômica e versátil para treinar e testar humanóides.
Com o NVIDIA Isaac Lab, um framework unificado de código aberto para aprendizado de robôs criado com base no Isaac Sim, os desenvolvedores podem treinar políticas de robôs humanóides em escala por meio de simulações. Os principais fabricantes de robôs comerciais estão adotando o Isaac Lab para lidar com movimentos e interações cada vez mais complexos.
O NVIDIA Project GR00T, uma iniciativa de pesquisa ativa para habilitar o ecossistema de robôs humanóides de construtores, é pioneiro em workflows como o GR00T-Gen para gerar tarefas de robôs e ambientes prontos para simulação no OpenUSD. Eles podem ser usados para treinar robôs generalistas para realizar manipulação, locomoção e navegação.
Uma pesquisa publicada recentemente do Project GR00T também mostra como a simulação avançada pode ser usada para treinar humanóides interativos. Usando Isaac Sim, os pesquisadores desenvolveram um único controlador unificado para humanóides fisicamente simulados chamado MaskedMimic. O sistema é capaz de gerar uma ampla gama de movimentos em diversos terrenos a partir de intenções intuitivas definidas pelo usuário.
Gêmeos Digitais Baseados em Física Simplificam o Treinamento de IA
Parceiros de todos os setores estão usando Isaac Sim, Isaac Lab, Omniverse e OpenUSD para projetar, simular e implantar máquinas autônomas mais inteligentes e capazes:
- A Agility usa o Isaac Lab para criar simulações que permitem que os comportamentos simulados do robô sejam transferidos diretamente para o robô, tornando-o mais inteligente, ágil e robusto quando implantado no mundo real.
- A Cobot usa Isaac Sim com seu cobot com inteligência artificial, Proxie, para otimizar a logística em armazéns, hospitais, fábricas e muito mais.
- A Cohesive Robotics integrou Isaac Sim em seu framework de software chamada Argus OS para desenvolver e implantar células de trabalho robóticas usadas em ambientes de manufatura de alta mistura.
- A Field AI, construtora de modelos de base de robôs, usa o Isaac Sim e o Isaac Lab para avaliar o desempenho de seus modelos em ambientes complexos e não estruturados em setores como construção, manufatura, petróleo e gás, mineração e muito mais.
- A Fourier usa o NVIDIA Isaac Gym e o Isaac Lab para treinar seu robô humanóide GR-2, usando aprendizado por reforço e simulações avançadas para acelerar o desenvolvimento, aprimorar a adaptabilidade e melhorar o desempenho no mundo real.
- O Foxglove integra Isaac Sim e Omniverse para permitir testes eficientes de robôs, treinamento e análise de dados de sensores em ambientes 3D realistas.
- A Galbot usou Isaac Sim para verificar a geração de dados do DexGraspNet, um conjunto de dados em larga escala de 1,32 milhão de garras ShadowHand, avançando a funcionalidade da mão robótica ao permitir a validação escalável de diversas interações de objetos em 5.355 objetos e 133 categorias.
- A Standard Bots está simulando e validando o desempenho de seu robô R01 usado em configurações de fabricação e usinagem.
- A Wandelbots integra sua plataforma NOVA com Isaac Sim para criar gêmeos digitais baseados em física e ambientes de treinamento intuitivos, simplificando a interação do robô e permitindo testes, validação e implantação contínuos de sistemas robóticos em cenários do mundo real.
Saiba mais sobre como a Wandelbots está avançando no aprendizado de robôs com a tecnologia NVIDIA nesta gravação de transmissão ao vivo:
Conecte-se ao Mundo do OpenUSD
Os especialistas da NVIDIA e os Embaixadores do Omniverse estão organizando o horário de expediente e grupos de estudo ao vivo para fornecer aos desenvolvedores de robótica orientação técnica e suporte para solução de problemas para Isaac Sim e Isaac Lab. Saiba como começar a simular robôs no Isaac Sim com este novo curso gratuito no NVIDIA Deep Learning Institute (DLI).
Para saber mais sobre como otimizar os workflows do OpenUSD, explore o novo currículo de treinamento individualizado do Learn OpenUSD, que inclui cursos DLI gratuitos para profissionais e desenvolvedores de 3D. Para obter mais recursos sobre o OpenUSD, explore o fórum da Alliance for OpenUSD e o site da AOUSD.
Mantenha-se atualizado assinando as notícias da NVIDIA, juntando-se à comunidade e seguindo o NVIDIA Omniverse no Instagram, LinkedIn, Medium e X.
Imagem em destaque cortesia de Fourier.