Os robôs estão movendo mercadorias em armazéns, embalando alimentos e ajudando a montar veículos, trazendo automação aprimorada para casos de uso em todos os setores.
Existem duas chaves para seu sucesso: IA física e simulação robótica.
A IA física descreve modelos de IA que podem entender e interagir com o mundo físico. A IA física incorpora a próxima onda de máquinas e robôs autônomos, como carros autônomos, manipuladores industriais, robôs móveis, humanóides e até mesmo infraestrutura operada por robôs, como fábricas e armazéns.
Com o comissionamento virtual de robôs em mundos digitais, os robôs são treinados primeiro usando software de simulação robótica antes de serem implantados para casos de uso do mundo real.
Simulação de Robótica Resumida
Um simulador de robótica avançado facilita o aprendizado do robô e o teste de robôs virtuais sem a necessidade do robô físico. Ao aplicar princípios físicos e replicar condições do mundo real, esses simuladores geram conjuntos de dados sintéticos para treinar modelos de machine learning para implantação em robôs físicos.
As simulações são usadas para treinamento inicial do modelo de IA e, em seguida, para validar todo o stack de software, minimizando a necessidade de robôs físicos durante o teste. O NVIDIA Isaac Sim, uma aplicação de referência criado na plataforma NVIDIA Omniverse, fornece visualizações precisas e oferece suporte a workflows baseados no Universal Scene Description (OpenUSD) para simulação e validação avançadas de robôs.
O Framework de 3 computadores da NVIDIA Facilita a Simulação de Robôs
Três computadores são necessários para treinar e implantar a tecnologia robótica.
- Um supercomputador para treinar e ajustar modelos poderosos de IA generativa e de base.
- Uma plataforma de desenvolvimento para simulação e teste de robótica.
- Um computador de tempo de execução integrado para implantar modelos treinados em robôs físicos.
Somente após o treinamento adequado em ambientes simulados os robôs físicos podem ser comissionados.
A plataforma NVIDIA DGX pode servir como o primeiro sistema de computação a treinar modelos.
O NVIDIA Omniverse executado em servidores NVIDIA OVX funciona como o segundo sistema de computador, fornecendo a plataforma de desenvolvimento e o ambiente de simulação para testar, otimizar e depurar a IA física.
Os computadores robóticos NVIDIA Jetson Thor projetados para computação integrada servem como o terceiro computador de tempo de execução.
Quem Usa a Simulação Robótica?
Hoje, a tecnologia robótica e as simulações robóticas impulsionam massivamente as operações em todos os casos de uso.
Líder global em tecnologias térmicas e de energia, a Delta Electronics usa simulação para testar seus algoritmos de inspeção óptica para detectar defeitos de produtos nas linhas de produção.
Startup de tecnologia profunda, a Wandelbots está construindo um simulador personalizado integrando Isaac Sim em sua aplicação, tornando mais fácil para os usuários finais programar células de trabalho robóticas em simulação e transferir modelos para um robô real.
A Boston Dynamics está ativando pesquisadores e desenvolvedores por meio de seu kit de pesquisa de aprendizado por reforço.
A empresa de robótica Fourier está simulando condições do mundo real para treinar robôs humanóides com a precisão e agilidade necessárias para uma estreita colaboração robô-humano.
Usando NVIDIA Isaac Sim, empresa de robótica Galbot construiu DexGraspNet, um conjunto de dados simulado abrangente para garras robóticas hábeis contendo mais de 1 milhão de garras ShadowHand em mais de 5.300 objetos. O conjunto de dados pode ser aplicado a qualquer mão robótica hábil para realizar tarefas complexas que exigem habilidades motoras finas.
Usando Simulação Robótica para Planejamento e Controle de Resultados
Em ambientes industriais complexos e dinâmicos, a simulação robótica está evoluindo para integrar gêmeos digitais, aprimorando os resultados de planejamento, controle e aprendizado.
Os desenvolvedores importam modelos de design auxiliados por computador para um simulador de robótica para construir cenas virtuais e empregar algoritmos para criar o sistema operacional do robô e permitir o planejamento de tarefas e movimentos. Embora os métodos tradicionais envolvam a prescrição de sinais de controle, a mudança para o machine learning permite que os robôs aprendam comportamentos por meio de métodos como imitação e aprendizado por reforço, usando sinais de sensores simulados.
Essa evolução continua com gêmeos digitais em instalações complexas, como linhas de montagem de manufatura, onde os desenvolvedores podem testar e refinar IAs em tempo real inteiramente em simulação. Essa abordagem economiza tempo e custos de desenvolvimento de software e reduz o tempo de inatividade ao antecipar problemas. Por exemplo, usando o NVIDIA Omniverse, Metropolis e cuOpt, os desenvolvedores podem usar gêmeos digitais para desenvolver, testar e refinar a IA física em simulação antes de implantá-la na infraestrutura industrial.
Avanços de Simulação Baseados em Física de Alta Fidelidade
Simulações baseadas em física de alta fidelidade turbinam a robótica industrial por meio de experimentação no mundo real em ambientes virtuais.
O NVIDIA PhysX, integrado ao Omniverse e Isaac Sim, capacita os roboticistas a desenvolver habilidades motoras finas e grossas para manipuladores de robôs, dinâmica de corpo rígido e macio, dinâmica de veículos e outros recursos críticos que garantem que o robô obedeça às leis da física. Isso inclui controle preciso sobre atuadores e modelagem de cinemática, que são essenciais para movimentos precisos do robô.
Para fechar a lacuna do simulador para o real, o Isaac Lab oferece um framework de código aberto de alta fidelidade para aprendizado por reforço e aprendizado de imitação que facilita a transferência perfeita de políticas de ambientes simulados para robôs físicos. Com a paralelização de GPU, o Isaac Lab acelera o treinamento e melhora o desempenho, tornando tarefas complexas mais alcançáveis e seguras para robôs industriais.
Para saber mais sobre como criar uma política de aprendizado por reforço de locomoção com Isaac Sim e Isaac Lab, leia este blog de desenvolvedor.
Ensinando Movimento Livre de Colisão para Autonomia
O treinamento de robôs industriais geralmente ocorre em ambientes específicos, como fábricas ou centros de atendimento, onde as simulações ajudam a enfrentar desafios relacionados a vários tipos de robôs e ambientes caóticos. Um aspecto crítico dessas simulações é gerar movimento livre de colisões em ambientes desconhecidos e desordenados.
As abordagens tradicionais de planejamento de movimento que tentam enfrentar esses desafios podem ser insuficientes em ambientes desconhecidos ou dinâmicos. SLAM, ou localização e mapeamento simultâneos, pode ser usado para gerar mapas 3D de ambientes com imagens de câmeras de vários pontos de vista. No entanto, esses mapas exigem revisões quando os objetos se movem e os ambientes são alterados.
A equipe de pesquisa da NVIDIA Robotics e a Universidade de Washington introduziram o Motion Policy Networks (MπNets), uma política neural de ponta a ponta que gera movimento em tempo real e sem colisões usando o fluxo de dados de uma única câmera fixa. Treinado em mais de 3 milhões de problemas de planejamento de movimento e 700 milhões de nuvens de pontos simuladas, o MπNets navega em ambientes desconhecidos do mundo real de forma eficaz.
Enquanto o modelo MπNets aplica aprendizado direto para trajetórias, a equipe também desenvolveu um modelo de colisão baseado em nuvem de pontos chamado CabiNet, treinado em mais de 650.000 cenas simuladas geradas processualmente.
Com o modelo CabiNet, os desenvolvedores podem implantar políticas de escolha e colocação de uso geral de objetos desconhecidos além de uma configuração plana de mesa. O treinamento com um grande conjunto de dados sintéticos permitiu que o modelo generalizasse para cenas fora de distribuição em um ambiente de cozinha real, sem a necessidade de dados reais.
Como os Desenvolvedores Podem Começar a Criar Simuladores Robóticos
Comece com recursos técnicos, aplicações de referência e outras soluções para o desenvolvimento de pipelines de simulação fisicamente precisos visitando a página de casos de uso de simulação da NVIDIA Robotics.
Os desenvolvedores de robôs podem aproveitar o NVIDIA Isaac Sim, que oferece suporte a várias técnicas de treinamento de robôs:
- Geração de dados sintéticos para treinar modelos de IA de percepção
- Teste de software em loop para todo o stack de robôs
- Treinamento de política de robôs com o Isaac Lab
Os desenvolvedores também podem emparelhar o ROS 2 com o Isaac Sim para treinar, simular e validar seus sistemas de robôs. O workflow Isaac Sim to ROS 2 é semelhante aos workflows executados com outros simuladores de robôs, como o Gazebo. Ele começa trazendo um modelo de robô para um ambiente Isaac Sim pré-construído, adicionando sensores ao robô e, em seguida, conectando os componentes relevantes ao gráfico de ação do ROS 2 e simulando o robô controlando-o por meio de pacotes ROS 2.