A IA física permite que máquinas autônomas, como robôs e carros autônomos, percebam, entendam e executem ações complexas no mundo real (físico). Também é frequentemente referido como “IA física generativa” devido à sua capacidade de gerar insights e ações para executar.
Como Funciona a IA Física?
Modelos de IA generativa (grandes modelos de linguagem, como GPT e Llama) são treinados em enormes quantidades de dados de texto e imagem, em grande parte coletados da Internet. Essas IAs têm capacidades surpreendentes na produção de linguagem humana e conceitos abstratos, mas são limitadas em sua compreensão do mundo físico e suas regras.
A IA física generativa estende a IA generativa atual com a compreensão das relações espaciais e do comportamento físico do mundo 3D em que todos vivemos. Isso é feito fornecendo dados adicionais que contêm informações sobre as relações espaciais e as regras físicas do mundo real durante o processo de treinamento de IA.
Os dados de treinamento 3D são gerados a partir de simulações de computador altamente precisas, que servem como fonte de dados e campo de treinamento de IA.
A geração de dados baseada em física começa com um gêmeo digital de um espaço, como uma fábrica. Nesse espaço virtual, são adicionados sensores e máquinas autônomas como robôs. Simulações que imitam cenários do mundo real são realizadas e os sensores capturam várias interações, como dinâmica de corpo rígido, como movimento e colisões, ou como a luz interage em um ambiente.
Qual É o Papel do Aprendizado por Reforço na IA Física?
O aprendizado por reforço ensina habilidades de máquinas autônomas em um ambiente simulado para atuar no mundo real. Ele permite que máquinas autônomas aprendam habilidades com segurança e rapidez por meio de milhares ou até milhões de atos de tentativa e erro.
Essa técnica de aprendizado recompensa um modelo de IA física por concluir com sucesso as ações desejadas na simulação, para que o modelo se adapte e melhore continuamente. Com o aprendizado por reforço repetido, as máquinas autônomas eventualmente se adaptam adequadamente a novas situações e desafios imprevistos, preparando-as para operar no mundo real. Com o tempo, uma máquina autônoma pode desenvolver habilidades motoras finas sofisticadas necessárias para aplicações no mundo real, como embalar caixas ordenadamente, ajudar a construir veículos ou navegar em ambientes sem ajuda.
Por Que a IA Física É Importante?
Anteriormente, as máquinas autônomas eram incapazes de perceber e sentir o mundo ao seu redor. Mas com a IA física generativa, os robôs podem ser construídos e treinados para interagir e se adaptar perfeitamente ao ambiente no mundo real.
Para criar IA física, as equipes precisam de poderosas simulações baseadas em física que forneçam um ambiente seguro e controlado para treinar máquinas autônomas. Isso não apenas aumenta a eficiência e a precisão dos robôs na execução de tarefas complexas, mas também facilita interações mais naturais entre humanos e máquinas, melhorando a acessibilidade e a funcionalidade em aplicações do mundo real.
A IA física generativa está desbloqueando novos recursos que transformarão todos os setores. Por exemplo:
Robôs: Com a IA física, os robôs demonstram avanços significativos nas capacidades operacionais em várias configurações.
- Robôs Móveis Autônomos (AMRs) em armazéns podem navegar em ambientes complexos e evitar obstáculos, incluindo humanos, usando feedback direto de sensores a bordo.
- Manipuladores podem ajustar sua força de preensão e posição com base na pose dos objetos em uma esteira transportadora, mostrando habilidades motoras finas e grossas adaptadas ao tipo de objeto.
- Robôs Cirúrgicos aproveitam essa tecnologia aprendendo tarefas complexas, como enfiar agulhas e realizar pontos, destacando a precisão e a adaptabilidade da IA física generativa no treinamento de robôs para tarefas especializadas.
- Robôs Humanóides (robôs de uso geral) precisam de habilidades motoras grossas e finas, exigindo capacidade de perceber, entender, navegar e interagir com o mundo físico, independentemente da tarefa que lhe é dada.
Veículos Autônomos (AVs): Os AVs usam sensores para perceber e entender seus arredores, permitindo que tomem decisões informadas em vários ambientes, desde rodovias abertas até paisagens urbanas. Ao treinar AVs em IA física, ele permite que os AVs detectem pedestres com mais precisão, respondam ao tráfego ou às condições climáticas e naveguem de forma autônoma pelas mudanças de faixa, adaptando-se efetivamente a uma ampla gama de cenários inesperados.
Espaços Inteligentes: A IA física está aprimorando a funcionalidade e a segurança de grandes espaços internos, como fábricas e armazéns, onde as atividades diárias envolvem um tráfego constante de pessoas, veículos e robôs. Usando câmeras fixas e modelos avançados de visão computacional, as equipes podem aprimorar o planejamento dinâmico de rotas e otimizar a eficiência operacional rastreando várias entidades e atividades nesses espaços. Além disso, eles priorizam a segurança humana ao perceber e compreender com precisão ambientes complexos e de grande escala.
Como Você Pode Começar a Usar a IA Física?
Construir a próxima geração de máquinas autônomas usando IA física envolve um processo coordenado entre vários computadores especializados:
- Construa um ambiente 3D virtual:Um ambiente virtual de alta fidelidade baseado em física é necessário para representar o ambiente real e gerar dados sintéticos necessários para treinar a IA física. O NVIDIA Omniverso™ é uma plataforma de APIs, SDKs e serviços que permite aos desenvolvedores integrar facilmente as tecnologias de renderização Universal Scene Description (OpenUSD) e RTX em ferramentas de software existentes e workflows de simulação para criar esses ambientes 3D. Este ambiente é suportado por sistemas NVIDIA OVX™. Essa etapa também inclui a captura de cenas ou dados em grande escala necessários para simulação ou treinamento de modelo. Um avanço tecnológico importante que permitiu o treinamento e a inferência eficientes de modelos de IA com conjuntos de dados 3D ricos é chamado de fVDB, que representa recursos com eficiência e é uma extensão do PyTorch que permite que operações de deep learning sejam executadas em dados 3D em grande escala.
- Gere dados sintéticos 3D para reais: use o SDK do Omniverse Replicator para randomização de domínio de ambiente e objeto. Renderize as cenas aleatórias como imagens ou vídeos e, em seguida, use modelos NVIDIA Cosmos™ para geração de vídeo fotorrealista 3D para real para multiplicar ainda mais o conjunto de dados.
- Treine e valide: a plataforma NVIDIA DGX™, uma plataforma de IA de hardware e software totalmente integrada, pode ser usada com dados baseados em física para treinar ou ajustar modelos de IA com frameworks como TensorFlow, PyTorch ou NVIDIA TAO, juntamente com modelos de visão computacional pré-treinados disponíveis no NVIDIA NGC. Uma vez treinado, o modelo e seu stack de software podem ser validados em simulação usando aplicações de referência como o NVIDIA Isaac Sim™. Além disso, os desenvolvedores também podem aproveitar frameworks de código aberto, como o Isaac Lab, para refinar as habilidades do robô usando aprendizado por reforço.
- Implantação: Por fim, o stack otimizado e o modelo de política podem ser implantados no NVIDIA Jetson™ ou no NVIDIA DRIVE AGX™ para serem executados incorporados no próprio robô ou veículo autônomo.