Poderosos modelos de IA generativa e APIs e microsserviços nativos da nuvem estão chegando ao edge.
A IA generativa está trazendo o poder dos modelos transformers e grandes modelos de linguagem para praticamente todos os setores. Esse alcance agora inclui áreas que tocam sistemas no edge, robótica e logística: detecção de defeitos, rastreamento de ativos em tempo real, planejamento e navegação autônomos, interações humano-robô e muito mais.
A NVIDIA anunciou recentemente grandes expansões para dois frameworks na plataforma NVIDIA Jetson para IA no edge e robótica: o framework de robótica NVIDIA Isaac ROS entrou em disponibilidade geral e a expansão NVIDIA Metropolis na Jetson virá em seguida.
Para acelerar o desenvolvimento e as implantações de aplicações de IA no edge, a NVIDIA também criou um Jetson Generative AI Lab para os desenvolvedores usarem com os mais recentes modelos de IA generativa de código aberto.
Mais de 1,2 milhão de desenvolvedores e mais de 10.000 clientes escolheram a IA da NVIDIA e a plataforma Jetson, incluindo a Amazon Web Services, Cisco, John Deere, Medtronic, Pepsico e Siemens.
Com o cenário de IA em rápida evolução abordando cenários cada vez mais complicados, os desenvolvedores estão sendo desafiados por ciclos de desenvolvimento mais longos para criar aplicações de IA para o edge. Reprogramar robôs e sistemas de IA em tempo real para atender a ambientes em mudança, linhas de manufatura e necessidades de automação dos clientes é demorado e requer habilidades especializadas.
A IA generativa oferece aprendizado zero, a capacidade de um modelo reconhecer coisas especificamente inéditas no treinamento, com uma interface de linguagem natural para simplificar o desenvolvimento, a implantação e o gerenciamento de IA no edge.
Transformando o Cenário de IA
A IA generativa melhora significativamente a facilidade de uso, entendendo os prompts da linguagem humana para fazer alterações no modelo. Esses modelos de IA são mais flexíveis na detecção, segmentação, rastreamento, pesquisa e até reprogramação, e ajudam a superar os modelos tradicionais baseados em redes neurais convolucionais.
A IA generativa deve adicionar US$ 10,5 bilhões em receita para operações de manufatura em todo o mundo até 2033, de acordo com a ABI Research.
“A IA generativa acelerará significativamente as implantações de IA no edge com melhor generalização, facilidade de uso e maior precisão do que era possível anteriormente”, disse Deepu Talla, vice-presidente de computação embarcada e de edge da NVIDIA. “Esta maior expansão de software de todos os tempos de nossos frameworks Metropolis e Isaac no Jetson, combinada com o poder dos modelos transformers e IA generativa, atende a essa necessidade.”
Desenvolvendo com IA Generativa no Edge
O Jetson Generative AI Lab fornece aos desenvolvedores acesso a ferramentas otimizadas e tutoriais para implantar LLMs de código aberto, modelos de difusão para gerar imagens interativas impressionantes, modelos de linguagem de visão (VLMs) e transformers de visão (ViTs) que combinam IA de visão e processamento de linguagem natural para fornecer compreensão abrangente da cena.
Os desenvolvedores também podem usar o Kit de Ferramentas NVIDIA TAO para criar modelos de IA eficientes e precisos para aplicações no edge. O TAO fornece uma interface low-code para ajustar e otimizar modelos de IA de visão, incluindo ViT e modelos fundamentais de visão. Eles também podem personalizar e ajustar modelos fundamentais como NVIDIA NV-DINOv2 ou modelos públicos como OpenCLIP para criar modelos de IA de visão altamente precisos com muito poucos dados. O TAO também agora inclui o VisualChangeNet, um novo modelo baseado em transformers para inspeção de defeitos.
Aproveitando os Novos Frameworks do Metropolis e Isaac
O NVIDIA Metropolis torna mais fácil e econômico para as empresas adotarem soluções habilitadas para IA de visão de classe mundial para melhorar a eficiência operacional crítica e os problemas de segurança. A plataforma traz uma coleção de poderosas interfaces de programação de aplicações e microsserviços para desenvolvedores desenvolverem rapidamente aplicações complexos baseadas em visão.
Mais de 1.000 empresas, incluindo BMW Group, Pepsico, Kroger, Tyson Foods, Infosys e Siemens, estão usando ferramentas de desenvolvedor NVIDIA Metropolis para resolver desafios operacionais e de Internet das Coisas, processamento de sensores e operacionais com IA de visão, e a taxa de adoção está acelerando. Já foram feitos mais de 1 milhão de downloads das ferramentas por aqueles que procuram construir aplicações de IA de visão.
Para ajudar os desenvolvedores a criar e implantar rapidamente aplicações de IA de visão escalonável, um conjunto expandido de APIs e microsserviços do Metropolis no NVIDIA Jetson estará disponível até o final do ano.
Centenas de clientes usam a plataforma NVIDIA Isaac para desenvolver soluções robóticas de alto desempenho em diversos domínios, incluindo agricultura, automação de armazéns, entrega de última milha e robótica de serviço, entre outros.
No ROSCon 2023, a NVIDIA anunciou grandes melhorias nos recursos de percepção e simulação com novos lançamentos dos softwares Isaac ROS e Isaac Sim. Construído sobre o amplamente adotado open-source Robot Operating System (ROS), Isaac ROS traz percepção para a automação, dando olhos e ouvidos para as coisas que se movem. Ao aproveitar o poder dos GEMs acelerados por GPU, incluindo odometria visual, percepção de profundidade, reconstrução de cenas 3D, localização e planejamento, os desenvolvedores de robótica obtêm as ferramentas necessárias para projetar rapidamente soluções robóticas personalizadas para uma ampla gama de aplicações.
Isaac ROS alcançou o status de pronto para produção com a última versão Isaac ROS 2.0, permitindo que os desenvolvedores criem e tragam soluções robóticas de alto desempenho para o mercado com a Jetson.
“O ROS continua a crescer e evoluir para fornecer software de código aberto para toda a comunidade de robótica”, disse Geoff Biggs, CTO da Open Source Robotics Foundation. “Os novos pacotes ROS 2 pré-construídos da NVIDIA, lançados com este lançamento, acelerarão esse crescimento, tornando o ROS 2 prontamente disponível para a vasta comunidade de desenvolvedores NVIDIA Jetson.”
Fornecendo Novos Fluxos de Trabalho de IA de Referência
Desenvolver uma solução de IA pronta para produção envolve otimizar o desenvolvimento e o treinamento de modelos de IA adaptados a casos de uso específicos, implementar recursos de segurança robustos na plataforma, orquestrar a aplicação, gerenciar frotas, estabelecer comunicação perfeita de ponta a ponta e muito mais.
A NVIDIA anunciou uma coleção selecionada de workflows de referência de IA com base nos frameworks Metropolis e Isaac que permitem que os desenvolvedores adotem rapidamente todo o workflows ou integrem seletivamente componentes individuais, resultando em reduções substanciais no tempo e no custo de desenvolvimento. Os três workflows de IA distintos incluem: Gravação de Vídeo em Rede, Inspeção Óptica Automática e Robô Móvel Autônomo.
“O NVIDIA Jetson, com sua ampla e diversificada base de usuários e ecossistema de parceiros, ajudou a impulsionar uma revolução na robótica e na IA no edge”, disse Jim McGregor, analista principal da Tirias Research. “À medida que os requisitos de aplicações se tornam cada vez mais complexos, precisamos de uma mudança fundamental para plataformas que simplifiquem e acelerem a criação de implantações no edge. Esta expansão significativa de software da NVIDIA dá aos desenvolvedores acesso a novos modelos de vários sensores e recursos de IA generativa.”
Mais a Vista no Horizonte
A NVIDIA anunciou uma coleção de serviços de sistema que são recursos fundamentais que todo desenvolvedor precisa ao criar soluções de IA no edge. Esses serviços simplificarão a integração em workflows e pouparão o desenvolvedor da árdua tarefa de construí-los do zero.
O novo NVIDIA JetPack 6, que deve estar disponível até o final do ano, permitirá que os desenvolvedores de IA permaneçam na vanguarda da computação sem a necessidade de uma atualização completa do Jetson Linux, acelerando substancialmente os cronogramas de desenvolvimento e libertando-os das dependências do Jetson Linux. O JetPack 6 também usará os esforços colaborativos com parceiros de distribuição Linux para expandir o horizonte de opções de distribuição baseadas em Linux, incluindo o Ubuntu otimizado e certificado da Canonical, o Wind River Linux, o Redhawk Linux em tempo real simultâneo e várias distribuições baseadas em Yocto.
O Ecossistema de Parceiros se Beneficia da Expansão da Plataforma
O ecossistema de parceiros Jetson fornece uma ampla gama de suporte, desde hardware, software de IA e serviços de design de aplicações até sensores, conectividade e ferramentas para desenvolvedores. Esses inovadores da NVIDIA Partner Network desempenham um papel vital no fornecimento de bases e subsistemas para muitos produtos vendidos no mercado.
A versão mais recente permite que os parceiros da Jetson acelerem seu tempo de lançamento no mercado e expandam sua base de clientes adotando IA com maior desempenho e capacidades.
Parceiros de fornecedores independentes de software também poderão expandir suas ofertas para a Jetson.
