Empresas e organizações do setor público em todo o mundo estão desenvolvendo agentes de IA para aumentar as capacidades das equipes de trabalho que dependem de informações visuais de um número crescente de dispositivos, incluindo câmeras, sensores IoT e veículos.
Para apoiar seu trabalho, um novo NVIDIA Blueprint para pesquisa e resumo de vídeo permitirá que desenvolvedores em praticamente qualquer setor criem agentes visuais de IA que analisam conteúdo de vídeo e imagem. Esses agentes podem responder às perguntas do usuário, gerar resumos e habilitar alertas para cenários específicos.
Parte do NVIDIA Metropolis, um conjunto de ferramentas de desenvolvedor para criar aplicações de IA de visão, o blueprint é um workflow personalizável que combina as tecnologias de visão computacional e IA generativa da NVIDIA.
Integradores de sistemas globais e provedores de soluções de tecnologia, incluindo Accenture, Dell Technologies e Lenovo, estão trazendo o NVIDIA Blueprint para pesquisa visual e resumo para empresas e cidades em todo o mundo, dando início à próxima onda de aplicações de IA que podem ser implantados para aumentar a produtividade e a segurança em fábricas, armazéns, lojas, aeroportos, cruzamentos de tráfego e muito mais.
Anunciado antes do Smart City Expo World Congress, o NVIDIA Blueprint oferece aos desenvolvedores de computação visual um conjunto completo de software otimizado para criar e implantar agentes impulsionados por IA generativa que podem ingerir e entender grandes volumes de transmissões de vídeo ao vivo ou arquivos de dados.
Os usuários podem personalizar esses agentes visuais de IA com prompts de linguagem natural em vez de código de software rígido, reduzindo a barreira para a implantação de assistentes virtuais em todos os setores e aplicações de cidades inteligentes.
NVIDIA Blueprint Aproveita Modelos de Linguagem de Visão
Os agentes visuais de IA são impulsionados por modelos de linguagem de visão (VLMs), uma classe de modelos de IA generativa que combinam visão computacional e compreensão de linguagem para interpretar o mundo físico e executar tarefas de raciocínio.
O NVIDIA Blueprint para pesquisa e resumo de vídeo pode ser configurado com microsserviços NVIDIA NIM para VLMs como NVIDIA VILA, LLMs como o Llama 3.1 405B da Meta e modelos de IA para resposta a perguntas acelerada por GPU e geração aumentada de recuperação com reconhecimento de contexto. Os desenvolvedores podem facilmente trocar outros VLMs, LLMs e bancos de dados gráficos e ajustá-los usando a plataforma NVIDIA NeMo para seus ambientes e casos de uso exclusivos.
A adoção do NVIDIA Blueprint pode economizar meses de esforço dos desenvolvedores na investigação e otimização de modelos de IA generativa para aplicações de cidades inteligentes. Implantado em GPUs NVIDIA no edge, no local ou na nuvem, ele pode acelerar muito o processo de vasculhar arquivos de vídeo para identificar momentos importantes.
Em um ambiente de armazém, um agente de IA criado com esse workflow pode alertar os trabalhadores se os protocolos de segurança forem violados. Em cruzamentos movimentados, um agente de IA pode identificar colisões de tráfego e gerar relatórios para ajudar nos esforços de resposta a emergências. E no campo da infraestrutura pública, os trabalhadores de manutenção podem pedir aos agentes de IA que revisem imagens aéreas e identifiquem estradas, trilhos de trem ou pontes degradantes para apoiar a manutenção proativa.
Além dos espaços inteligentes, os agentes visuais de IA também podem ser usados para resumir vídeos para pessoas com deficiência visual, gerar automaticamente recapitulações de eventos esportivos e ajudar a rotular conjuntos de dados visuais massivos para treinar outros modelos de IA.
O workflow de pesquisa e resumo de vídeo se junta a uma coleção de NVIDIA Blueprints que facilitam a criação de avatares digitais com tecnologia de IA, a criação de assistentes virtuais para atendimento personalizado ao cliente e a extração de insights corporativos de dados PDF.
Os NVIDIA Blueprints são gratuitos para os desenvolvedores experimentarem e fazerem download e podem ser implantados em produção em data centers e nuvens acelerados com o NVIDIA AI Enterprise, uma plataforma de software de ponta a ponta que acelera pipelines de ciência de dados e simplifica o desenvolvimento e a implantação de IA generativa.
Agentes de IA Para Fornecer Insights de Armazéns para Capitais Mundiais
Os clientes corporativos e do setor público também podem aproveitar a coleção completa de NVIDIA Blueprints com a ajuda do ecossistema de parceiros da NVIDIA.
A empresa global de serviços profissionais Accenture integrou o NVIDIA Blueprints em sua Accenture AI Refinery, que é construída no NVIDIA AI Foundry e permite que os clientes desenvolvam modelos de IA personalizados treinados em dados corporativos.
Integradores de sistemas globais no Sudeste Asiático, incluindo ITMAX na Malásia e FPT no Vietnã, estão criando agentes de IA com base na pesquisa e resumo de vídeo do NVIDIA Blueprint para aplicações de cidades inteligentes e transporte inteligente.
Os desenvolvedores também podem criar e implantar NVIDIA Blueprints em plataformas de IA da NVIDIA com computação, rede e software fornecidos por fabricantes globais de servidores.
A Dell usará abordagens de VLM e agente com a plataforma NativeEdge da Dell para aprimorar as aplicações de IA existentes no edge e criar novos recursos habilitados para IA no edge. Os designs de referência da Dell para a fábrica de IA da Dell com NVIDIA e o NVIDIA Blueprint para pesquisa e resumo de vídeo oferecerão suporte a recursos de VLM em workflows de IA dedicados para casos de uso corporativo multimodal de data center, edge e local.
Os NVIDIA Blueprints também são incorporados às soluções Lenovo Hybrid AI com tecnologia NVIDIA.
Empresas como a K2K, fornecedora de aplicações de cidades inteligentes no ecossistema NVIDIA Metropolis, usarão o novo NVIDIA Blueprint para criar agentes de IA que analisam câmeras de tráfego ao vivo em tempo real. Isso permitirá que as autoridades municipais façam perguntas sobre a atividade nas ruas e recebam recomendações sobre maneiras de melhorar as operações. A empresa também está trabalhando com gerentes de tráfego da cidade em Palermo, Itália, para implantar agentes visuais de IA usando microsserviços NIM e NVIDIA Blueprints.
Saiba como criar um agente de IA visual e começar a usar o blueprint.