A proliferação de modelos de vídeo de IA generativa, juntamente com os novos workflows que esses modelos introduziram, acelerou significativamente a eficiência da produção e elevou a qualidade de saída nos setores de tecnologia criativa e de marketing.
A GliaCloud, uma startup de IA com sede em Taipei no programa NVIDIA Inception focada na criação autônoma de conteúdo de marketing, abriu recentemente o código Omniverse-ComfyUI Bridge. Este modelo de extensão conecta dados visuais renderizados no NVIDIA Omniverse, incluindo imagens RGB, mapas normais, mapas de profundidade, segmentação de ID de instância e segmentação semântica, com o ComfyUI para workflows aprimorados de processamento de imagem de IA.
Vídeo 1. Demonstração do workflow da ponte Omniverse-ComfyUI. Crédito: GliaCloud
Pipeline de Geração de Vídeo para Vídeo com Bibliotecas NVIDIA Omniverse
A ideia da Omniverse-ComfyUI Bridge surgiu pela primeira vez da experiência da equipe da GliaCloud na experimentação com vários modelos de IA generativa de vídeo para vídeo (v2v) no ComfyUI. Eles reconheceram a crescente demanda por dados visuais detalhados, como mapas de profundidade e saídas de segmentação, nos workflows atuais de IA generativa.
“Vemos um potencial significativo em workflows híbridos que conectam aplicativos avançados habilitados para IA física criados com o NVIDIA Omniverse a modelos de vídeo generativo”, disse David Chen, CEO e cofundador da GliaCloud. “A granularidade dos controles criativos disponíveis por meio da plataforma Omniverse e dos modelos de IA generativa é um argumento convincente para os requisitos de marketing emergentes, fornecendo níveis sem precedentes de polimento visual e escalabilidade no conteúdo gerado.”
Vídeo 2. O workflow 3D para IA de geração de dados. Crédito: GliaCloud
Em experimentos internos, a equipe do GliaCloud observou melhorias notáveis no refinamento e controle de objetos das saídas geradas, aproveitando diferentes dados renderizados do Omniverse RTX Renderer como entradas de modelo v2v.
Isso foi possível usando a estrutura NVIDIA Omniverse Replicator, que melhorou muito os resultados gerais de uma variedade de modelos de geração de vídeo de código aberto, permitindo que máscaras dinâmicas fossem criadas com base em entradas de segmentação. Os modelos v2v agora podem iterar por meio de várias passagens para uma única entrada com prompts separados reservados para regiões dedicadas, resultando em controles de estilo baseados em objetos.
Omniverse-ComfyUI Bridge para Iterações Mais Rápidas e Precisas
A ponte Omniverse-ComfyUI foi projetada especificamente para flexibilidade, escalabilidade e facilidade de integração em workflows ComfyUI personalizados. Sua arquitetura leve garante uma adoção perfeita sem sobrecarga substancial de recursos, permitindo que os usuários dimensionem seus workflows de forma eficaz de acordo com requisitos específicos.
As principais funcionalidades da Omniverse-ComfyUI Bridge incluem:
- Capturas de quadro único e múltiplo: captura de quadros individuais para edições ou sequências precisas para animações e conteúdo visual dinâmico.
- Integração de nó personalizado para ComfyUI: Transmissão direta de dados do Omniverse RTX Renderer para nós ComfyUI personalizados, facilitando configurações de workflow diretas e eficientes.
- Processamento de dados em tempo real: Feedback visual imediato para experimentação mais rápida, reduzindo significativamente o tempo de iteração, aumentando assim a produtividade.
Prevê-se que as iterações futuras da Omniverse-ComfyUI Bridge incluam mais aprimoramentos, como controles avançados de animação, integração com modelos de estimativa de pose humana e recursos adicionais para detecção de bordas. Esses desenvolvimentos estão prontos para oferecer ainda mais controle, precisão e liberdade criativa em workflows visuais orientados por IA.
À medida que a IA generativa continua a evoluir, a importância de fluxos de dados precisos e de alta qualidade, como os fornecidos pelo Omniverse-ComfyUI Bridge, se tornará cada vez mais crítica. No futuro, a equipe da GliaCloud prevê um aumento drástico na velocidade das iterações nas estruturas de workflow, à medida que a comunidade desenvolve simultaneamente modelos mais novos e adapta seu workflow de acordo.
Começar
Com a ponte Omniverse-ComfyUI de código aberto GliaCloud, agora você pode trazer o seu próprio Open USD ativo e integrá-lo a qualquer fluxo de trabalho v2v com nós ComfyUI. Com os recursos de renderização fotorrealista do Omniverse e as vantagens da interface de usuário modular ComfyUI, você pode experimentar pipelines personalizados, com rapidez e precisão.
A GliaCloud está comprometida em abraçar e contribuir para a comunidade de código aberto, construindo em direção à criatividade democratizada.
Mantenha-se atualizado assinando as notícias da NVIDIA e seguindo o NVIDIA Omniverse no Discord e no YouTube.
- Visite nossa página de desenvolvedor do Omniverse para obter todos os itens essenciais de que você precisa para começar.
- Acessar uma coleção de recursos do OpenUSD, incluindo o novo Aprenda OpenUSD currículo de treinamento.
- Sintonize o próximo Transmissões ao vivo do OpenUSD Insiders e conecte-se com a Comunidade de Desenvolvedores NVIDIA.
Comece a usar os kits iniciais para desenvolvedores para desenvolver e aprimorar rapidamente seus próprios aplicativos e serviços.