A IA está transformando o setor de transmissão ao aprimorar a maneira como o conteúdo é criado, distribuído e consumido — mas integrar a tecnologia pode ser desafiador.
Lançado esta semana com disponibilidade limitada, o NVIDIA Holoscan for Media é uma plataforma definida por software e habilitada para IA que ajuda os desenvolvedores a integrar facilmente a IA em seus aplicativos de mídia ao vivo e permite que as empresas de mídia executem pipelines de mídia ao vivo na mesma infraestrutura da IA.
Os workstations e PCs NVIDIA RTX com IA, equipados com GPUs NVIDIA para processamento gráfico em tempo real e computação de IA, fornecem uma base ideal para o desenvolvimento desses aplicativos.
Na feira de tecnologia de mídia e transmissão IBC em Amsterdã, parceiros da NVIDIA, incluindo Adobe, Blackmagic Design e Topaz Labs, apresentarão as mais recentes ferramentas e tecnologias de edição de vídeo com tecnologia de RTX com IA, impulsionando avanços na mídia ao vivo.
NVIDIA Holoscan for Media: construindo o futuro da produção ao vivo
Construir um conjunto robusto de software de IA para desenvolvimento de aplicativos em mídia ao vivo é um processo complexo que exige experiência e recursos substanciais.
Essa complexidade técnica, juntamente com a necessidade de grandes quantidades de dados de alta qualidade e a dificuldade de escalar programas piloto para desempenho de nível de produção, frequentemente impede que essas iniciativas alcancem a implantação completa. Além disso, o desenvolvimento tradicional de software está vinculado a hardware dedicado, limitando ainda mais a inovação e tornando as atualizações incômodas.
Enfrentando esses desafios, o NVIDIA Holoscan for Media capacita os desenvolvedores a criar aplicativos de IA de ponta para mídia ao vivo com facilidade por meio de sua integração perfeita com o amplo conjunto de kits de desenvolvimento de software de IA (SDKs) da NVIDIA. Isso permite que os desenvolvedores incorporem facilmente recursos avançados de IA em seus aplicativos para que possam se concentrar na criação de aplicativos de mídia mais sofisticados e inteligentes. As empresas de mídia podem então conectar perfeitamente esses aplicativos a pipelines de vídeo ao vivo em execução na plataforma.
Outro desafio típico no desenvolvimento de aplicativos de mídia ao vivo é a ineficiência na implantação. Os desenvolvedores frequentemente se veem precisando criar builds separados para diferentes tipos de implantação, seja no local, na nuvem ou na borda. Isso aumenta os custos e pode estender os cronogramas de desenvolvimento. Os desenvolvedores também devem alocar recursos para construir serviços de infraestrutura adicionais, como protocolos de autenticação e temporização, sobrecarregando ainda mais os orçamentos.
A arquitetura nativa em nuvem do Holoscan for Media permite que aplicativos sejam executados de qualquer lugar. Aplicativos desenvolvidos para implantações em nuvem, edge ou on-premises podem ser executados em vários ambientes, eliminando a necessidade de compilações separadas.
O Holoscan for Media está disponível nas instalações hoje, com implantações em nuvem e edge em breve. A plataforma também inclui o Precision Time Protocol para sincronização de áudio e vídeo em transmissões ao vivo e o Networked Media Open Specifications para comunicação perfeita entre aplicativos — simplificando o gerenciamento de sistemas complexos.
Melhorando o desenvolvimento com PCs e workstations RTX com IA
Os PCs e workstations NVIDIA RTX com IA complementam o potencial do Holoscan for Media, oferecendo uma base sólida para o desenvolvimento de experiências de mídia imersivas.
O ecossistema CUDA disponível em PCs e workstations RTX com IA oferece acesso a uma vasta gama de SDKs e ferramentas NVIDIA otimizados para cargas de trabalho de mídia e IA. Isso permite que os desenvolvedores criem aplicativos que podem transitar perfeitamente de estações de trabalho para ambientes de implantação, garantindo que suas criações sejam robustas e escaláveis.
O NVIDIA AI Enterprise oferece mais melhorias ao colocar um conjunto abrangente de software, ferramentas e estruturas de IA otimizados para GPUs NVIDIA nas mãos de desenvolvedores corporativos que exigem ambientes de produção seguros, estáveis e escaláveis para aplicativos de IA. Esta plataforma de IA de nível empresarial inclui estruturas populares como TensorFlow, PyTorch e RAPIDS para implantação simplificada.
Usando o NVIDIA AI Enterprise, os desenvolvedores podem criar capacidades avançadas de IA, como visão computacional, processamento de linguagem natural e sistemas de recomendação diretamente em seus aplicativos de mídia. E eles podem prototipar, testar e implementar modelos sofisticados de IA em seus fluxos de trabalho de mídia.
Editores de vídeo e entusiastas — seu momento chegou!
O Holoscan for Media estará em exposição na IBC, de 13 a 16 de setembro. No estande da Dell Technologies 7.A45, os participantes podem testemunhar demonstrações ao vivo que mostram como fazer uma transição perfeita do desenvolvimento de aplicativos para a implementação ao vivo.
Vários parceiros da NVIDIA destacarão suas mais recentes ferramentas e tecnologias de edição de vídeo com tecnologia RTX com IA na feira.
O DaVinci Resolve 19 Studio da Blackmagic Design já está disponível, apresentando recursos de IA que agilizam os fluxos de trabalho de edição:
- O IntelliTrack AI torna rápido e fácil estabilizar a filmagem durante o processo de edição. Ele pode ser usado na ferramenta Fairlight do DaVinci Resolve para rastrear assuntos na tela e gerar automaticamente panorâmicas de áudio conforme eles se movem em espaços 2D e 3D. Com o recurso alimentado por IA, os editores podem rapidamente panorâmicas ou mover o áudio pelo campo estéreo, controlando as posições de voz de vários atores no ambiente de mixagem.
- UltraNR é um modo de redução de ruído acelerado por IA na paleta de redução de ruído espacial do DaVinci Resolve. Os editores podem usá-lo para reduzir drasticamente o ruído digital — flutuações indesejadas de cor ou luminância que obscurecem os detalhes — de um quadro, mantendo a clareza da imagem. Os editores também podem combinar a ferramenta com a redução de ruído temporal para uma redução de ruído ainda mais eficaz em imagens com movimento, onde as flutuações podem ser mais perceptíveis.
- O RTX Video Super Resolution usa IA para aprimorar vídeos de baixa resolução. Ele pode detectar e remover artefatos de compressão, melhorando muito os vídeos de qualidade inferior.
- O RTX Video HDR usa um algoritmo aprimorado por IA para remapear vídeo de faixa dinâmica padrão em espaços de cores HDR10 vibrantes. Isso permite que editores de vídeo criem conteúdo de alta faixa dinâmica mesmo que não tenham câmeras capazes de gravar em HDR.
IntelliTrack e UltraNR ganham um aumento de desempenho quando executados em PCs e workstations NVIDIA RTX. O NVIDIA TensorRT permite que eles rodem até 3x mais rápido em um notebook GeForce GTX 4090 do que em um Macbook Pro M3 Max.
Todos os efeitos de IA do DaVinci Resolve são acelerados em GPUs RTX pelo TensorRT. A atualização do Resolve inclui aceleração de GPU para seus efeitos Beauty, Edge Detect e Watercolor, dobrando seu desempenho em GPUs NVIDIA.
A atualização também apresenta o modo H.265 Ultra-High-Quality (UHQ) da NVIDIA, que utiliza NVENC para aumentar a eficiência da codificação HEVC em 10%.
Parceiros Pixel-Perfect: Topaz Video AI e Adobe After Effects
Este ano, a Topaz Labs introduziu um plug-in do Adobe After Effects para Video AI, uma solução líder para upscaling de vídeo e interpolação de quadros. O plug-in integra a gama completa de modelos de aprimoramento e interpolação de quadros diretamente no software de motion graphics padrão da indústria.
Ele também permite que os usuários acessem ferramentas de aprimoramento de IA em suas composições do After Effects, proporcionando maior flexibilidade e composição mais rápida sem a necessidade de transferir arquivos grandes entre diferentes ferramentas.
Um recurso de destaque do Topaz Video AI é sua capacidade de criar vídeos dramáticos em câmera lenta com o modelo Apollo AI da Topaz, que pode converter filmagens em câmera lenta de até 16x.
O plugin também se destaca no upscaling, ideal para integrar ativos de baixa resolução em projetos maiores sem comprometer a qualidade. Ele inclui todos os modelos de aprimoramento do Topaz, como o modelo Rhea para upscaling 4x. Confira o blog da Adobe para saber mais sobre os plug-ins do After Effects e como usá-los.
Construído para velocidade, o plug-in é acelerado em GPUs RTX pela NVIDIA TensorRT, aumentando o desempenho da IA em até 70%. Uma atualização futura do Video AI introduzirá mais melhorias de desempenho e otimizações de eficiência do TensorRT, incluindo uma redução significativa no número de arquivos de modelo de IA necessários como parte da instalação do aplicativo.
Com a rápida integração da IA, o futuro da transmissão é mais brilhante e inovador do que nunca.