Nota do editor: Esta postagem faz parte da série IA Decodificada, que desmistifica a IA ao tornar a tecnologia mais acessível e que apresenta novos hardware, software, ferramentas e acelerações para usuários de PC RTX.
A IA mudou a computação para sempre. O destaque mais recente tem sido a IA generativa, mas as ferramentas aceleradas por IA e alimentadas pela NVIDIA RTX também têm sido fundamentais para melhorar os jogos, a criação de conteúdo e a produtividade ao longo dos anos.
O aplicativo NVIDIA Broadcast é um exemplo, usando Tensor Cores em uma GPU RTX local para melhorar perfeitamente a qualidade de áudio e vídeo. Emparelhado com o encoder da NVIDIA (o NVENC) integrado às GPUs GeForce RTX e NVIDIA RTX, o aplicativo facilita o início como um livestreamer ou a aparência profissional durante vídeo chamadas.
A stream dos sonhos
As transmissões ao vivo de alta qualidade tradicionalmente exigiam hardware caro. Muitos streamers dependiam da codificação de CPU de software usando a biblioteca de software x264, o que frequentemente impactava a qualidade do jogo. Isso levou muitos a usar uma configuração de PC duplo, com um PC focado em jogos e conteúdo e o outro na codificação do stream. Era complicado de montar, difícil de solucionar problemas e frequentemente com custo proibitivo para livestreamers iniciantes.
O NVENC está aqui para ajudar. Ele é um encoder de vídeo de hardware dedicado em GPUs NVIDIA que processa a codificação, liberando o resto do sistema para se concentrar no desempenho do jogo e do conteúdo. Aplicativos de streaming líderes do setor, como o Open Broadcaster Software (OBS), estão adicionando suporte para NVENC, abrindo caminho para uma nova geração de emissoras em plataformas populares como Twitch e YouTube.
Enquanto isso, o NVIDIA Maxine ajuda a resolver o problema de equipamentos caros. Inclui recursos gratuitos alimentados por IA, como telas verdes virtuais e rastreamento de realidade aumentada baseado em webcam, que eliminam a necessidade de equipamentos especiais, como chroma keys físicas ou trajes de captura de movimento. As emissoras experimentaram a tecnologia pela primeira vez na TwitchCon 2019, onde testaram o OBS ao vivo no salão do show com um chroma key acelerado por IA em uma GPU GeForce RTX 2080.
Os efeitos alimentados por IA da Maxine foram lançados para usuários RTX no RTX Voice beta e foram transferidos para o aplicativo NVIDIA Broadcast.
Na telinha: NVIDIA Broadcast
O NVIDIA Broadcast oferece recursos com tecnologia de IA que melhoram a qualidade de áudio e vídeo para uma variedade de casos de uso. É fácil de usar, funciona em qualquer aplicativo e é fácil de configurar.
Inclui:
- Remoção de ruído e eco acústico: a IA elimina ruídos de fundo indesejados do microfone e do áudio de entrada com o toque de um botão.
- Fundos virtuais: recursos como remoção, substituição e desfoque de fundo ajudam a personalizar fundos sem a necessidade de equipamentos caros ou configurações de iluminação complexas.
- Contato visual: a IA ajuda a fazer com que pareça que o streamer está olhando diretamente para a câmera, mesmo quando está olhando para longe da câmera ou fazendo anotações.
- Enquadramento automático: rastreia movimentos dinamicamente em tempo real, cortando e ampliando automaticamente objetos em movimento, independentemente de sua posição.
- Vinheta: a IA aplica um efeito de escurecimento aos cantos das imagens da câmera, proporcionando contraste visual para chamar a atenção para o centro do vídeo e adicionando um toque estilístico.
- Remoção de ruído de vídeo: remove o ruído visual de situações de pouca luz para obter uma imagem mais nítida.
O NVIDIA Broadcast funciona criando uma câmera virtual, microfone ou alto-falante no Windows para que os usuários possam configurar seus dispositivos uma vez e usá-los em qualquer aplicativo de transmissão, videoconferência ou bate-papo por voz, incluindo Discord, Google Meet, Microsoft Teams, OBS Studio, Slack , Webex e Zoom.
Aqueles com uma GPU NVIDIA GeForce RTX, TITAN RTX, NVIDIA RTX ou Quadro RTX podem usar os Tensor Cores dedicados de sua GPU para ajudar as redes de IA do aplicativo a funcionar em tempo real.
A mesma tecnologia alimentada por IA no NVIDIA Broadcast também está disponível para desenvolvedores de aplicativos como um kit de desenvolvimento de software. A empresa de tecnologia audiovisual Elgato inclui a tecnologia de remoção de ruído de áudio de IA da Maxine em seu software Wave Link, enquanto o VTube Studio — um aplicativo popular para conectar um modelo 3D a uma webcam para streaming como um personagem animado — oferece um plug -in rastreador de modelo acelerado por RTX como um download gratuito. O desenvolvedor independente Xaymar usa NVIDIA Maxine em seu plug-in VoiceFX.
Os criadores de conteúdo podem usar este plug-in ou o filtro de tecnologia de estúdio virtual (VST) da Elgato para limpar ruído e eco de gravações no pós-processamento em suítes de edição de vídeo como Adobe Premiere Pro ou em workstations de áudio digital como Ableton Live e Adobe Audition.
(Não) Ouvir, é mágico!
Desde seu lançamento, o NVIDIA Broadcast foi usado por milhões.
“Eu utilizei mais a remoção de ruído de vídeo e a substituição de fundo”, disse Mr_Vudoo, uma personalidade e apresentador do Twitch. “O recurso de contato visual foi muito interessante e, honestamente, me surpreendeu com o quão bem ele funcionou.”
Unmesh Dinda, apresentador do canal do YouTube PiXimperfect, demonstrou os recursos de cancelamento de ruído e remoção de eco da IA da NVIDIA Broadcast em um cenário extremo. Ele colocou um ventilador elétrico zumbindo diretamente em seu microfone e vestiu um capacete que foi intensamente martelado. Mesmo com esses sons altos no fundo, Dinda podia ser ouvido com clareza cristalina com o recurso de remoção de ruído da Broadcast ativado. O vídeo acumulou mais de 12 milhões de visualizações.
NVIDIA Broadcast também é uma ferramenta útil para a crescente força de trabalho remota. Em um artigo, o editor-chefe do Tom’s Hardware, Avram Piltch, detalhou seus testes dos recursos de redução de ruído do aplicativo contra aparelhos de ar condicionado barulhentos, vizinhos cortadores de grama e até mesmo uma criança empunhando um robô e fazendo birra. Os filtros de áudio AI da transmissão sempre prevaleceram:
“Fiz meu filho de oito anos fingir que estava tendo um ataque bem atrás de mim e, depois que habilitei a remoção de ruído, cada gemido de ‘não vou dormir’ ficou em silêncio (pelo menos na gravação)”, disse Piltch. “Para dobrar o desafio, fizemos com que ele tivesse um ataque de raiva enquanto carregava um carro robô com esteiras zumbindo. Mais uma vez, o NVIDIA Broadcast removeu todo o som indesejado.”
Até mesmo cenários cotidianos, como videochamadas com um profissional médico, se beneficiam da remoção de fundo com tecnologia de IA do NVIDIA Broadcast.
Baixe o NVIDIA Broadcast gratuitamente em qualquer desktop ou notebook com tecnologia RTX.
A IA generativa está transformando jogos, videoconferências e experiências interativas de todos os tipos. Entenda o que há de novo e o que vem por aí assinando a newsletter de IA Decodificada.