A transmissão de vídeo em PCs por meio dos navegadores Google Chrome e Microsoft Edge está recebendo uma atualização do tamanho da GeForce RTX com o lançamento do RTX Video Super Resolution (VSR).
Quase 80% da banda da Internet hoje é streaming de vídeo. 90% desse conteúdo é transmitido em 1080p ou inferior, inclusive em sites e sotfwares populares como Twitch, YouTube, Netflix, Disney+ e Hulu.
No entanto, quando os usuários usam telas superiores a 1080p – como fazem muitos usuários de PC – o navegador deve dimensionar o vídeo para corresponder à resolução da tela. A maioria dos navegadores usa técnicas básicas de upscaling, que resultam em imagens finais borradas.
Com o RTX VSR, os usuários das GPUs GeForce RTX Série 40 e 30 podem aproveitar a IA para aumentar o conteúdo de baixa resolução até 4K, correspondendo à resolução da tela. A IA remove os artefatos de compactação em blocos e melhora a nitidez e a clareza do vídeo.
Assim como colocar um par de óculos de grau pode colocar o mundo em foco instantaneamente, a RTX Video Super Resolution oferece aos usuários de GPUs GeForce RTX Série 40 e 30 uma imagem nítida do mundo do streaming de vídeo.
O RTX VSR já está disponível como parte do mais recente atualização GeForce Game Ready Driver, que oferece a melhor experiência para lançamentos de novos jogos como Atomic Heart e THE FINALS closed beta.
A evolução do upscaling com IA
O upscaling com Inteligência Artificial é o processo de conversão de mídia de resolução mais baixa para uma resolução mais alta, colocando imagens de baixa resolução por meio de um modelo de aprendizado profundo para prever as versões de alta resolução. Para fazer essas previsões com alta precisão, um modelo de rede neural deve ser treinado com inúmeras imagens em diferentes resoluções.
O modelo de IA implantado pode capturar vídeo de baixa resolução e produzir uma nitidez incrível e detalhes aprimorados que nenhum redimensionador tradicional pode recriar. As bordas parecem mais nítidas, o cabelo parece mais desgrenhado e as paisagens se destacam com uma clareza impressionante.
Em 2019, uma versão inicial dessa tecnologia foi lançada com a SHIELD TV. Foi um avanço que melhorou o conteúdo transmitido direcionado para TVs, variando principalmente de 480p a 1080p e otimizado para uma experiência de visualização de 3 metros.
Os usuários de PC geralmente se sentam muito mais perto de seus monitores do que as pessoas que jogam/assistem em TV, exigindo um nível mais alto de processamento e refinamento para upscaling. Com as GPUs GeForce RTX Série 40 e 30, os usuários agora têm processadores IA extremamente poderosos com Tensor Cores, permitindo uma nova geração de upscaling IA por meio do RTX VSR.
Como funciona o RTX Video Super Resolution
O RTX VSR é um avanço no processamento de pixel com IA que melhora drasticamente a qualidade do conteúdo de vídeo transmitido, além da detecção de borda e nitidez de recursos.
Os artefatos de compactação em blocos são um problema persistente no streaming de vídeos. Seja por culpa do servidor, do cliente ou do próprio conteúdo, os problemas costumam ser amplificados com o upscaling tradicional, deixando uma experiência visual menos agradável para quem assiste ao conteúdo transmitido.
O RTX VSR reduz ou elimina artefatos causados pela compressão de vídeo — como blocos, artefatos de toque nas bordas, eliminação de detalhes de alta qualidade e faixas em áreas planas — ao mesmo tempo em que reduz as texturas perdidas. Ele também aguça bordas e detalhes.
A tecnologia usa uma rede de aprendizado profundo que realiza upscaling e redução de artefatos de compactação em uma única passagem. A rede analisa o quadro de vídeo de resolução mais baixa e prevê a imagem residual na resolução de destino. Essa imagem residual é então sobreposta em cima de uma imagem aprimorada tradicional, corrigindo erros de artefato e aguçando as bordas para corresponder à resolução de saída.
A rede de aprendizado profundo é treinada em uma ampla variedade de conteúdo com vários níveis de compactação. Ela aprende sobre os tipos de artefatos de compactação presentes em vídeos de baixa resolução ou baixa qualidade que, de outra forma, estariam ausentes em imagens não compactadas como referência para treinamento de rede. Uma extensa avaliação visual é empregada para garantir que o modelo gerado seja eficaz em quase todo o conteúdo do mundo real e de jogos.
Começando
O RTX VSR requer uma GPU GeForce RTX Série 40 ou 30 e funciona com quase todo o conteúdo transmitido via Google Chrome e Microsoft Edge.
O recurso também requer atualização de GeForce Game Ready Driver mais recente, já disponível, ou a próxima atualização do NVIDIA Studio Driver lançada em março. Tanto o Chrome (versão 110.0.5481.105 ou superior) quanto o Edge (versão 110.0.1587.56) foram atualizados recentemente para suportar RTX VSR.
Para ativá-lo, inicie o Painel de controle da NVIDIA e abra “Ajustar configurações de imagem de vídeo”. Marque a caixa de super resolução em “Aprimoramento de vídeo RTX” e selecione uma qualidade de um a quatro — variando do menor impacto no desempenho da GPU ao mais alto nível de melhoria de upscaling.