Nota do editor: Esta postagem faz parte da série IA Decodificada, que desmistifica a IA ao tornar a tecnologia mais acessível e que apresenta novos hardware, software, ferramentas e acelerações para usuários de PC RTX.
O vídeo está em todo lugar — quase 80% da largura de banda da internet hoje é usada para transmitir vídeo de provedores de conteúdo e redes sociais. Enquanto as telas se tornaram maiores e suportam resoluções mais altas, quase todos os vídeos têm qualidade de apenas 1080p ou inferior.
Os upscalers podem ajudar a melhorar a nitidez do vídeo transmitido e, com a tecnologia de IA na plataforma NVIDIA RTX, melhorar significativamente a qualidade e os detalhes da imagem.
O que é um Upscaler?
O tamanho maior do arquivo de vídeos torna mais difícil comprimir e transmitir em comparação com imagens ou texto. Plataformas como Netflix, Vimeo e YouTube contornam essa limitação codificando vídeo — o processo de compactar a fonte bruta de um vídeo em um formato de contêiner menor.
O codificador primeiro analisa o vídeo para decidir quais informações ele pode remover para fazê-lo se encaixar em uma resolução e taxa de quadros alvo. Se a taxa de bits alvo for insuficiente, a qualidade do vídeo diminui, resultando em perda de detalhes e nitidez e na presença de artefatos de codificação. Quanto menor o arquivo, mais fácil é compartilhar na internet — mas pior ele parece.
Normalmente, o software no dispositivo do visualizador aumentará a escala do arquivo de vídeo para se ajustar à resolução nativa da tela. No entanto, esses upscalers são bastante simplistas, apenas multiplicando pixels para atingir a resolução desejada. Eles podem ajudar a aguçar os contornos de objetos e cenas, mas o vídeo final normalmente carrega artefatos de codificação e às vezes parece excessivamente aguçado e artificial.
A IA Conhece Uma Maneira Melhor
A plataforma NVIDIA RTX usa IA para remover artefatos e aprimorar vídeos facilmente.
O processo de upscaling de IA envolve analisar imagens e vetores de movimento para gerar novos detalhes não presentes no vídeo original. Em vez de simplesmente multiplicar pixels, ele reconhece os padrões da imagem e os aprimora para fornecer mais detalhes e qualidade de vídeo.
As imagens devem ser primeiro desartifactadas antes de qualquer processamento começar. Artefatos — ou distorções e anomalias indesejadas que aparecem em arquivos de vídeo e imagem — ocorrem devido à supercompressão ou perda de dados durante a transmissão e o armazenamento.
As redes de IA da NVIDIA podem remover artefatos de imagens, ajudando a remover áreas bloqueadas às vezes vistas em vídeos transmitidos. Sem esse primeiro passo, os upscalers de IA podem acabar aprimorando a própria imagem artefato em vez do conteúdo desejado.
Vídeo Superdimensionado
Assim como colocar um par de óculos de grau pode instantaneamente colocar o mundo em foco, o RTX Video Super Resolution, uma das mais recentes inovações da NVIDIA em tecnologia de vídeo aprimorada por IA, oferece aos usuários uma imagem mais nítida do mundo do vídeo transmitido.
Disponível nas GPUs GeForce RTX séries 40 e 30 e nas GPUs profissionais RTX, ele usa IA em execução em Tensor Cores dedicados para remover artefatos de compressão de blocos e aumentar o conteúdo de baixa resolução para até 4K, correspondendo à resolução nativa da tela do usuário.
O RTX Video Super Resolution pode ser usado para aprimorar todos os vídeos assistidos em navegadores. Ao combinar de-artifacting com técnicas de upscaling de IA, ele pode fazer com que até mesmo transmissões de baixa taxa de bits do Twitch pareçam incrivelmente claras. O RTX Video Super Resolution também é suportado em aplicativos de vídeo populares como o VLC para que os usuários possam aplicar o mesmo processo de upscaling aos seus vídeos offline.
Em breve, os criadores poderão usar o RTX Video Super Resolution em aplicativos de edição como o Davinci Resolve da Black Magic, tornando mais fácil do que nunca fazer o upgrade de arquivos de vídeo de baixa qualidade para resolução 4K, bem como converter arquivos de origem de faixa dinâmica padrão em alta faixa dinâmica (HDR).
Diga Olá ao High-Dynamic Range
O RTX Video agora também suporta AI HDR. O vídeo HDR suporta uma gama mais ampla de cores, emprestando mais detalhes especialmente às áreas mais escuras e claras das imagens. O problema é que ainda não há muito conteúdo HDR online.
Conheça o RTX Video HDR — basta ativar o recurso para que a rede de IA transforme qualquer conteúdo padrão ou de baixa faixa dinâmica em HDR, realizando o mapeamento de tons correto para que a imagem ainda pareça natural e retenha suas cores originais.
IA em Todos os Níveis
O RTX Video é apenas a mais recente implementação do upscaling de IA oferecido pela NVIDIA RTX.
Os membros do serviço de streaming em nuvem GeForce NOW podem jogar seus jogos de PC favoritos em quase qualquer dispositivo. Os servidores GeForce RTX localizados em todo o mundo primeiro renderizam o conteúdo de vídeo do jogo, codificam-no e então o transmitem para o dispositivo local do jogador — assim como o streaming de vídeo de outros provedores de conteúdo.
Os membros em dispositivos mais antigos com GPU NVIDIA ainda podem usar o upscaling aprimorado por IA para melhorar a qualidade do jogo. Isso significa que eles podem aproveitar o melhor dos dois mundos.
A IA permitiu melhorias sem precedentes na qualidade do vídeo, ajudando a definir um novo padrão em experiências de streaming.
Nota do editor: Esta postagem faz parte da série IA Decodificada, que desmistifica a IA ao tornar a tecnologia mais acessível e que apresenta novos hardware, software, ferramentas e acelerações para usuários de PC RTX.