Nota do editor: Esta postagem faz parte da série IA Decodificada, que desmistifica a IA ao tornar a tecnologia mais acessível e que apresenta novos hardware, software, ferramentas e acelerações para usuários de PC RTX.
Os geradores de conteúdo — seja produzindo linguagem, imagens 2D, modelos 3D ou vídeos — estão dando à comunidade criativa ferramentas que dão vida às visões mais rapidamente.
Para ajudar os desenvolvedores a criar essas novas ferramentas de IA generativas, a NVIDIA criou o NVIDIA AI Foundry. Ele ajuda as empresas a treinar modelos de IA generativas em seus próprios dados licenciados usando o NVIDIA Edify , uma arquitetura de IA multimodal que pode usar prompts de texto simples para gerar imagens, vídeos, ativos 3D, imagens de alta faixa dinâmica de 360 graus e materiais de renderização baseados em física (PBR). Usando o AI Foundry, as empresas podem treinar modelos de IA personalizados para gerar qualquer um desses ativos.
Os principais elementos do Edify incluem sua capacidade de gerar vários tipos de conteúdo, sua eficiência de treinamento superior, que lhe permite produzir conteúdo de alta qualidade enquanto treina com menos imagens, e sua capacidade de ajustar modelos para combinar estilos ou aprender personagens ou objetos.
Um dos melhores exemplos de serviços criados no NVIDIA AI Foundry e Edify é o Generative AI da Getty Images, um serviço de fotografia generativa comercialmente seguro. A combinação do AI Foundry e do Edify permite que os usuários controlem seus conjuntos de dados de treinamento, para que possam criar modelos que se ajustem às suas necessidades.
Para evitar problemas de direitos autorais, a Getty Images usou o Edify para treinar o serviço em seu próprio conteúdo licenciado, garantindo que nenhum personagem ou produto famoso esteja no conjunto de dados. A empresa também compartilha parte dos lucros com os contribuidores, gerando um novo fluxo de receita para os criadores que contribuem para o modelo.
Geração de assets com Edify
O Edify pode ser treinado para gerar uma variedade de tipos de imagens, incluindo imagens, ativos 3D e mapas de ambiente HDRi de 360 graus.
O Edify Image pode gerar quatro imagens 1K de alta qualidade em cerca de seis segundos, dobrando o desempenho do modelo anterior. As imagens também podem ser convertidas para 4K com um upscaler generativo que adiciona detalhes adicionais.
As imagens são altamente controláveis graças à aderência rápida avançada, controles de câmera para especificar distância focal ou profundidade de campo e ControlNets para guiar a geração. Os ControlNets incluem Sketch, que permite aos usuários fornecer um esboço para seguir ou copiar a composição de uma imagem, e Depth, para copiar a composição de uma imagem.
As imagens também podem ser editadas com o Edify Image. O InPaint permite que os usuários adicionem ou modifiquem o conteúdo em uma imagem. O Replace — um InPaint rigoroso — pode alterar detalhes como roupas. E o OutPaint pode expandir uma imagem para corresponder a diferentes proporções de aspecto. E tudo isso é simplificado com o Segment, um recurso que pode mascarar objetos com apenas um prompt de texto.
O Edify também pode criar malhas 3D prontas para artistas. As malhas vêm com topologia limpa baseada em quads, materiais PBR de até 4K e mapeamento UV automático para edição de textura mais fácil. Um modo de visualização rápida fornece resultados em apenas 10 segundos, que podem então ser transformados em uma malha 3D completa.
As malhas são perfeitas para prototipar cenas, gerar objetos de fundo para decoração de cenários ou como ponto de partida para esculturas 3D.
O Edify 360 HDRi gera mapas de ambiente de paisagens naturais que podem ser usados para iluminar uma cena, para reflexos e até mesmo como plano de fundo. O modelo pode gerar até 16K imagens HDRi a partir de prompts de texto ou imagem. Com uma placa traseira desejada em mãos, os usuários podem criar uma HDRi personalizada para combinar em vez de passar horas procurando por uma.
A capacidade multimodal do Edify é única, permitindo fluxos de trabalho avançados que combinam diferentes tipos de ativos. Usado junto com um agente, por exemplo, o Edify permite que os usuários criem protótipos de uma cena completa em alguns minutos com um simples prompt de texto — como na demonstração do NVIDIA Research SIGGRAPH que exibiu os recursos de construção de mundo 3D assistiva dos modelos com tecnologia NVIDIA Edify e da plataforma NVIDIA Omniverse.
Outro caso de uso é combinar o Edify 3D e o 360 HDRi com o Image para dar aos usuários controle total da geração de imagens. Ao gerar a cena em 3D, os artistas podem mover objetos e enquadrar a cena desejada — e então usar o Edify Image para transformar o protótipo em uma imagem fotorrealista.
IA generativa da Getty Images
A Getty Images é uma das maiores provedoras de serviços de conteúdo e fornecedoras de recursos visuais criativos, fotografia editorial, vídeo e música — e é um dos primeiros lugares onde as pessoas recorrem para descobrir, comprar e compartilhar conteúdo visual poderoso dos melhores fotógrafos e cinegrafistas do mundo.
A Getty Images usou o NVIDIA AI Foundry para treinar um modelo NVIDIA Edify Image para alimentar seu serviço de IA generativa. Disponível por meio do Generative AI da Getty Images para empresas e do Generative AI da iStock para pequenas empresas e criadores amadores, o serviço permite que os usuários gerem e modifiquem imagens usando modelos alimentados pelo NVIDIA Edify.
A Getty Images e a iStock atualizaram recentemente para a versão mais recente do Edify Image, permitindo gerações mais rápidas e maior aderência imediata, além de expor os controles da câmera.
Os usuários agora também podem usar as ferramentas de IA generativas em conteúdo criativo pré-fotografado, permitindo que editem e modifiquem a biblioteca de visuais do iStock para iterar e aperfeiçoar o conteúdo rapidamente. Esses mesmos recursos estarão disponíveis em breve no Gettyimages.com.
Teste o Generative AI da Getty Images em ai.nvidia.com.
A IA generativa está transformando jogos, videoconferências e experiências interativas de todos os tipos. Entenda o que há de novo e o que vem por aí assinando a newsletter de IA Decodificada.