Nota do editor: Este post faz parte da Série IA Decodificada, que desmistifica a IA ao tornar a tecnologia mais acessível e que apresenta novos hardware, software, ferramentas e acelerações para usuários de PC RTX.
A plataforma RTX AI da NVIDIA inclui ferramentas e kits de desenvolvimento de software que ajudam os desenvolvedores de Windows a criar recursos de IA generativas de ponta para oferecer o melhor desempenho em PCs e workstations com IA.
Na GTC – a conferência anual de tecnologia da NVIDIA com o time dos sonhos do setor, desenvolvedores e pesquisadores se reuniram para aprender uns com os outros, impulsionando o que vem por aí em IA e computação acelerada.
Esta edição especial do IA Decodificada na GTC destaca as melhores ferramentas de IA atualmente disponíveis e analisa o que está por vir para os 100 milhões de usuários e desenvolvedores de PCs e workstations RTX.
O Chat com RTX, o projeto de demonstração tecnológica e referência para desenvolvedores que permite aos usuários conectar de forma rápida e fácil um poderoso LLM aos seus próprios dados, apresentou novos recursos e novos modelos no salão de exposições da GTC.
Os vencedores do concurso de IA Generativa em PCs RTX foram anunciados na segunda-feira. OutlookLLM, Rocket League BotChat e CLARA foram destacados em uma das palestras da IA Decodificada no teatro de IA Generativa e cada um é acelerado por NVIDIA TensorRT-LLM. Duas outras palestras sobre IA Decodificada incluíram o uso de IA generativa na criação de conteúdo e um mergulho profundo no Chat com RTX.
As estruturas e interfaces de desenvolvedor com integração TensorRT-LLM continuam a crescer à medida que Jan.ai, Langchain, LlamaIndex e Oobabooga serão acelerados em breve – ajudando a expandir os já mais de 500 aplicações de IA para PCs e workstations RTX.
Os microsserviços NVIDIA NIM estão chegando aos PCs e workstations RTX. Eles fornecem contêineres pré-construídos, com APIs padrão do setor, permitindo que os desenvolvedores acelerem a implantação em PCs e workstations RTX. NVIDIA AI Workbench, um kit de ferramentas de desenvolvedor fácil de usar para gerenciar workflows de personalização e otimização de modelos de IA, agora está disponível para desenvolvedores RTX.
Essas integrações e ferramentas de ecossistema acelerarão o desenvolvimento de novos aplicativos e recursos do Windows. E os vencedores do concurso de hoje são uma visão inspiradora de como será esse conteúdo.
Ouça mais, veja mais, converse mais
O Chat com RTX, ou ChatRTX, abreviadamente, usa geração aumentada de recuperação, software NVIDIA TensorRT-LLM e aceleração NVIDIA RTX para trazer recursos de IA generativa local para sistemas Windows com tecnologia RTX. Os usuários podem conectar arquivos locais de forma rápida e fácil como um conjunto de dados a um grande modelo de linguagem aberto, como Mistral ou Llama 2, permitindo consultas para respostas rápidas e contextualmente relevantes.
Indo além do texto, o ChatRTX adicionará em breve suporte para voz, imagens e novos modelos.
Os usuários poderão conversar com ChatRTX com Whisper – um sistema automático de reconhecimento de fala que usa IA para processar a linguagem falada. Quando o recurso estiver disponível, o ChatRTX será capaz de “entender” a linguagem falada e fornecer respostas de texto.
Uma atualização futura também adicionará suporte para fotos. Ao integrar o CLIP – Contrastive Language-Image Pre-training da OpenAI – os usuários poderão pesquisar por palavras, termos ou frases para encontrar fotos em sua biblioteca privada.
Além do Gemma do Google, o ChatGLM receberá suporte em uma atualização futura.
Os desenvolvedores podem começar com a versão mais recente do projeto de referência para desenvolvedores no GitHub .
IA generativa para a vitória
O concurso de desenvolvedores NVIDIA de IA Generativa em NVIDIA RTX incentivou os desenvolvedores a criar um aplicativo ou plug-in do Windows.
“Descobri que jogar contra bots que reagem aos eventos do jogo com mensagens quase em tempo real adiciona um novo nível de entretenimento ao jogo, e estou entusiasmado em compartilhar minha abordagem para incorporar IA nos jogos como participante deste concurso de desenvolvedores. O público-alvo do meu projeto é qualquer pessoa que jogue Rocket League com hardware RTX.” – Brian Caffey , desenvolvedor do Rocket League BotChat
As inscrições foram julgadas com base em três critérios, incluindo um pequeno vídeo de demonstração postado nas redes sociais, o impacto relativo e a facilidade de uso do projeto e a eficácia com que a pilha de tecnologia da NVIDIA foi usada no projeto. Cada um dos três vencedores recebeu um passe para o GTC, incluindo uma vaga nos cursos GenAI/LLM do NVIDIA Deep Learning Institute e uma GPU GeForce RTX 4090 para potencializar trabalhos de desenvolvimento futuros.
O OutlookLLM oferece aos usuários do Outlook recursos generativos de IA, como composição de e-mail, de forma segura e privada em seu cliente de e-mail em PCs e workstation RTX. Ele usa um LLM local servido via TensorRT-LLM.
Rocket League BotChat, do popular jogo Rocket League, é um plug-in que permite aos bots enviar mensagens contextuais de bate-papo no jogo com base em um registro de eventos do jogo, como marcar um gol ou fazer uma defesa. Projetado para ser usado apenas em jogos offline contra jogadores bot, o plug-in pode ser configurado de várias maneiras por meio de seu menu de configurações.
CLARA (abreviação de Command Line Assistant with RTX Acceleration) foi projetada para aprimorar a interface de linha de comando do PowerShell, traduzindo instruções simples em inglês em comandos acionáveis. A extensão é executada localmente, rapidamente e mantém os usuários em seu contexto do PowerShell. Uma vez ativado, os usuários digitam suas instruções em inglês e pressionam o botão tab para invocar CLARA. A instalação é simples e há opções para configuração manual e baseada em script.
🎉 Congratulations to the #GenAIonRTX #DevContest winners:
🏆 CLARA – Talk with computers in human language – Matthew Yaeger
🏆 Rocket League BotChat – Generate in-game chat messages – Brian Caffey
🏆 Outlook LLM – Compose emails securely with AI – Francisco Gonzalez Blanch— NVIDIA AI Developer (@NVIDIAAIDev) March 19, 2024
No Estande de IA Generativa
Os participantes do GTC puderam assistir a três palestras AI Decoded na quarta-feira, 20 de março, no teatro de IA Generativa. Essas sessões de 15 minutos orientarão o público através do ChatRTX e como os desenvolvedores podem produzir seu próprio chatbot personalizado; como cada um dos três vencedores do concurso mostrou algumas das possibilidades para aplicações de IA Generativa em sistemas RTX; e uma celebração dos artistas, das ferramentas e métodos que eles usam com tecnologia NVIDIA.
Na sessão de criadores, Lee Fraser, gerente sênior de relações com desenvolvedores de mídia e entretenimento de IA generativa da NVIDIA, explorará por que a IA generativa se tornou tão popular. Ele mostrará novos workflows e como os criadores podem explorar ideias rapidamente. Os artistas apresentados incluem Steve Talkowski, Sophia Crespo, Lim Wenhui, Erik Paynter, Vanessa Rosa e Refik Anadol.
A Anadol também tem uma instalação na feira que combina visualização de dados e imagens baseadas nesses dados.
Ecossistema de Aceleração
Os principais desenvolvedores de aplicações criativas, como Blackmagic Design e Topaz Labs, integraram a aceleração RTX AI em seus softwares. O TensorRT dobra a velocidade dos efeitos de IA, como rotoscopia, remoção de ruído, superresolução e estabilização de vídeo nas aplicações DaVinci Resolve e Topaz.
“As colaborações contínuas da Blackmagic Design e da NVIDIA para executar modelos de IA em PCs RTX AI produzirão uma nova onda de recursos inovadores que darão aos usuários o poder de criar conteúdo cativante e envolvente com mais rapidez.” — Rohit Gupta, diretor de desenvolvimento de software da Blackmagic Design.
O TensorRT-LLM está sendo integrado a estruturas e ecossistemas de desenvolvedores populares, como LangChain, LlamaIndex, Oobabooga e Jan.AI. Desenvolvedores e entusiastas podem acessar facilmente os benefícios de desempenho do TensorRT-LLM por meio das principais estruturas LLM para criar e implantar aplicações com IA Generativa em GPUs locais e em nuvem.
Os entusiastas também podem experimentar seus LLMs favoritos — acelerados com TensorRT-LLM em sistemas RTX — por meio das interfaces de bate-papo Oobabooga e Jan.AI.
IA que é ágil, IA que é rápida
Os desenvolvedores podem aproveitar microsserviços NIM. Esses “contêineres” de IA pré-construídos, com APIs padrão do setor, fornecem uma solução otimizada que ajuda a reduzir o tempo de implantação de semanas para minutos. Eles podem ser usados com mais de duas dúzias de modelos populares da NVIDIA, Getty Images, Google, Meta, Microsoft, Shutterstock e muito mais.
NVIDIA AI Workbench agora está disponível para todos, ajudando os desenvolvedores a criar, testar e personalizar rapidamente modelos de IA generativas pré-treinadas e LLMs em GPUs RTX. Ele oferece acesso simplificado a repositórios populares como Hugging Face, GitHub e NVIDIA NGC , juntamente com uma interface de usuário simplificada que permite aos desenvolvedores reproduzir, colaborar e migrar projetos facilmente.
Os projetos podem ser facilmente ampliados quando for necessário desempenho adicional – seja para o data center, uma nuvem pública ou nuvem NVIDIA DGX – e depois trazidos de volta para sistemas RTX locais em um PC ou workstation para inferência e personalização leve. O AI Workbench pode ser baixado gratuitamente e fornece exemplos de projetos para ajudar os desenvolvedores a começar rapidamente.
Essas ferramentas, e muitas outras anunciadas e mostradas no GTC, estão ajudando os desenvolvedores a impulsionar soluções inovadoras de IA.
Desde a chegada da plataforma Blackwell até um gêmeo digital para o clima da Terra, tem sido um GTC inesquecível. Para usuários e desenvolvedores de PCs e workstations RTX, também foi um vislumbre do que vem por aí para IA generativa.
Consulte o aviso sobre informações do produto de software.