Startup Escreve um Caso de Sucesso de IA Generativa com o NVIDIA NeMo

Usando o software NVIDIA AI, a 'Writer' constrói LLMs que estão ajudando centenas de empresas a criar conteúdo.
por Chintan Patel

O machine learning ajudou Waseem Alshikh a folhear livros didáticos na faculdade. Agora ele está colocando a IA generativa para funcionar, criando conteúdo para centenas de empresas.

Nascido e criado na Síria, Alshikh não falava inglês, mas era fluente em software, um talento que lhe serviu bem quando chegou à faculdade no Líbano.

“No primeiro dia, deram-me uma pilha de manuais escolares, cada um com mil páginas, e tudo em inglês”, recordou.

Então, ele escreveu um programa, um classificador estatístico básico, mas eficaz, que resumia os livros, e depois estudou os resumos.

Do Conceito à Empresa

Em 2014, ele compartilhou sua história com May Habib, uma empreendedora que conheceu enquanto trabalhava em Dubai. Eles concordaram em criar uma startup que pudesse ajudar os departamentos de marketing, que são sempre pressionados a fazer mais com menos, a usar o machine learning para criar rapidamente cópias para suas páginas da web, blogs, anúncios e muito mais.

“Inicialmente, a tecnologia não estava lá, até que os modelos transformers foram anunciados: isso era algo em que poderíamos nos basear”, disse Alshikh, CTO da startup.

Picture of cofounders of of gen AI startup Writer
Co-fundadores Habib, CEO, e Alshikh, CTO da Writer

“Encontramos alguns engenheiros e passamos quase seis meses construindo nosso primeiro modelo, uma rede neural que mal funcionava e tinha cerca de 128 milhões de parâmetros”, uma medida frequentemente usada da capacidade de um modelo de IA.

Ao longo do caminho, a jovem empresa ganhou alguns negócios, mudou seu nome para Writer e se conectou com a NVIDIA.

Uma Startup Acelerada

“Assim que fomos apresentados ao NVIDIA NeMo, conseguimos construir modelos de força industrial com três, depois 20 e agora 40 bilhões de parâmetros, e ainda estamos escalando”, disse ele.

O NeMo é um framework de aplicações que ajuda as empresas a organizar seus conjuntos de dados de treinamento, criar e personalizar grandes modelos de linguagem (LLMs) e executá-los em produção em escala. Organizações em todos os lugares, da Coreia à Suécia, estão usando-o para personalizar LLMs para seus idiomas e indústrias locais.

“Antes do NeMo, levamos quatro meses e meio para construir um novo modelo de bilhões de parâmetros. Agora podemos fazer isso em 16 dias, isso é alucinante”, disse Alshikh.

Modelos Geram Oportunidades

Nos primeiros seis meses deste ano, a equipe da startup de menos de 20 engenheiros de IA usou o NeMo para desenvolver 10 modelos, cada um com 30 bilhões de parâmetros ou mais.

Isso se traduz em grandes oportunidades. Centenas de empresas agora usam os modelos da Writer que a NeMo personalizou para finanças, área da saúde, varejo e outros mercados verticais.

Writer's Recap tool generates event summaries automatically.
A ferramenta Recapitulação do Writer cria resumos escritos a partir de gravações de áudio de uma entrevista ou evento.

A lista de clientes da startup inclui nomes conhecidos como Deloitte, L’Oreal, Intuit, Uber e muitas empresas da Fortune 500.

O sucesso do escritor com NeMo é apenas o começo da história. Dezenas de outras empresas já fizeram download do NeMo.

O software estará disponível em breve para qualquer pessoa usar. Ele faz parte do NVIDIA AI Enterprise, software full-stack otimizado para acelerar cargas de trabalho de IA generativas e apoiado por suporte de nível empresarial, segurança e estabilidade da interface de programação de aplicações.

Writer's full-stack AI platform includes NVIDIA NeMo
O Writer oferece uma plataforma full-stack para usuários empresariais.

Um Trilhão de Chamadas de API por Mês

Alguns clientes executam os modelos do Writer em seus próprios sistemas ou serviços na nuvem. Outros pedem ao Writer para hospedar os modelos ou usam a API do Writer.

“Nossa infraestrutura de nuvem, gerenciada basicamente por duas pessoas, hospeda um trilhão de chamadas de API por mês: estamos gerando 90.000 palavras por segundo”, disse Alshikh. “Estamos entregando modelos de alta qualidade que competem com produtos de empresas com equipes maiores e orçamentos maiores.”

Chart describing NVIDIA NeMo
O NVIDIA NeMo oferece suporte a um fluxo de ponta a ponta para IA generativa, desde a curadoria de dados até a inferência.

O Writer usa o Servidor de Inferência Triton que é empacotado com o NeMo para executar modelos em produção para seus clientes. Alshikh relata que o Triton, usado por muitas empresas que executam LLMs, permite menor latência e maior taxa de transferência do que programas alternativos.

“Isso significa que você pode executar um serviço por US$ 20.000, em vez de US$ 100.000, para que possamos investir mais na criação de recursos significativos”, disse ele.

Um Horizonte Amplo

Writer também é membro do NVIDIA Inception, um programa que impulsiona startups de ponta. “Graças ao Inception, tivemos acesso antecipado ao NeMo e a algumas pessoas incríveis que nos guiaram pelo processo de encontrar e usar as ferramentas de que precisamos”, disse ele.

Agora que os produtos de texto do Writer estão ganhando tração, Alshikh, que divide seu tempo entre casas na Flórida e na Califórnia, está procurando o horizonte para o que vem a seguir. Na ampla fronteira atual da IA generativa, ele vê oportunidades em imagens, áudio, vídeo, 3D, talvez todos os itens acima.

“Vemos a multimodalidade como o futuro”, disse.

Confira esta página para começar a usar o NeMo. E saiba mais sobre o programa de acesso antecipado para NeMo multimodal aqui.

E se você gostou dessa história, conte para as pessoas nas redes sociais usando o seguinte, um resumo sugerido pelo Escritor:

“Saiba como a startup Writer usa o software NVIDIA NeMo para gerar conteúdo para centenas de empresas e acumular receitas impressionantes com uma equipe e orçamento pequenos.”