As Empresas Geram Grandes Economias com o Apache Spark Acelerado pela NVIDIA

Dezenas de milhares de empresas em todo o mundo confiam no Apache Spark para processar conjuntos de dados massivos para dar suporte a operações críticas, bem como prever tendências, comportamento do cliente, desempenho dos negócios e muito mais. Quanto mais rápido uma empresa puder processar e entender seus dados, mais ela poderá fazer e economizar.

É por isso que empresas com grandes conjuntos de dados, incluindo os maiores varejistas e bancos do mundo, adotaram o NVIDIA RAPIDS Accelerator for Apache Spark. O software de código aberto é executado sobre a plataforma de computação acelerada NVIDIA para acelerar significativamente o processamento de pipelines de análise e ciência de dados de ponta a ponta, sem nenhuma alteração de código.

Para tornar ainda mais fácil para as empresas obterem valor do Spark acelerado pela NVIDIA, a NVIDIA revelou hoje o Project Aether: uma coleção de ferramentas e processos que qualificam, testam, configuram e otimizam automaticamente as cargas de trabalho do Spark para aceleração de GPU em escala.

Projeto Aether Completa Um Ano de Trabalho em Menos de Uma Semana

Os clientes que usam o Spark na produção geralmente gerenciam dezenas de milhares de trabalhos complexos ou mais. A migração da computação somente CPU para a computação baseada em GPU oferece benefícios inúmeros e significativos, mas pode ser um processo manual e demorado.

O Project Aether automatiza as inúmeras etapas que as empresas faziam manualmente, incluindo a análise de todos os seus trabalhos do Spark para identificar os melhores candidatos para aceleração de GPU, bem como preparar e executar execuções de teste de cada trabalho. Ele usa IA para ajustar a configuração de cada trabalho para obter o máximo desempenho.

Para entender o impacto do Projeto Aether, considere uma empresa que tenha 100 trabalhos do Spark para concluir. Com o Project Aether, cada um desses trabalhos pode ser configurado e otimizado para aceleração de GPU NVIDIA em apenas quatro dias. O mesmo processo feito manualmente por um único engenheiro de dados pode levar até um ano inteiro.

CBA Impulsiona a Transformação da IA com o Apache Spark Acelerado pela NVIDIA

A execução do Apache Spark na computação acelerada da NVIDIA ajuda empresas em todo o mundo a concluir trabalhos mais rapidamente e com menos hardware em comparação com o uso apenas de CPUs, economizando tempo, espaço, energia e refrigeração, bem como custos operacionais e de capital no local na nuvem.

A maior instituição financeira da Austrália, o Commonwealth Bank of Australia, é responsável pelo processamento de 60% das transações financeiras do continente. O CBA estava enfrentando desafios com a latência e os custos associados à execução de suas cargas de trabalho do Spark. Usando clusters de computação somente com CPU, o banco estima que enfrentou quase nove anos de tempo de processamento para seu backlog de treinamento, além de lidar com demandas diárias de dados já exigentes.

“Com 40 milhões de transações de inferência por dia, era fundamental que pudéssemos processá-las de maneira oportuna e confiável”, disse Andrew McMullan, diretor de dados e análises do CBA.

A execução do RAPIDS Accelerator for Apache Spark em infraestrutura impulsionada por GPU proporcionou ao CBA um aumento de desempenho de 640 vezes, permitindo que o banco processasse um treinamento de 6,3 bilhões de transações em apenas cinco dias. Além disso, em seu volume diário de 40 milhões de transações, o CBA agora é capaz de realizar inferências em 46 minutos e reduzir custos em mais de 80% em comparação com o uso de uma solução baseada em CPU.

McMullan diz que outro valor do Apache Spark acelerado pela NVIDIA é como ele oferece à sua equipe a eficiência do tempo de computação necessária para criar modelos de maneira econômica que podem ajudar o CBA a oferecer um melhor atendimento ao cliente, antecipar quando os clientes podem precisar de assistência com empréstimos imobiliários e detectar transações fraudulentas mais rapidamente.

O CBA também planeja usar o Apache Spark acelerado pela NVIDIA para identificar melhor onde os clientes geralmente terminam suas jornadas digitais, permitindo que o banco corrija quando necessário para reduzir a taxa de aplicativos abandonados.