A Skycatch, uma startup com sede em São Francisco, vem ajudando empresas a minar dados e minerais há quase uma década.
A fabricante de software agora está investigando a criação de digital twins, com foco inicial no setor de mineração e construção, usando a plataforma NVIDIA Omniverse para conectar e construir pipelines 3D personalizados.
O SkyVerse, que faz parte da plataforma de AI de visão da Skycatch, é uma combinação de software de visão computacional e extensões do Omniverse personalizadas, que permitem aos usuários enriquecer e animar mundos virtuais de minas e de outros locais com dados geoespaciais quase em tempo real.
“Com o Omniverse, podemos transformar enormes quantidades de dados não visuais em informações visuais dinâmicas fáceis de contextualizar e consumir”, disse Christian Sanz, fundador e CEO da Skycatch. “Podemos realmente recriar o mundo físico.”
O SkyVerse pode ajudar instalações industriais a simular variáveis como clima, máquinas quebradas e muito mais até cinco anos no futuro, enquanto aprende com os acontecimentos de até cinco anos atrás, disse Sanz.
A plataforma automatiza todo o pipeline de visualização para ambientes de mineração e construção.
Primeiro, ele processa dados de drones, LIDAR e outros sensores em todo o ambiente, seja no edge, usando a plataforma NVIDIA Jetson, ou no cloud.
Em seguida, ele cria malhas 3D com base nas imagens 2D, usando redes neurais criadas a partir dos modelos pré-treinados da NVIDIA para remover objetos desnecessários, como caminhões de lixo e outros equipamentos, das visualizações.
Em seguida, o SkyVerse une isso em um único modelo 3D que é convertido para o framework Universal Scene Description (USD). O modelo mestre é então trazido para o Omniverse Enterprise para a criação de um digital twin que é sincronizado ao vivo com dados de telemetria do mundo real.
“A simulação de máquinas no ambiente, de diferentes condições climáticas e congestionamentos — nenhuma outra plataforma permitiu isso, mas tudo é possível no Omniverse, com física hiperrealista e massa de objetos, o que é realmente inovador”, disse Sanz.
A Skycatch é uma parceira Premier do NVIDIA Inception, um programa global gratuito que incentiva startups que estão revolucionando setores com tecnologias de ponta. Os parceiros Premier recebem suporte adicional go-to-market, divulgação junto a empresas de capital de risco e conhecimento técnico para ajudá-los a fazer o dimensionamento mais rápido.
Processamento e Visualização de Dados
Empresas implantaram as tecnologias totalmente automatizadas da Skycatch para coletar insights de dados aéreos em dezenas de milhares de locais, em várias das principais empresas de mineração.
A equipe da Skycatch primeiro determina o posicionamento ideal dos sensores de coleta de dados em veículos de minas usando a plataforma NVIDIA Isaac Sim, uma ferramenta de simulação de robótica e de geração de dados sintéticos (SDG – Synthetic Data Generation) para desenvolver, testar e treinar robôs baseados em AI.
“O Isaac Sim nos salvou um ano em tempo de teste, de entrar no campo, colocar um sensor, testar como ele funciona e repetir o processo”, disse Sanz.
A equipe também planeja integrar o kit de desenvolvimento de software Omniverse Replicator ao SkyVerse para gerar dados sintéticos 3D fisicamente precisos e criar ferramentas de SDG para acelerar o treinamento de redes de percepção, além do domínio da robótica.
Depois que os dados de um local são coletados, o SkyVerse usa dispositivos no edge com tecnologia dos módulos Jetson Nano e Jetson AGX Xavier da NVIDIA para processar automaticamente até terabytes deles por dia e transformá-los em análises em tamanho de kilobyte que possam ser facilmente transferidos para os usuários da linha de frente.
De acordo com Sanz, esse processamento de dados foi acelerado 3 vezes pela plataforma de computação paralela NVIDIA CUDA . A equipe também está procurando implantar os novos módulos Jetson Orin para um desempenho de alto nível.
“Não é humanamente possível analisar dezenas de milhares de imagens por dia e extrair análises críticas delas”, disse Sanz. “Por isso, estamos ajudando a expandir a visão humana com redes neurais.”
Usando modelos pré-treinados do Kit de Ferramentas NVIDIA TAO, a Skycatch também criou redes neurais que podem remover objetos e veículos estranhos das visualizações e texturizar sobre esses pontos da malha 3D.
O modelo de terreno digital, que tem precisão inferior a cinco centímetros, pode ser levado ao Omniverse para a criação de um digital twin usando o framework facilmente extensível do USD, extensões personalizadas do Omniverse para o SkyVerse e GPUs NVIDIA RTX.
“Demorou cerca de três meses para criar as extensões do Omniverse, apesar da complexidade dos recursos de nossas extensões, graças ao acesso a especialistas técnicos através do NVIDIA Inception”, disse Sanz.
A Skycatch está trabalhando com uma das principais empresas de mineração do Canadá, a Teck Resources, para implantar o uso de digital twins baseados no Omniverse para seus locais de projetos.
“A Teck Resources tem usado o engine de computação da Skycatch em todos os nossos locais de minas no mundo todo, e agora está expandindo os recursos de visualização e simulação com o SkyVerse e com nossa própria estratégia de digital twins”, disse Preston Miller, líder de tecnologia e inovação da Teck Resources. “O fornecimento de dados visuais quase em tempo real permitirá que as equipes da Teck contextualizem rapidamente os locais das minas e tomem decisões operacionais mais rápidas em projetos essenciais e urgentes.”
As extensões do Omniverse criadas pela Skycatch estarão disponíveis em breve — saiba mais.
Segurança e Sustentabilidade
A análise de dados com tecnologia fornecida por AI e os digital twins podem tornar os processos operacionais para as empresas de mineração e construção mais seguros, sustentáveis e eficientes.
Por exemplo, de acordo com Sanz, as empresas de mineração precisam da capacidade de localizar rapidamente o pé e a crista (ou parte inferior e superior) das “bancadas”, que são faixas estreitas de terra ao lado de uma mina de céu aberto. Quando uma máquina é automatizada para entrar e sair de uma mina, ela deve ser programada para ficar a 10 metros de distância da crista o tempo todo para evitar o risco de deslizar, disse Sanz.
Anteriormente, a avaliação e a análise da configuração do terreno para determinar pés e cristas precisas geralmente levava até cinco dias. Com a ajuda da AI da NVIDIA, o SkyVerse agora pode gerar essas informações em poucos minutos, disse Sanz.
Além disso, o SkyVerse elimina 10.000 interações de minas a céu aberto para os clientes por ano, por local, disse Sanz. Estas são as situações em que humanos e veículos podem se cruzar dentro de uma mina, representando uma ameaça à segurança.
“O objetivo da Skycatch é fornecer contexto e conscientização total sobre o que está acontecendo em uma mineração ou uma construção quase em tempo real — e oferecer um contexto ambiental melhor traz mais segurança para os trabalhadores”, disse Sanz.
A Skycatch também tem como objetivo impulsionar os esforços de sustentabilidade para a indústria de mineração.
“Além das empresas de mineração, as organizações governamentais querem visibilidade de como as minas estão operando e saber se os ambientes ao redor estão sendo devidamente tratados. Nossa plataforma fornece esses insights,” disse Sanz.
Além disso, minerais como cobalto, níquel e lítio são necessários para a eletrificação e a transição energética. Tudo isso vem de locais de mineração, disse Sanz, que podem se tornar mais seguros e eficientes com a ajuda dos digital twins e da AI de visão do SkyVerse.
Aprenda mais sobre a tecnologia para um futuro sustentável com a Skycatch e outros parceiros do Inception no webinar on-demand, Impulsionando o Sucesso de Startup de Energia com o NVIDIA Inception.
Criadores e desenvolvedores do mundo todo podem fazer download do NVIDIA Omniverse gratuitamente, e equipes empresariais podem usar a plataforma para seus projetos 3D.
Saiba mais sobre e inscreva-se para participar do NVIDIA Inception.