Segurança de IA é um problema de engenharia. Isso significa requisitos de segurança definidos, controles aplicáveis, responsáveis nomeados e evidências de que as proteções funcionam.
À medida que a IA se torna mais capaz, o setor precisa acelerar a engenharia de segurança, ampliar o acesso a ferramentas de defesa e compartilhar o que funciona com mais rapidez.
Tecnologia muda, fundamentos de segurança resistem
A internet e a computação em nuvem mudaram a forma como o software opera, mas as responsabilidades centrais de segurança persistiram: estabelecer identidade, controlar acesso, limitar exposição e verificar se as proteções funcionam.
Os agentes de IA introduzem novas capacidades, como raciocínio, uso de ferramentas e adaptação de ações com base nos dados encontrados. Essas capacidades exigem a aplicação de princípios estabelecidos a novas condições operacionais.
Esse ritmo cria pressão. As organizações querem os benefícios de produtividade da IA enquanto as práticas para governar e proteger esses sistemas ainda estão sendo desenvolvidas.
Segurança depende de todo o agent stack
As aplicações dependem de código, dados, identidades, serviços e infraestrutura. A segurança depende de como esses componentes funcionam juntos, e os agentes de IA ampliam esse sistema.
Modelos fornecem capacidades; harnesses organizam contexto, ferramentas e fluxos de trabalho; e ambientes de runtime fornecem a infraestrutura na qual as ações são executadas. Cada parte desse stack tem responsabilidades de segurança, e a proteção adequada exige controles em cada camada, à medida que dados, instruções e ações percorrem o sistema.
Considere um agente atualizando um registro de cliente. Caso ele encontre instruções maliciosas em um documento anexado e tente exportar dados de clientes para um destino não autorizado.
Uma política de rede deve bloquear a transferência, e logs protegidos devem registrar a tentativa de chamada de ferramenta, a decisão de autorização e o resultado, para que a equipe de segurança possa identificar a ferramenta usada e o destino que ela tentou alcançar.
A permissão para atualizar um registro de cliente não deve se estender automaticamente à exportação desses dados. Um agente pode solicitar acesso adicional, mas não pode autorizar esse acesso por conta própria.
Incorpore segurança ao modo de operação dos agentes
Um limite de segurança precisa se manter mesmo quando um agente toma a decisão errada. O ambiente em que um agente é executado determina o que ele pode fazer e, portanto, deve impor limites sobre arquivos, destinos de rede e processos independentemente do raciocínio do agente.
Instruções e salvaguardas podem ajudar a orientar o comportamento, mas a segurança também exige limites aplicáveis.
Cada agente precisa de uma identidade rastreável e credenciais limitadas à sua tarefa designada. As organizações precisam de políticas claras que definam quais informações os agentes podem acessar, quais sistemas podem modificar e quais ações requerem aprovação. Dentro desses limites, ações consequentes e mudanças de permissão ainda requerem aprovação humana.
As equipes também precisam verificar a origem e a integridade das ferramentas, skills e dependências que os agentes utilizam. Se algo der errado, registros protegidos de chamadas de ferramentas, decisões de autorização e resultados ajudam investigadores a reconstruir o que aconteceu. Procedimentos claros para revogar acesso e conter incidentes tornam essas evidências acionáveis.
O NVIDIA OpenShell é um runtime de código aberto e seguro que aplica políticas fora do alcance do agente e fornece execução em sandbox, governando como os agentes acessam dados, rede e recursos do sistema. Parceiros da Open Secure AI Alliance estão desenvolvendo sobre o OpenShell: o DefenseClaw da Cisco adiciona uma camada de governança, e a JFrog integra-se ao OpenShell para verificar skills de agentes e aplicar políticas sobre quais skills os agentes podem acessar.
Equipes de engenharia precisam de evidências de segurança
Antes da implantação, as equipes precisam de evidências de que os controles adequados bloqueiam tentativas de obter credenciais além do escopo de um agente ou enviar dados confidenciais para um destino não autorizado.
Os testes também devem cobrir tentativas de alterar permissões ou interferir no monitoramento, e ser repetidos após mudanças significativas em modelos, ferramentas ou fluxos de trabalho.
Um responsável nomeado deve usar esses resultados para decidir se o sistema está pronto para implantação e garantir que testes malsucedidos levem a ações corretivas. Falhas descobertas em testes ou na operação devem ser reproduzidas, investigadas e tratadas. Cada descoberta pode então se tornar um teste repetível, permitindo que as equipes verifiquem se a correção continua funcionando em versões futuras.
Entre os exemplos estão o SafeMind da CrowdStrike para testar e fortalecer defesas por meio de simulações de ataque repetidas, e o Prisma AIRS da Palo Alto Networks para red teaming contínuo conforme modelos e aplicações mudam.
Defensores precisam das ferramentas certas no momento certo
Investigar falhas requer ferramentas capazes e adequadas à tarefa, aos dados e ao ambiente. Modelos abertos e fechados atendem necessidades complementares.
Modelos fechados oferecem capacidades e serviços gerenciados, enquanto os modelos abertos dão aos defensores opções para inspecionar componentes relevantes, adaptar estratégias e trabalhar em infraestrutura que controlam.
Durante um incidente, esse controle pode ajudar uma equipe a reproduzir uma falha e testar uma correção em seus próprios sistemas, mantendo evidências confidenciais em seu ambiente.
A IA capaz pode apoiar esse trabalho ajudando a encontrar vulnerabilidades, validar correções e investigar ataques. Seu valor deve ser avaliado por descobertas reproduzíveis, correções verificáveis e tempo de resposta acelerado.
Entre os exemplos estão o VulnHunter do Capital One para segurança de código com IA, e o Spectra Assure da ReversingLabs para análise de pacotes de software com IA a fim de detectar malware e adulterações.
Transfira a vantagem para os defensores por meio do trabalho aberto
Compartilhar evidências do que falhou, quais controles funcionaram e como as correções foram verificadas ajuda outras equipes a fortalecer seus próprios sistemas.
A pesquisa de segurança da NVIDIA e a Open Secure AI Alliance apoiam esse intercâmbio trazendo pesquisas, ferramentas práticas e expertise para a comunidade de segurança mais ampla.
Segurança de IA é um problema de engenharia. Cada implantação de agente precisa de limites aplicáveis, um responsável e evidências de que suas proteções funcionam. Pesquisa aberta e ferramentas compartilhadas ajudam mais defensores a atingir esse padrão e aprimorá-lo conforme as capacidades avançam.
Saiba mais sobre a pesquisa de segurança da NVIDIA e participe da Open Secure AI Alliance.