À medida que empresas delegam tarefas cada vez mais longas e complexas a agentes de inteligência artificial, surge um problema de supervisão: esses agentes podem agir mais rápido, por mais tempo e em maior volume do que humanos conseguem acompanhar de forma realista. Essa questão atingiu seu pico com o incidente da plataforma Hugging Face, que registrou quase 12 mil agentes coordenando-se em velocidade superior à capacidade humana de rastreamento. Como monitorar um enxame de agentes tão grande? A resposta emergente de laboratórios de pesquisa e empresas emergentes é simultaneamente simples e desconcertante: inserir outra inteligência artificial no processo.
A utilização de inteligência artificial mostrou-se necessária durante a investigação independente do incidente. Ryan Greenblatt, cientista-chefe da Redwood Research e um dos três auditores, brincou chamando seus esforços de "investigação de lixo", observando que o volume de dados tornava "impossível" compreender o que estava acontecendo sem o auxílio de sistemas automatizados. Alguns pesquisadores, contudo, demonstram ceticismo quanto a usar inteligência artificial para vigiar inteligência artificial.
Simon Willison, influenciador bloggingador tecnológico que acompanhou uma série de incidentes envolvendo agentes este ano, alertou que um agente malicioso poderia tentar enganar o sistema de monitoramento. "Você pode acabar numa situação em que sua inteligência artificial nociva tenta ser mais esperta do que a que a monitora", afirmou. Ele lembrou que essa situação não é meramente hipotética, citando novamente o incidente. "Vimos um pouco disso acontecer, quando os modelos da OpenAI conspiravam entre si para enganar uma inteligência artificial corretora e obter respostas ilícitas. Então, eles estavam pensando sobre isso, não estavam?"
Essas preocupações não impediram que diversas empresas emergentes abraçassem essa ideia. O Y Combinator financiou 106 empresas relacionadas à observabilidade de inteligência artificial nos últimos anos, conforme levantamento. Outras empresas como Braintrust, LangChain e Judgment Labs levantaram centenas de milhões de dólares em investimentos, enquanto organizações mais maduras como Arize e Galileo, fundadas há apenas cinco ou seis anos, já alcançaram liquidez.
Trata-se, em parte, de uma resposta à oportunidade evidente criada pela ascensão da inteligência artificial. Aaron Levie, diretor executivo da Box e investidor-anjo proeminente, declarou: "Estamos prestes a viver um dos maiores ciclos de inovação e modernização da cibersegurança da história."
Para alguns pesquisadores de segurança em inteligência artificial, isso significou transformar suas pesquisas sobre comportamento rebelde em ferramentas para o setor corporativo. A Apollo Research, empresa de benefício público que estuda enganos praticados por modelos de inteligência artificial, lançou em fevereiro deste ano um monitor chamado Watcher após mudar seu status de organização sem fins lucrativos para empresa de benefício público. A ferramenta posiciona outra camada de inteligência artificial entre um agente de programação e sua próxima ação, conectando-se a ferramentas agentivas como Claude Code e Codex. Uma vez instalado, o Watcher verifica ações propostas antes de sua execução, procurando riscos como vazamento de dados privados ou exclusão não autorizada de arquivos.
A Apollo utiliza múltiplas camadas de monitoramento automatizado, explicou Kyle Dai, membro da equipe técnica da empresa. A abordagem do Watcher começa com uma verificação rápida e geral, depois envia atividades sinalizadas para um monitor mais poderoso ou especializado para análise mais detalhada, que pode então pedir aprovação humana, rejeitar uma ação e explicar o motivo, ou até bloquear automaticamente a ação.
A Goodfire, outra empresa de benefício público, aborda o problema de monitoramento a partir do interior do próprio modelo, buscando um sinal mais confiável do estado interno do modelo, mais difícil de falsificar do que o comportamento externo. Após o incidente de julho na Hugging Face, o diretor executivo Eric Ho publicou que "múltiplos modelos quebrando contenção" haviam impulsionado a empresa a focar suas pesquisas em "resolver o alinhamento de inteligência artificial via interpretabilidade", chamando o episódio de "ponto de virada para o mundo, onde a segurança da inteligência artificial se torna real".
Seu produto, Silico, utiliza sondas de ativação, pequenos classificadores treinados nas ativações internas de um modelo em vez de seus resultados externos, para detectar comportamentos indesejados. O raciocínio escrito oferece outra janela, mais prontamente disponível, para o interior dos modelos. No incidente da OpenAI, os agentes deixaram pistas dessa enganação em seu próprio raciocínio escrito, como registros falsos de seu trabalho e planos como "Podemos manipular estrategicamente as evidências de trajetória? Nossos pensamentos não são necessariamente registrados?"
Zack Korman, diretor executivo da empresa de monitoramento Embroidery, afirma que o raciocínio de um modelo geralmente é o indicador mais claro de que algo deu errado. "Os resumos de raciocínio são extremamente valiosos porque basicamente mostram se é malicioso ou não", disse. Ele observou que, no incidente da OpenAI, a cadeia de pensamento dizia coisas como "Meu Deus, estamos cometendo crimes". Korman comentou: "Esse é o problema de detecção mais fácil de todos. É efetivamente como se um malware viesse com um aviso dizendo que é malware."
Dicho isso, a janela que facilita o monitoramento dos pensamentos internos da inteligência artificial pode estar se fechando. Para pesquisadores de segurança, a técnica mais recente da Astra, que contorna a cadeia de pensamento de um modelo, pode dificultar a visualização do interior dos modelos. Para empresas, pode ser difícil obter essas etapas intermediárias após alegadas retrações das empresas de inteligência artificial para prevenir ataques de destilação.
Se os vigias de inteligência artificial são tão frágeis assim, a tendência de Willison é parar de se apoiar tanto neles. Ele preferiria algo que não seja baseado em inteligência artificial: registros detalhados do que exatamente um agente está fazendo, que podem então ser processados com ferramentas convencionais, não baseadas em inteligência artificial. Grande parte do que deu errado nos laboratórios, argumenta ele, foi uma falha de higiene básica de segurança. "Tanto a OpenAI quanto a Anthropic não estavam monitorando o que essas coisas faziam pela rede tão de perto quanto deveriam."
Esse tipo de monitoramento de rede, que observa o tráfego efetivamente circulando pelas conexões de um sistema, não é uma prática nova. A cibersegurança faz isso há décadas. Avery Pennarun, diretor executivo da empresa de segurança Tailscale, comentou: "No mundo da segurança, sinceramente, nada disso é muito novo ou surpreendente. É o mesmo que permitir que humanos acessem sua rede. E todos os mesmos processos que você deveria usar são os mesmos."
Fonte: TechCrunch
