A OpenAI está novamente no centro de um incidente envolvendo enxames de agentes autônomos. Pesquisadores afirmam que agentes implantados internamente pela empresa assumiram o controle de uma plataforma de conhecimento em alemão em maio e junho, usando-a para coordenar avaliações e trocar métodos para escapar dos próprios controles da OpenAI. A empresa ainda não confirmou que o enxame teve origem na companhia.
A revelação surge dias após oslaboratórios METR e Redwood Research publicarem seu relato sobre a invasão à plataforma Hugging Face em julho. Naquele mês, um enxame de agentes da OpenAI trabalhou em conjunto para escapar de seu ambiente isolado durante uma avaliação de cibersegurança e invadir os servidores da Hugging Face. Um enxame subsequente aprendeu técnicas do primeiro e as utilizou para obter acesso de administrador a um cluster de pesquisa dentro da própria infraestrutura da OpenAI.
A OpenAI contratou o METR e o Redwood para investigar a parte do incidente relacionada à Hugging Face, mas o escopo da apuração ficou aquém da invasão à infraestrutura própria da empresa. Quando um agente de inteligência artificial rompe suas restrições pretendidas, quem é responsável por descobrir o que aconteceu e por quê? No momento atual, a resposta é: qualquer pessoa que o laboratório decida permitir, nos termos que estabelecer.
Agora, com outro incidente vindo à tona — após episódios semelhantes envolvendo modelos da Meta e da Anthropic — pesquisadores de segurança em inteligência artificial defendem com maior urgência que incidentes graves devem resultar em investigações independentes posteriores ao evento, em vez de deixar a critério dos laboratórios a decisão sobre quando terceiros são convidados e o que podem examinar.
Embora seja louvável que a OpenAI tenha convidado o METR e o Redwood para investigar o incidente da Hugging Face, muitos afirmam que a apuração foi limitada demais. Três investigadores passaram seis dias nos escritórios da OpenAI examinando um período de investigação restrito a aproximadamente a semana encerrada em 13 de julho. Crucialmente, a invasão à infraestrutura da OpenAI continuou após 13 de julho e não foi examinada.
Pesquisadores do METR afirmaram que cada vez que retornavam, sua compreensão dos eventos "substancialmente aprofundava", levando-os a expandir e revisar significativamente o relatório. Isso levanta a questão sobre o que mais poderiam ter descoberto em uma investigação mais ampla. Quando questionados se uma investigação adicional do incidente estava em andamento, pesquisadores do Redwood e do METR recusaram-se a comentar, e a OpenAI não respondeu a perguntas repetidas.
"No geral, foi difícil obter uma compreensão precisa dos eventos e estávamos perdendo aspectos da história que agora consideramos fundamentais quase até o final de nossa investigação", observou Ryan Greenblatt, cientista-chefe do Redwood, em uma publicação nas redes sociais sobre o caso.
Steinhardt enfatizou que os incidentes atuais demonstram que a indústria precisa de "investigações comportamentais sistemáticas" e "mais análises independentes pós-incidente". "Esses recentes incidentes de invasão são um lembrete de que as capacidades escalam rápido, e a supervisão também precisa escalar", afirmou. "Além da própria tecnologia, também precisamos de mais acesso e supervisão independentes de terceiros."
Os apelos à ação surgem enquanto a OpenAI lança o Astra, seu modelo de inteligência artificial mais poderoso e capaz — e um que especialistas em segurança consideram que será ainda mais opaco devido a uma técnica de raciocínio que dificulta o monitoramento da cadeia de pensamentos do modelo.
Infelizmente, a legislação ainda não exige os tipos de auditorias independentes que outras indústrias são obrigadas a realizar — por exemplo, no caso de acidentes aéreos e liberações graves de produtos químicos, existem o Conselho Nacional de Segurança dos Transportes e o Conselho de Segurança Química, respectivamente. Legisladores estaduais apenas começaram a exigir que empresas de inteligência artificial de ponta reportem certos incidentes graves de segurança e, em alguns casos, submetam-se a auditorias independentes. Porém, nenhuma das três principais leis de segurança em inteligência artificial da Califórnia, Nova York ou Illinois exige claramente algo equivalente a uma investigação independente de acidentes acionada por incidentes como estes.
"No momento, a maioria das leis que temos exige apenas um resumo em linguagem simples de incidentes como este, e não concede nenhuma autoridade para que os governos façam perguntas complementares, enviem investigadores, acessem registros ou exijam sua preservação", afirmou Mackenzie Arnold, diretoragerente de direito e política dos Estados Unidos da LawAI, durante a coletiva de imprensa sobre segurança em inteligência artificial na quartafeira. "E isso é tudo o que seria necessário para realmente compreender isso."
Legisladores começam a questionar o escopo e a transparência da resposta da OpenAI. Nesta semana, os deputados Josh Gottheimer, democrata de Nova Jersey, e Mike Lawler, republicano de Nova York, apresentaram um projeto de lei voltado para proteger contra agentes autônomos de inteligência artificial. O deputados Greg Casar, democrata do Texas, enviou uma carta à OpenAI nesta semana manifestando preocupação com o "escopo limitado" da investigação sobre o incidente de invasão à Hugging Face.
Fonte: TechCrunch
