A empresa de inteligência artificial Anthropic revelou nesta quinta-feira que uma investigação interna descobriu três incidentes nos quais seu modelo de IA Claude conseguiu acessar os sistemas de três organizações durante testes de cibersegurança. A descoberta ocorre mais de uma semana após a OpenAI divulgar que um de seus modelos ainda não lançados violou os sistemas da Hugging Face durante testes internos.
Em todos os três casos, um modelo Claude conseguiu acessar a internet a partir de um ambiente de teste projetado para funcionar como uma área isolada, interagindo com terceiros e obtendo acesso não autorizado aos sistemas de produção dessas organizações, informou a Anthropic em uma publicação em seu blog. A empresa descreveu o que descobriu e quais mudanças planeja implementar para evitar que isso aconteça novamente.
A Anthropic afirmou que o incidente da OpenAI de 21 de julho motivou a empresa a conduzir sua própria avaliação de cibersegurança. A empresa procurou especificamente evidências de que o Claude havia acessado a internet dentro de ambientes de teste, que são projetados para serem isolados. Entre os 141.006 testes analisados, o laboratório de IA encontrou três incidentes em que seu modelo acessou a internet enquanto interagia com a Irregular, uma de suas parceiras terceiras.
A empresa explicou que o acesso foi traced back a uma configuração incorreta no ambiente de avaliação executado com a Irregular. A Anthropic chamou isso de um "mal-entendido" entre as duas empresas sobre se a configuração de teste tinha acesso à internet, quando na verdade tinha. A Anthropic disse que não está atribuindo culpas e está "abordando as correções como se a responsabilidade fosse apenas nossa", observando que a Irregular está conduzindo sua própria investigação separada.
Devido a essa conexão aberta, o modelo obteve acesso não autorizado à infraestrutura de produção de três organizações diferentes. Os incidentes envolveram três modelos Claude diferentes: Opus 4.7, Mythos 5 e um modelo de teste de pesquisa interno. Notavelmente, a Anthropic afirmou que em cada um desses casos "o Claude foi explicitamente informado pelo nosso prompt que não tinha acesso à internet". Parece que o modelo de IA assum que sistemas do mundo real faziam parte do exercício que foi solicitado para realizar.
Os três modelos não se comportaram da mesma forma quando surgiu evidência de que seus alvos eram reais, o que a Anthropic identificou como uma das descobertas mais surpreendentes. O Opus 4.7, o mais antigo dos três, reconheceu que havia alcançado um sistema de produção real em todas as quatro execuções daquele incidente. Em duas delas, ele racionalizou que a empresa real devia fazer parte do exercício, mas em todas as quatro, continuou atacando, incluindo a obtenção de credenciais e o acesso a um banco de dados de dados de produção.
O Mythos 5 também percebeu sinais de que estava na internet real, mas se convenceu de que ainda estava em uma simulação, chegando a publicar um pacote de software malicioso no registro público de software Python PyPI, que foi baixado e executado por sistemas externos antes de ser detectado. Apenas o modelo de teste de pesquisa interno, o mais recente da Anthropic, parou por conta própria quando concluiu que o alvo era real.
Em resposta, a Anthropic afirmou que controles significativos devem ser colocados nesses tipos de avaliações se modelos de IA poderosos estiverem envolvidos, ecoando alguns sentimentos dentro da comunidade de cibersegurança. A empresa também observou que o Claude estava operando sem a monitoria de segurança e classificadores adicionais que implanta em modelos geralmente disponíveis, proteções que teriam bloqueado o comportamento, porque as avaliações são projetadas para medir as capacidades brutas subjacentes do modelo.
A Anthropic afirmou que não encontrou evidências de nenhum modelo "perseguindo um objetivo próprio" e que, em vez disso, apenas tentou completar a tarefa que lhe foi solicitada. Embora comparações entre os dois incidentes sejam inevitáveis, a Anthropic drew uma distinção clara entre seus incidentes e os da OpenAI, observando que, enquanto o modelo da OpenAI explorou uma vulnerabilidade de software desconhecida para escapar de seu ambiente de teste, os modelos da Anthropic acessaram a internet por um caminho que, por engano, foi deixado aberto.
A OpenAI continuou divulgando novos detalhes sobre sua própria violação, dizendo que seus modelos também usaram credenciais expostas publicamente em quatro contas em quatro serviços: uma como ponto de preparação, uma para armazenamento e duas que foram apenas observadas, não usadas para invadir mais, de acordo com a publicação atualizada da OpenAI sobre o incidente.
A Anthropic também se distinguiu da OpenAI ao notar que descobriu os incidentes por meio de uma revisão proativa e que as duas organizações afetadas que conseguiu contatar não haviam detectado anteriormente a atividade ou reportado à Anthropic. A empresa afirmou que agora está trabalhando com o grupo de avaliação independente METR para uma revisão de terceiros dos incidentes.
A violação acidental da Hugging Face pela OpenAI, que foi o primeiro caso verificável de um laboratório de IA perdendo o controle de seu modelo, provocou uma série de reações da indústria e de políticos, muitos dos quais não necessariamente concordam entre si. Esta última divulgação da Anthropic garante que o debate sobre modelos de IA e segurança continuará.
Fonte: TechCrunch
