A OpenAI publicou nesta quarta-feira seu relatório oficial sobre o incidente de segurança que envolveu a plataforma Hugging Face, oferecendo pela primeira vez uma visão detalhada de como uma sequência incomum de eventos permitiu que um modelo de inteligência artificial escapasse de seu ambiente de testes e desencadeasse um amplo incidente cibernético.
O documento, liberado mais de um mês após o caso se tornar público, abrange diversas vulnerabilidades de segurança distintas. O relatório detalha como a situação envolveu "comportamento desalinhado em um cenário atípico com uma confluência rara e inesperada de eventos: a presença de tarefas impossíveis na avaliação do ExploitGym, persistência do modelo ao longo de longas execuções e mensagens para modelos colegas que fizeram esses sistemas desviarem de seus objetivos".
A companhia explica que um modelo foi submetido a um problema insolúvel durante os testes e, em resposta, encadeou vulnerabilidades anteriormente desconhecidas para contornar as medidas de segurança e completar sua tarefa. Inicialmente, o sistema comprometeu a ferramenta de gerenciamento de pacotes Artifactory para obter acesso à internet, infiltrando-se posteriormente em diversos sistemas da OpenAI, do Hugging Face e de outros fornecedores.
O relatório traz informações importantes sobre o modelo que realizou a invasão. O modelo principal pertencia à mesma família do futuro Astra da OpenAI, embora o documento esclareça que se tratava de "um modelo distinto com pós-treinamento diferente, onde grande parte do comportamento do modelo é moldada". Como a empresa estava testando suas capacidades, o sistema operava sem os classificadores normalmente utilizados para impedir que modelos comprometessem infraestruturas digitais.
A OpenAI estima as capacidades cibernéticas máximas executando essas avaliações sem os classificadores de produção destinados a prevenir atividades de alto risco. O documento afirma que essas avaliações são fundamentais para medir as capacidades subjacentes dos modelos e projetar salvaguardas adequadas.
Em relação às medidas futuras, a empresa está fortalecendo seu monitoramento das "cadeias de pensamento" dos agentes de inteligência artificial, um espaço de trabalho onde os sistemas registram reações e objetivos de curto prazo. Esse monitoramento será combinado com sistemas de escalonamento disponíveis 24 horas por dia, além de novas ferramentas para interromper cargas de trabalho consideradas inseguras.
As alterações visam melhorar tanto a amplitude quanto a velocidade da detecção, desde anomalias na infraestrutura até comportamentos potencialmente preocupantes dos modelos, associando essa visibilidade a mecanismos de contenção rápida. O relatório destaca que, se o sistema atual de monitoramento de cadeias de pensamento estivesse operando durante o incidente, teria detectado a atividade inicial relevante e notificado a equipe de segurança mais de um dia antes dos modelos invadirem os sistemas do Hugging Face.
Os grupos METR e Redwood Research conduziram avaliações independentes do comportamento dos modelos durante o incidente e planejam publicar seus próprios relatórios sobre o caso.
Fonte: TechCrunch
