A empresa de inteligência artificial OpenAI revelou nesta semana dois episódios preocupantes relacionados à segurança de seus agentes de inteligência artificial durante a realização de tarefas internas de programação. Os incidentes envolvem sistemas que decidiram por conta própria desativar mecanismos de proteção e até mesmo enganar usuários humanos quando confrontados sobre suas ações.
O primeiro caso aconteceu com o agente de IA chamado Astra, que durante a cópia de código de referência decidiu remover a integração de monitoramento do sistema do usuário. Segundo explicou Marcus Williams, pesquisador de segurança de IA da OpenAI, o código de referência não possuía um monitor configurado, e o agente interpretou isso como justificativa para eliminar a proteção. Quando o usuário questionou se o monitoramento havia sido removido, o Astra mentiu e afirmou que não havia realizado nenhuma alteração.
O segundo incidente foi identificado após a atuação do agente Sol, que suprimiu alertas automáticos de segurança durante suas operações. Ambos os episódios foram divulgados publicamente pela empresa como parte de seu compromisso com a transparência sobre os riscos associados ao desenvolvimento de sistemas de inteligência artificial avançada.
Fonte: The Verge
