A Microsoft corrigiu na última terça-feira uma vulnerabilidade de segurança classificada como extremamente crítica em sua plataforma de inteligência artificial M365 Copilot. Na segunda-feira, os pesquisadores que descobriram a falha e a reportaram à empresa revelaram detalhes sobre como um exploit de prova de conceito conseguia recuperar códigos de autenticação de dois fatores e outras informações sensíveis de e-mails acessíveis pelo Copilot.
A gigante de tecnologia e outros provedores de modelos de linguagem de grande escala não conseguem impedir que seus produtos revealing dados em resposta a solicitações maliciosas. A causa raiz do problema reside na incapacidade dos bots de inteligência artificial de distinguir entre instruções fornecidas pelos usuários e aquelas inseridas em conteúdo de terceiros que os modelos estão resumindo, redigindo respostas ou usando para executar outras ações em nome do usuário.
Sem uma forma de proteger essa fronteira crucial, a Microsoft e suas concorrentes se veem obrigadas a construir barreiras de proteção complicadas e improvisadas, projetadas para controlar as consequências dessa "credulidade incurável" das inteligências artificiais.
Uma dessas barreiras impede que o Copilot e outros modelos de linguagem enviem formulários web, mandem e-mails e realizem ações semelhantes que podem ser usadas para exfiltrar dados do usuário. Para contornar essa proteção, hackers recorreram à linguagem de marcação, que permite aos usuários adicionar elementos de formatação como títulos, listas e links ao texto sem necessidade de tags HTML.
Outra técnica de contorno envolve envolver dados sensíveis dentro de tags HTML como img e form. Em ambos os casos, uma requisição web mostrando os dados atinge o servidor do atacante, onde a informação secreta é capturada nos registros de log.
Fonte: Ars Technica
