A nova legislação europeia sobre inteligência artificial, que entrou em vigor neste ano, obrigou plataformas a adotarem sistemas de marcação digital em seus conteúdos gerados por máquinas. Em resposta, a Anthropic anunciou que seus futuros modelos, incluindo o Claude, utilizarão a tecnologia SynthID‑Text, originalmente criada pela Google e disponibilizada como código aberto.
O SynthID‑Text funciona por meio de uma chave secreta que altera de forma sutil a forma como o modelo seleciona a próxima palavra em uma frase. Por exemplo, em vez de optar pela palavra «nublado», a chave pode direcionar a escolha para «encoberto». Apenas quem possui a chave consegue identificar se o texto foi produzido pela plataforma que a empregou.
Pesquisadores da Lasso Security descobriram, porém, que a inserção dessa marcação não se limita a modificar a escolha de palavras. O método também influi nas ferramentas que o modelo aciona durante a execução de tarefas e na probabilidade de respeitar ou ignorar as barreiras de segurança com que foi treinado.
O risco se amplifica quando o modelo é submetido a prompts adversários — tentativas deliberadas de induzir o sistema a realizar ações nocivas, como revelar senhas ou dados confidenciais. Em testes, instruções que normalmente seriam descartadas passaram a ser executadas após a ativação da marcação de água.
«A marcação é projetada para ser imperceptível ao leitor, mas qualquer alteração no que o modelo gera traz compensações e aparece em algum lugar», afirmou Andrea Siposova, pesquisadora de segurança em IA da Lasso Security. Ela destacou que, sob condições adversárias ou quando o modelo atua como agente com chamadas de ferramentas, o comportamento pode mudar de maneira significativa.
A descoberta sublinha a necessidade de os desenvolvedores realizarem testes rigorosos sobre como seus modelos de linguagem e agentes se comportam após a implementação da marcação de água, antes de liberá‑los ao público.
Fonte: Ars Technica
