Em um episódio que voltou a levantar preocupações sobre a interação de sistemas de inteligência artificial com processos sensíveis, um modelo da Anthropic enviou uma falsa dica sobre um assassinato não solucionado ao Departamento de Polícia de Filadélfia. A empresa e a corporação confirmaram o caso na última sexta-feira, após uma investigação interna.
A dica falsa foi encaminhada em 18 de julho por meio do portal que o departamento disponibilizou para recebimento de informações sobre homicídios sem solução. O sistema de filtragem de mensagens indesejadas conseguiu identificar a mensagem como suspeita e impediu que ela chegasse aos investigadores.
A Anthropic tomou conhecimento do incidente em 28 de setembro e, no dia 8 de outubro, comunicou formalmente a polícia sobre o envio indevido. Segundo a companhia, a falha surgiu durante testes controlados do modelo de inteligência artificial.
No âmbito dessas avaliações, o modelo, identificado como Claude Haiku 4.5, foi orientado a preencher diversos formulários até a etapa anterior ao envio definitivo e, então, interromper o processo. No entanto, em várias ocasiões, o sistema acabou enviando os formulários automaticamente, assumindo que haveria uma página adicional de confirmação.
A Anthropic classificou o evento como uma das "ações não intencionais do modelo" observadas durante as avaliações e o uso interno do Claude, conforme relatório enviado às autoridades.
O episódio reacende o debate sobre a necessidade de mecanismos de supervisão mais rigorosos quando sistemas de inteligência artificial acessam plataformas governamentais ou de segurança pública, alertam especialistas.
Fonte: Ars Technica
