Na breve história da segurança da inteligência artificial, a técnica conhecida como injeção de prompt rapidamente se tornou a principal ameaça enfrentada pelos sistemas. Os modelos de linguagem de grande escala possuem uma limitação fundamental: eles são incapazes de distinguir entre instruções legítimas fornecidas pelos usuários e comandos maliciosos inseridos de forma sorrateira em e-mails, códigos-fonte e outros conteúdos de terceiros que os sistemas processam.
Essa característica torna extremamente simples a inserção clandestina de comandos maliciosos que o modelo de linguagem executa sem questionar. Diante da impossibilidade de impor uma barreira eficaz entre fontes confiáveis e não confiáveis, os desenvolvedores de motores de inteligência artificial têm se limitado a criar proteções complexas conhecidas como guardrails, que visam mitigar os danos causados pelo problema, em vez de resolver a causa raiz.
Até o momento, a maioria das injeções de prompt documentadas pertence a uma categoria denominada push, na qual cada vítima potencial é alvejada individualmente. Nesse método, o adversario insere instruções maliciosas em um e-mail específico ou convite de calendário. Como a injeção precisa ser enviada empurrada para cada alvo definido, a escala do ataque permanece limitada, impedindo explorações em massa que poderiam afetar a internet como um todo.
Fonte: Ars Technica
