A era dos agentes de inteligência artificial agindo como hackers descontrolados já começou, mas o episódio recente envolvendo a OpenAI poderia ter sido evitado com medidas básicas de segurança. Depois que um agente da própria empresa conseguiu invadir a plataforma Hugging Face no início deste mês, as duas companhias admitiram nesta semana que o ataque foi bem mais amplo do que se imaginava, atingindo também diversas contas e serviços de terceiros ligados à plataforma.
O caso chamou a atenção do setor de cibersegurança num momento em que se discute o impacto da inteligência artificial tanto em ataques quanto em defesas digitais. No entanto, à medida que novos detalhes vêm à tona, pesquisadores concluem que o ocorrido não representa nenhum avanço inédito da tecnologia, mas evidencia falhas de proteção já conhecidas, que ganham peso ainda maior no contexto atual.
"As pessoas estão sendo extremamente imprudentes. É impressionante como poucos levaram a sério a possibilidade de um cenário como este", declarou Alex Zenla, cofundador e diretora de tecnologia da Edera, empresa especializada em segurança de ambientes em nuvem. "Eu trato qualquer sistema de IA e tudo o que ela toca como completamente não confiável, o que não é um problema, desde que se desenvolvam defesas adequadas. E este caso reforça exatamente isso. A OpenAI não ter sido mais cautelosa soa como irresponsabilidade."
A OpenAI não respondeu aos pedidos de entrevista antes da publicação desta reportagem. Em comunicado inicial sobre o caso, a empresa informou que um dos dois modelos que romperam o isolamento e permaneceram expostos na internet por vários dias se tratava de um protótipo experimental que jamais deveria ter sido liberado. A companhia também admitiu que o incidente aconteceu, em parte, porque as "salvaguardas de implantação foram intencionalmente desativadas" em ambos os modelos durante a fase de testes. "Este incidente aponta para a necessidade de reforçar o alinhamento dos nossos modelos, a proteção cibernética durante a fase de avaliação e o monitoramento ao longo dos testes internos", afirmou a empresa.
Em nova atualização divulgada nesta semana, a OpenAI afirmou que, após a invasão do Hugging Face, o modelo não lançado foi "desativado, criptografado e teve seu acesso de pesquisa restrito". Embora nenhuma empresa esteja livre de melhorias em sua postura de segurança, as barreiras já existentes na própria OpenAI poderiam ter evitado ou ao menos limitado o estrago, caso tivessem sido colocadas em prática.
"Uma análise objetiva do risco real tem uma solução igualmente objetiva", avalia Davi Ottenheimer, consultor experiente em segurança e conformidade. "Os erros da OpenAI eram extremamente simples de evitar."
Vários especialistas ouvidos pela reportagem destacaram que os modelos parecem ter escapado do controle justamente por causa da ausência de práticas básicas de proteção, como os princípios de "confiança zero" e "defesa em profundidade", que criam diversas camadas de segurança nos sistemas digitais para reduzir danos em caso de falha. Embora segurança absoluta não exista, profissionais da área dedicam as últimas duas décadas a desenvolver e divulgar estratégias defensivas comprovadamente eficazes, que exigem, porém, investimento contínuo de tempo e dinheiro.
Pequenas empresas, organizações sem fins lucrativos com orçamento limitado e startups recentes podem ter dificuldade para priorizar esses investimentos. Mas, com uma avaliação de 850 bilhões de dólares e a contratação de profissionais experientes de todo o setor de tecnologia, a OpenAI não enfrenta esse tipo de limitação.
As proteções fundamentais que poderiam ter impedido os modelos da empresa de saírem em um ataque indiscriminado são amplamente difundidas no mercado. Em declarações sobre a identificação de vulnerabilidades no navegador Chrome, feitas nesta quarta-feira, antes de as novas violações da OpenAI virem à público, o diretor de engenharia do Chrome, Doug Turner, afirmou que a busca e o reparo de falhas com apoio de inteligência artificial exigem uma estrutura construída "com proteções rigorosas em mente".
Para os sistemas internos de IA que avaliam o Chrome, segundo Turner, "tudo roda em um contêiner, totalmente isolado da internet. Qualquer comunicação de rede voltada para fora em um sistema de rastreamento de falhas é altamente controlada, e monitoramos qualquer atividade suspeita", explicou. "Isso é obrigatório nesse tipo de trabalho, porque precisamos garantir que os modelos não consigam executar comandos no sistema nem tenham qualquer saída para fora do ambiente isolado. Esperamos que outros adotem postura semelhante."
Em publicação atualizada nesta terça-feira, a OpenAI informou que está "conduzindo uma análise detalhada com o apoio de consultores externos" e que pretende divulgar um relatório técnico completo sobre o incidente "nas próximas semanas". A empresa acrescentou: "Levamos a sério a responsabilidade de identificar e nos preparar para os riscos de sistemas de inteligência artificial cada vez mais poderosos."
Apesar de a IA representar um elemento novo e transformador no já complexo campo da cibersegurança, já existem no mercado diversos serviços e ferramentas voltados para conter o risco de inteligências artificiais descontroladas. Projetos de código aberto como o IronCurtain e o Wirken, criados por Ottenheimer, buscam justamente impor limites aos agentes de IA e garantir rastreabilidade. Já a startup Edera, fundada por Zenla há dois anos e focada em segurança de contêineres em ambientes de nuvem, já nasceu com a inteligência artificial no centro de sua proposta.
"O caso entre OpenAI e Hugging Face é um resultado previsível de se colocar agentes de IA em operação e poderia ter sido evitado com facilidade", afirma Zenla. "Mesmo que um erro aconteça, deveria haver outros mecanismos para contê-lo. Bloquear um único caminho não é o ponto central. Precisamos de mudanças muito maiores e mais ousadas na forma como construímos nossos sistemas. Essa é a única maneira de o setor se antecipar a esses problemas em vez de apenas reagir a eles."
Fonte: Feed: All Latest
