Um pesquisador de inteligência artificial enviou ondas de choque pelo Vale do Silício e além ao anunciar sua saída da Anthropic nesta terça-feira, oferecendo um aviso grave de que a corrida pela IA coloca em risco a vida de todas as pessoas.
Jacob Coxon, que atuava na etapa de pré-treinamento do desenvolvimento de sistemas de inteligência artificial, revelou em uma publicação na plataforma X — que já acumulou mais de 100 milhões de visualizações — que muitos dos profissionais que constroem essas tecnologias compartilham sua preocupação e acreditam que o tempo para garantir a segurança dos sistemas está se esgotando rapidamente.
"O consenso é que o próximo ano ou dois representa um momento crítico para a humanidade", declarou Coxon em entrevista à Wired. "Essas são praticamente citações literais dos meus colegas na Anthropic. Eles usam termos como 'jogo final' ou 'etapa decisiva'. Na perspectiva deles, é agora que a Anthropic e seus concorrentes decidem o destino da humanidade."
O alerta ocorre em um momento delicado. O Vale do Silício luta para enfrentar as preocupações com segurança e proteção dos modelos avançados de inteligência artificial. A OpenAI correu para responder a um incidente de segurança no qual seus agentes invadiram a plataforma Hugging Face. Paralelamente, a Anthropic tenta tranquilizar investidores enquanto se prepara, segundo relatos, para solicitar o que pode ser a maior oferta pública inicial de ações da história.
O que ficou evidente nas reações à publicação de Coxon é que suas visões são compartilhadas por muitos de seus pares. Evan Hubinger, líder de alinhamento de IA na Anthropic, publicou uma previsão de que há mais de 10 por cento de chance de a inteligência artificial provocar a morte de todas as pessoas na próxima década. A publicação foi compartilhada por pesquisadores atuais e antigos da OpenAI e da Anthropic, alguns dos quais afirmaram que esse é um sentimento comum no setor.
Coxon, que também trabalhou na OpenAI, revelou à publicação que as ameaças podem se manifestar por meio de armas biológicas habilitadas por IA ou ciberguerras. Como primeiro passo, ele recomenda que a OpenAI e a Anthropic coordenem esforços para limitar o aprimoramento recursivo automático — o termo do setor para quando a IA é utilizada para construir novos sistemas de inteligência artificial. A longo prazo, ele acredita que será necessária uma coordenação entre grandes potências mundiais, incluindo Estados Unidos e China.
Coxon observou que incidentes como o ataque à plataforma Hugging Face influenciaram sua decisão de levantar o alarme sobre a corrida da IA. Ele também menciona o crescimento explosivo do setor: a indústria agora financia uma parcela significativa do crescimento econômico dos Estados Unidos, possui bilhões de usuários, enquanto os centros de processamento de dados transformaram o tema em um problema político em dezenas de estados.
Ele afirma que, em sua experiência, a Anthropic opera de forma mais responsável que a OpenAI, mas espera que ambas as empresas possam tomar atalhos no futuro se nada for feito para desacelerar sua disputa pela liderança.
"Sempre fomos transparentes de que a IA trará benefícios enormes e riscos sem precedentes", afirmou um porta-voz da Anthropic em comunicado à Wired, citando o trabalho anterior da empresa em métodos de segurança como a interpretabilidade mecanicista. "Este trabalho também é a razão pela qual acreditamos que o mundo se beneficiaria se o setor adotasse uma forma legal e verificável de colaborar para controlar o ritmo de lançamento de modelos poderosos." A OpenAI não respondeu aos pedidos de comentário da Wired.
Questionado sobre o porquê de sua mensagem ter se destacado, Coxon explicou que se trata principalmente de uma questão de timing. "Muitas pessoas estão percebendo que o ritmo das capacidades está aumentando. Já estamos passando de humano para super-humano em várias áreas, como programação, invasão de sistemas, matemática, e as pessoas estão cientes disso."
Ele também destacou os recentes incidentes de segurança como fatores determinantes. "Há dois anos, uma avaliação de IA seria basicamente rodar um modelo em algumas questões de matemática. Agora temos casos em que, durante a avaliação, a IA funciona por dias, cria várias ideias próprias e decide invadir alguma infraestrutura de terceiros, comprometendo seus sistemas. Parece que faz isso por vontade própria, sem nenhum estímulo humano. Isso simplesmente aconteceu durante um teste."
Sobre o ataque à plataforma Hugging Face, Coxon expressou que não quer se concentrar demais nesse incidente específico, pois há muitas evidências de que ainda não sabemos como alinhar modelos adequadamente. "Quando treinamos modelos, os submetemos a esses ambientes de treinamento e esperamos que o resultado se comporte de forma sensata, mas ainda não conseguimos controlar precisamente como a IA vai agir."
Questionado sobre a conexão entre o problema de alinhamento e a afirmação de que a inteligência artificial pode eliminar a humanidade até o final da década, Coxon ofereceu uma analogia provocadora. "Imagine você contra um macaco. A IA tem a mesma diferença de inteligência em relação a um humano que nós temos em relação a um macaco. Agora imagine que precisamos controlar o comportamento dessa coisa infinitamente mais inteligente. Se o alinhamento der errado, será bastante direto para algo tão inteligente eliminar todos."
Coxon também falou sobre sua visão interna na Anthropic. "A Anthropic é, de longe, a empresa mais responsável neste campo. Depois de trabalhar tanto na OpenAI quanto na Anthropic, há uma diferença absoluta na seriedade com que cada uma trata a situação." Ele descreveu a Anthropic como operando com uma mentalidade de "projeto Manhattan em escala reduzida", onde todos tratam o assunto com extrema seriedade.
No entanto, Coxon alertou que nenhuma empresa privada deveria ser confiada para conduzir esse tipo de projeto. "A Anthropic está fazendo o seu melhor e fazendo um trabalho muito bom, mas a necessidade estrutural da corrida significa que, no futuro, elas terão que tomar atalhos entre rigor e segurança, porque estão competindo contra rivais como a OpenAI e empresas chinesas."
Sobre o que pode ser feito, Coxon sugere passos práticos. "Um primeiro passo seria algum tipo de acordo entre a OpenAI e a Anthropic, como principais laboratórios ocidentais. Eles precisariam de um entendimento neutro de que não entrarão imediatamente no aprimoramento recursivo automático no próximo ano." Ele também defende um acordo internacional que pode exigir uma instituição internacional semelhante ao CERN.
Apesar dos avisos sombrios, Coxon manteve uma nota de esperança. "Realmente quero ver os benefícios dessa tecnologia. Não é exagero dizer que poderíamos curar o câncer. Parece que estamos na porta de uma abundância ridícula se conseguirmos fazer essa tecnologia dar certo. A questão principal agora é entrar nesse mundo de abundância com moderação."
Fonte: Feed: All Latest
