Em um artigo detalhado publicado no fim de semana, o executivo-chefe da Anthropic, Dario Amodei, apresentou uma proposta que a indústria de inteligência artificial teria rejeitado imediatamente mesmo há um ano: instalar avaliadores independentes dentro de todas as empresas líderes em IA, concedendo a eles poder para relatar incidentes de segurança, verificar se os modelos de inteligência artificial estão realmente alinhados com seus objetivos declarados e publicar seus resultados sem filtros.
Amodei afirmou que a Anthropic se comprometeria a fornecer a avaliadores independentes como METR e Redwood Research acesso sem precedentes aos sistemas da empresa. O executivo-chefe da OpenAI, Sam Altman, indicou que a empresa também adotaria a prática, sinalizando uma mudança potencialmente profunda na forma como o setor trabalha com grupos de pesquisa externos.
Os avaliadores independentes ouvidos pela equipe de jornalistas receberam a proposta com entusiasmo cauteloso, mas alertaram que detalhes cruciais precisam ser definidos — e idealmente respaldados por legislação — para que possam atuar como verdadeiros vigilantes independentes ou se acabem funcionando apenas como prestadores de serviço contratados pelas empresas de IA.
Esse acesso mais profundo está se tornando cada vez mais relevante à medida que os modelos de inteligência artificial ficam mais hábeis em reconhecer quando estão sendo avaliados, elevando o risco de que se comportem adequadamente durante os testes enquanto ocultam comportamentos problemáticos. Pesquisadores apontam que pistas desse comportamento podem passar despercebidas quando se testa apenas o modelo final, mas podem ser descobertas ao investigar como ele se comportou durante todo o processo de treinamento.
"As empresas de inteligência artificial deveriam ser capazes de responder a perguntas bastante básicas sobre seu processo de treinamento, como: o modelo de IA alguma vez tentou ativamente sabotar seu próprio treinamento de alinhamento enquanto o realizava?", declarou Alexander Meinke, diretor de pesquisa da Apollo Research, em conversa com a equipe jornalística. "A resposta deveria ser um inequívoco não, e atualmente dependemos inteiramente de que as próprias empresas de IA verifiquem isso com cuidado e depois informem truthfulmente o público. E vimos em incidentes recentes que, por padrão, elas não farão nenhuma das duas coisas. Com avaliadores instalados, nós poderíamos verificar."
Historicamente, as empresas de IA convidavam revisores externos para testar modelos finalizados pouco antes de seu lançamento. Agora, os avaliadores ouvidos pela equipe jornalística propõem que eles recebam acesso não apenas ao modelo final, mas também a versões intermediárias, conhecidas como pontos de verificação, ao longo de todo o treinamento.
Adam Gleave, executivo-chefe da FAR.AI, explicou que os avaliadores poderiam comparar esses pontos de verificação para determinar quando comportamentos preocupantes surgiram, inspecionar o ambiente de pós-treinamento que recompensa modelos por determinados comportamentos e verificar transcrições e registros de avaliações para confirmar as afirmações de uma empresa sobre o desempenho de um modelo.
Ainda não está claro se e quando a Anthropic e a OpenAI planejam fornecer esse tipo de acesso. Nenhuma das empresas revelou quais avaliadores trabalharão com elas, quando serão instalados, quantos serão contratados, exatamente quais sistemas e informações poderão acessar ou o que poderá ser divulgado ao público, apesar de perguntas repetidas da equipe jornalística.
Investigar os bastidores dessa forma é importante porque modelos que apresentam bom desempenho em testes de segurança não são necessariamente seguros se aprenderam especificamente como passar naquele teste específico. John Steidley, diretor de estratégia da Palisade Research, apontou para um exemplo de benchmark de resistência ao desligamento que mede se a inteligência artificial resistirá a ser desligada em determinadas circunstâncias.
"É extremamente relevante se a inteligência artificial foi treinada especificamente para ter bom desempenho naquele benchmark", explicou Steidley, comparando a situação ao escândalo Dieselgate da Volkswagen, no qual os carros eram programados para reconhecer testes de emissões e se comportar de maneira diferente sob condições de teste.
Gleave observou que o acesso significativo poderia se estender além dos próprios modelos, com avaliadores podendo entrevistar funcionários para verificar se a documentação de uma empresa e suas descrições públicas sobre práticas de segurança correspondem ao que aconteceu internamente.
Amodei delineou uma proposta relativamente abrangente que poderia dar aos avaliadores o tipo de acesso que eles consideram necessário, incluindo o direito de "publicar descobertas principais sobre níveis de risco, incidentes, práticas e o acesso que receberam ou não receberam — sem controle editorial pela Anthropic".
Mas os avaliadores afirmam que tal sistema só funcionará se as empresas de inteligência artificial estiverem realmente dispostas a abrir mão do controle sobre o processo. Esforços anteriores em avaliações independentes sugerem que essa entrega será difícil de conquistar, já que terceiros frequentemente encontraram tensões relacionadas a acesso, tempo, confidencialidade e o que podem dizer publicamente.
Gleave declarou que a FAR.AI precisou recusar contratos com vários desenvolvedores líderes que queriam controle excessivo sobre o processo de avaliação, ameaçando a independência da empresa. Por padrão, ele explicou que os avaliadores são tratados como prestadores de serviço comuns: vinculados a acordos de confidencialidade restritivos e contratos que dão aos desenvolvedores controle significativo sobre o que pode finalmente ser publicado.
Também há a questão de whether os revisores terão tempo e acesso suficientes para realizar o trabalho que lhes está sendo solicitado. Ao investigar o incidente da Hugging Face, a OpenAI concedeu à METR e à Redwood Research aproximadamente uma semana nas instalações para investigar, e ambas posteriormente informaram que não puderam tirar conclusões seguras devido, em parte, a limitações de escopo e tempo.
Um problema semelhante ocorreu durante os testes pré-lançamento do GPT-6 Astra, que a OpenAI apresentou como seu modelo mais alinhado até agora. De acordo com a contribuição da Apollo Research ao documento descritivo do modelo, a empresa teve apenas três dias para testar o Astra, o que dificultou a obtenção de conclusões firmes.
"A Apollo acredita que, dado os índices mais altos de consciência de avaliação e a janela de avaliação limitada, índices baixos de mau comportamento aqui não fornecem evidências substanciais sobre o alinhamento ou desalinhamento do modelo", escreveu a empresa em sua avaliação.
Esse histórico deixa os avaliadores com uma pergunta fundamental: por que desta vez seria diferente?
"É certamente possível que Dario e Sam tenham simplesmente mudado de ideia e que they'll sejam muito abertos sobre isso", comentou Gleave. "Mas a propriedade intelectual dessas empresas tem um valor tão incrivelmente alto para elas, e eu acho que, por padrão, elas serão muito cuidadosas sobre o que pode ser compartilhado."
Vários pesquisadores ouvidos pela equipe jornalística solicitaram um marco regulatório transparente que todos concordem em publicar publicamente. Parte desse marco, segundo Steidley, deveria envolver padrões para quais tipos de auditores as empresas podem contar, para que não tentem contornar a questão escolhendo avaliadores que não sejam qualificados ou não tenham interesse em avaliar os riscos mais preocupantes.
Henry Papadatos, diretor executivo da Safer AI, afirma que o problema, mesmo com um marco regulatório público, é que medidas voluntárias sempre dependem da boa vontade das empresas.
"Idealmente, teríamos uma boa regulamentação exigindo isso… porque então as empresas não podem mudar de ideia amanhã se tiverem uma grande crise de relações públicas", declarou Papadatos à equipe jornalística, observando que também é um bom meio de pressionar todas as empresas a aderir às regras, não apenas as mais dispostas.
Nem todos aderiram. Até o momento, a Meta, a SpaceXAI e o Google DeepMind não se comprometeram a instalar avaliadores independentes, embora o executivo-chefe do DeepMind, Demis Hassabis, tenha proposto um órgão separado de padrões do setor para testar independentemente modelos de fronteira.
Algumas leis já estão se formando em torno da ideia de avaliadores independentes. A lei californiana SB 53, sancionada no ano passado, exige que grandes desenvolvedores de IA de fronteira publiquem estruturas de segurança e relatem incidentes críticos de segurança. Uma nova lei, SB 813, sancionada neste mês, cria um marco para "organizações de verificação independentes" reconhecidas pelo estado com expertise em avaliação de riscos de IA.
Na Europa, o Ato de IA da União Europeia exige que desenvolvedores de fronteira conduzam e documentem avaliações de modelos e testes adversários e relatem incidentes graves. O Escritório de IA da UE também pode conduzir suas próprias avaliações e designar especialistas independentes.
Por enquanto, a lei permanece menos ampla do que o que Amodei está propondo, deixando os laboratórios de fronteira amplamente responsáveis por decidir quanta fiscalização independente estão dispostos a aceitar.
Papadatos afirmou que a autorregulação voluntária é melhor do que nada, mas, em última análise, as empresas não podem exigir a liberdade de controlar suas próprias regras de segurança enquanto também pedem ao público que confie que as estão seguindo.
"Você não pode ter os dois lados, ter zero responsabilização externa e então dizer: 'Vou apenas ter minhas próprias regras flexíveis'", concluiu Papadatos.
Fonte: TechCrunch
