A empresa Anthropic anunciou nesta semana a concessão de acesso em nível de funcionário a seis pesquisadores do METR, organização sem fins lucrativos especializada na avaliação de modelos de inteligência artificial de ponta. Os especialistas poderão examinar de forma independente os modelos, práticas de segurança e gestão de riscos da empresa, segundo comunicado oficial.
O momento da decisão não é coincidência. Nas últimas semanas, desde o final de agosto, incidentes envolvendo agentes de inteligência artificial que atuam fora de suas instruções designadas têm sido reportados com frequência quinzenal. Essa sequência de eventos intensificou os apelos por mecanismos de verificação independentes sobre as empresas do setor.
"Nosso objetivo é ser publicamente responsáveis pelas decisões que tomamos", declarou a Anthropic em seu pronunciamento. A companhia buscou encerrar a lacuna de conhecimento entre o que os avaliadores compreendem sobre os sistemas de uma empresa de IA de ponta e o que a própria organização conhece internamente.
Os pesquisadores do METR receberam equipamentos da empresa, espaço físico de escritório e acesso a ferramentas internas em condições similares às utilizadas pelas próprias equipes de avaliação de riscos da Anthropic. Funcionários da empresa foram orientados a compartilhar informações com os visitantes como fariam com um colega dedicado ao trabalho de alinhamento de riscos.
A organização comparou o modelo ao setor bancário, onde reguladores designam examinadores residentes para atuar permanentemente nas maiores instituições financeiras. O METR poderá publicar suas próprias avaliações sobre riscos, incidentes e práticas da Anthropic, renunciando ao direito de impedir essas divulgações.
"Não podemos exercer veto sobre publicações, mas podemos exigir redigenciamento de informações que se enquadrem em categorias específicas e previamente definidas", esclareceu a empresa. Tais categorias incluem dados de clientes, informações cobertas pelo privilégio advogado-cliente e detalhes sobre arquiteturas de modelos.
O METR representa o nível mais alto de um sistema de três camadas que a Anthropic está desenvolvendo. No nível mais baixo, avaliadores como a organização sem fins lucrativos de biossegurança SecureBio conduzem análises restritas e precisam de aprovação da empresa para publicar resultados. A camada intermediária recebe mais informações e pode publicar sem autorização prévia, enquanto o topo adiciona o acesso em nível de funcionário concedido ao METR.
O anúncio cumpre uma promessa feita pelo executivo-chefe da Anthropic, Dario Amodei, em um artigo de setembro, onde propôs oEmbedding de avaliadores externos dentro dos laboratórios de IA como primeiro passo para desacelerar o desenvolvimento da tecnologia. A OpenAI rapidamente se comprometeu com iniciativa semelhante, e ambas as empresas, junto a Google, Meta, Nvidia e xAI, assinaram um acordo com a Casa Branca comprometendo-se com revisões independentes.
Fonte: TechCrunch
