A prática de avaliar sistemas de inteligência artificial tornou-se o padrão da indústria para validar as capacidades dos modelos e, quando os resultados favorecem as empresas, destacar-se da concorrência e divulgar sua superioridade. Em outras palavras, boas avaliações praticamente sempre significam boa repercussão pública. No entanto, as empresas também descobriram como driblar os sistemas tradicionais de avaliação, muitos dos quais são ultrapassados e não foram projetados para medir as capacidades dos modelos modernos.
Vals, uma startup fundada em 2024, afirma estar em uma missão para corrigir esse sistema imperfeito. Em menos de dois anos, a empresa se estabeleceu como uma presença notável no setor de tecnologia e, no ano passado, conseguiu garantir uma rodada de investimento inicial liderada por 8VC e Bloomberg Beta. Depois, no mês passado, após um período de crescimento acelerado, captou 40 milhões de dólares em uma rodada série A liderada por Andreessen Horowitz.
Rayan Krishnan, co-fundador da empresa aos 25 anos, anteriormente estagiou na Palantir e, como estudante de graduação na Universidade Stanford, trabalhou para a Microsoft e para o renomado laboratório de inteligência artificial da instituição. Krishnan afirma que a Vals nasceu de suas próprias observações sobre como a avaliação estava ficando defasada em relação aos avanços da indústria que deveria medir.
"Estávamos vendo diversos modelos novos e muito capazes chegarem ao mercado rapidamente, e as avaliações acadêmicas não acompanhavam esse avanço da fronteira tecnológica", compartilha Krishnan. Com a inteligência artificial sendo integrada em todas as esferas da sociedade, as avaliações deveriam verificar se os modelos podem fazer o que as empresas afirmam que podem fazer.
Na semana passada, o jovem fundador mostrou as instalações da empresa, que ocupa dois andares de um prédio de tijolos na Rua Folsom, em São Francisco — um edifício antigo que, há um século, abrigava uma grande cervejaria. Em vez de produção industrial de cerveja, a estrutura histórica agora abriga diversas startups que buscam construir o futuro do setor de tecnologia.
"Historicamente, acho que a avaliação tem sido feita para medir a inteligência de uma forma muito abstrata", conta Krishnan. "Como, por exemplo, verificar se os modelos sabem informações suficientes para passar em um exame similar ao da ordem dos advogados?" É nesse ponto que a Vals busca se diferenciar. Enquanto muitos sistemas de avaliação oferecem testes publicamente disponíveis — o que pode permitir que uma empresa treine seu modelo especificamente para esses testes, burlando essencialmente o exame —, a Vals não divulga publicamente seus materiais de teste específicos.
Além de medir o conhecimento geral de um modelo de inteligência artificial, a Vals também avalia a capacidade dos modelos de realizar tarefas complexas associadas a setores específicos como jurídico, finanças e programação. "O que estamos fazendo é realmente olhar para os impactos reais dos modelos. Eles podem fazer um trabalho que produza um resultado da mesma qualidade que um humano em cada domínio?", disse Krishnan.
A ideia é verificar não apenas os resultados positivos, mas também os negativos. A esperança é analisar quais seriam as implicações negativas "se esses modelos fossem usados sem controle no mundo". As capacidades que a Vals mede estão em expansão. Além dos setores mais tradicionais, a startup continua avançando para territórios mais únicos.
"Temos uma avaliação sobre melhoria recursiva autorreferenciada. Estamos fazendo trabalho em saúde mental, cibersegurança, biossegurança e até direito dos conflitos armados para modelos entenderem como aplicar a Convenção de Genebra", compartilha Krishnan.
As empresas pagam a Vals para testar seus modelos, o que pode ser um conceito estranho à primeira vista. Por que uma empresa pagaria para descobrir que seu modelo não está funcionando bem? No entanto, ter uma medição eficaz ajuda as empresas a solucionar problemas e melhorar ao longo do tempo. Krishnan compara seu modelo de receita com a forma como um estudante pode pagar ao College Board para fazer o SAT.
Por sua vez, essas avaliações estão se tornando fatores-chave na tomada de decisões para empresas que buscam adquirir novos modelos de inteligência artificial. A startup revelou recentemente que sua receita atual é oito vezes maior que a do ano passado. A equipe também está crescendo. A Vals, que começou o ano com apenas oito pessoas, já triplicou para uma equipe de 25. Krishnan afirmou que, à medida que a startup cresce, o plano é se mudar para um escritório significativamente maior, além de contratar mais 10 a 15 pessoas.
A empresa também lançou recentemente um programa focado em fornecer avaliações de modelos para agências federais. Krishnan vê o sistema de avaliação de sua empresa como o futuro de como as empresas de inteligência artificial pensam sobre o crescimento de seus negócios e o estabelecimento de confiança pública.
"As empresas de inteligência artificial estão começando a abrir capital. A SpaceX abriu capital. A Anthropic está prevista para este ano. Suspeito que a OpenAI será pública em breve. Acho que, à medida que os modelos de inteligência artificial se tornam parte central da economia e são difundidos mais amplamente, os tipos de avaliações e verificações que fazemos vão impulsionar seu uso e se tornar parte central de como essas empresas apresentam registros públicos ou falam sobre os investimentos prospectivos que vão fazer em inteligência artificial", disse ele.
Fonte: TechCrunch
