O problema das alucinações em modelos de linguagem se mostroupersistently difícil de resolver, mesmo nos modelos mais inteligentes disponíveis atualmente. A Probably, que acabou de levantar 9 milhões de dólares em financiamento seed da Andreessen Horowitz, está tentando mudar esse cenário.
Fundada por Peter Elias, a empresa tem como objetivo principal evitar que alucinações e erros factuais simples cheguem ao usuário final. A meta ambiciosa é alcançar um nível de precisão de 99,99%, que é comum em sistemas determinísticos tradicionais, mas muito mais difícil de atingir quando se trata de inteligência artificial.
Segundo Elias, alcançar esse nível de precisão exige repensar muitas das premissas básicas da engenharia de IA. O primeiro produto da Probably é uma ferramenta de ciência de dados, desenvolvida para produzir respostas rápidas a partir de conjuntos de dados complexos. Cada resultado acompanha uma citação e uma trilha de auditoria mostrando como foi desenvolvido.
Para evitar que erros se infiltrem nos resumos, a empresa desenvolveu um sistema elaborado que Elias descreve como uma "roupa de mecânico de ciência de dados". As respostas iniciais do modelo de linguagem são verificadas contra um sistema validador determinístico, que devolve qualquer resultado que não corresponda ao conjunto de dados.
O modelo foi treinado especificamente contra o validador, e todo o sistema foi otimizado para respostas rápidas e precisas. "O que aprendemos ao construir isso é que quanto melhor é a engenharia do seu sistema de validação, mais fraco pode ser o modelo", explica Elias. "Se você pode refinar o contexto o suficiente, o modelo não precisa trabalhar muito para fazer a coisa certa. Basicamente, é um exercício de redução de ambiguidade."
Essa abordagem permite que a ferramenta de ciência de dados da Probably rode em modelos de IA significativamente menores. Elias afirma que a versão atual está rodando em um modelo que é "quatro classes mais fraco que os modelos de ponta", o que significa que pode ser executado em hardware local, como um computador desktop, em vez de um centro de dados, reduzindo significativamente os custos associados ao uso de IA.
Essa ideia chega em um momento oportuno, quando os custos de tokens estão aumentando e muitos clientes estão reavaliando seus orçamentos para inteligência artificial. E a ideia de Elias não termina com ciência de dados, pois o mesmo mecanismo pode ser estendido para cobrir casos de uso como contabilidade ou serviços médicos — qualquer aplicação que exija precisão.
"Acho muito interessante que os grandes laboratórios de IA nem siquiera tentaram fazer isso", diz Elias. "Eles são incentivados a não fazê-lo, porque ganham dinheiro toda vez que você precisa corrigir o modelo."
Fonte: TechCrunch
