A OpenAI anunciou nesta quinta-feira a disponibilização ampla de sua API de Decisões para todos os usuários, marcando sua entrada definitiva no mercado de modelos decisórios de alta velocidade e baixo custo. A movimentação ocorre após o sucesso estrondoso da TypeSafe, empresa fundada por um ex-pesquisador de laboratórios de fronteira em inteligência artificial, que atingiu avaliação de 7,6 bilhões de dólares com seu modelo Jev.
Os modelos decisórios, também chamados de modelos Sistema Um, funcionam como classificadores avançados capazes de analisar um conjunto de opções e tomar decisões rápidas accompaniedas de níveis de confiança. Desenvolvedores de software descobriram rapidamente que esses modelos podem substituir os grandes modelos de linguagem em diversos fluxos de trabalho, oferecendo respostas muito mais ágeis e com custo significativamente menor.
Nikunj Handa, diretor de produtos das APIs da OpenAI, revelou que ao conhecer o Jev, a equipe ficou impressionada. "Vimos o Jev e pensamos: temos pelo menos um milhão de casos de uso para isso", declarou ao portal especializado. O equipo então trabalhou rapidamente para desenvolver uma versão própria, optando por reconfigurar o ChatGPT Luna para acelerar o processamento e reduzir custos, em vez de construir um modelo especificamente calibrado para decisões.
O resultado foi uma melhoria dramática na velocidade. Segundo Handa, a grande inovação da API de Decisões está justamente na velocidade, reduzindo o tempo de resposta de um a três segundos para impressionantes 100 a 180 milissegundos. Ele adiantou que a empresa pretende continuar aprimorando o modelo com treinamento específico no futuro.
A ferramenta foi anunciada durante o dia do desenvolvedor da empresa em 29 de setembro e ficou disponível para todos os clientes nesta semana. A versão pública inclui novas modalidades de voz e visão, além de otimização de latência em diferentes regiões do mundo por meio de distribuição geográfica dos recursos de processamento.
Nos testes iniciais com clientes como Box, Datadog, Ramp e Speak, engenheiros utilizaram a API para substituir os grandes modelos de linguagem da empresa por maior capacidade de processamento. Andrew Hsu, diretor de tecnologia da Speak, que desenvolve tutores de idiomas por inteligência artificial, informou que a API permitiu reduzir o tempo entre ações de 1,4 segundos para apenas 0,13 segundo. A própria OpenAI empregou o produto para melhorar a capacidade de resposta de seu assistente de voz Dots.
No cenário de benchmarks, o mercado permanece competitivo. O modelo D1 Ultra, lançado recentemente pela Liquid, e o Elephant-1, da Base Lab, lideram rankings como o AIM System One Index e o Artificial Analysis Decision Index. O modelo Jev mais recente da TypeSafe ocupa respectivamente a sétima e terceira posições, enquanto o modelo decisório da OpenAI ficou em oitavo e décimo quarto lugar. Apesar disso, as ofertas da TypeSafe são atualmente as mais consultadas na plataforma OpenRouter.
Um dos benchmarks mais curiosos é o JevMan, que avalia modelos decisórios em partidas de Pac-Man. O último modelo Jev domina esse ranking específico. Felix Wunderlich, diretor de crescimento da Opper AI, criadora do teste, explicou que o jogo clássico representa um desafio interessante devido ao fluxo contínuo de decisões rápidas e de alto risco. "Em cada cruzamento, o modelo deve decidir para onde ir em algumas centenas de milissegundos", completou.
O diretor de produtos da OpenAI enxerga possibilidades ainda mais amplas com o aumento da velocidade. "Conseguiremos chegar a algo como 60 milissegundos? Aí poderíamos imaginar uma chamada de API para cada quadro de um vídeo", ejemplificou. Enquanto isso, Diogo Almeida, executivo-chefe da TypeSafe, mantém ceticismo quanto aos benchmarks e recomenda que os usuários testem os modelos em seus próprios trabalhos.
A competição neste segmento promete intensificar-se conforme as tecnologias ficam mais rápidas e acessíveis, potencialmente cumpliendo a profecia de Jev, economista que explicou como o uso mais eficiente de um recurso o torna mais ubiquitous. Na visão de Handa, haverá uma expansão de "uma quantidade absurda de casos de uso" que permaneciam ocultos até serem revelados pelos modelos decisórios.
Fonte: TechCrunch
