Início Tecnologia Google atualiza ferramenta de avaliação para IA com novos modelos de linguagem
Tecnologia

Google atualiza ferramenta de avaliação para IA com novos modelos de linguagem

Share
Fonte: Ars Technica
Share

A geração de código está se tornando uma das aplicações mais populares para modelos de linguagem de grande escala, mas nem todos os agentes de inteligência artificial são igualmente eficientes em todas as tarefas de desenvolvimento. Para avaliar o desempenho dessas tecnologias no desenvolvimento de aplicativos para Android, o Google criou um benchmark no início deste ano, e essa ferramenta está recebendo uma grande atualização nesta semana.

O ranking agora inclui diversos modelos novos, e a empresa adotou uma nova estrutura que deve ser mais simples de utilizar. Desenvolvedores são convidados a executar seus próprios testes e enviar comentários que podem moldar o futuro do Android Bench.

Embora sejam ferramentas de programação muito populares, os modelos de linguagem não acertam sempre. Separar as saídas úteis dos resultados de baixa qualidade significa escolher a ferramenta certa. O Android Bench tem como objetivo demonstrar quais agentes de inteligência artificial têm o melhor desempenho em um conjunto de cem tarefas de desenvolvimento para Android.

Após lançar o Android Bench em março, o Google adicionou métricas como custo e eficiência, além de modelos de código aberto. Para manter a relevância do benchmark, a empresa está atualizando o teste com oito modelos novos, incluindo todos os principais lançamentos recentes: Claude Fable 5, Claude Sonnet 5, Claude Opus 4.8, GLM 5.2, Kimi K2.7 Code, MiniMax M3, Qwen 3.7 Plus e Qwen 3.7 Max.

Fonte: Ars Technica

Share
Artigos relacionados
Tecnologia

Bloqueio de celulares em prisões também interfere em comunicações lícitas

Uma tecnologia destinada a silenciar celulares contrabandeados nas prisões foi autorizada pela...

Tecnologia

Duas telas não fazem um telefone melhor: o resultado do teste com o Xiaomi 18 Pro

Os modelos Xiaomi 18 Pro e 18 Pro Max equipped oyer uma...

Tecnologia

ONU encerra negociações sem acordo sobre regras para ‘robôs assassinos’

Diplomatas reunidos em Genebra nesta semana tentaram avançar na criação de regras...

Tecnologia

Signal limita capturas de tela para proteger conversas privadas de agentes de inteligência artificial

O Signal, aplicativo de mensagens criptografadas, anunciou que restringirá por padrão as...