A geração de código está se tornando uma das aplicações mais populares para modelos de linguagem de grande escala, mas nem todos os agentes de inteligência artificial são igualmente eficientes em todas as tarefas de desenvolvimento. Para avaliar o desempenho dessas tecnologias no desenvolvimento de aplicativos para Android, o Google criou um benchmark no início deste ano, e essa ferramenta está recebendo uma grande atualização nesta semana.
O ranking agora inclui diversos modelos novos, e a empresa adotou uma nova estrutura que deve ser mais simples de utilizar. Desenvolvedores são convidados a executar seus próprios testes e enviar comentários que podem moldar o futuro do Android Bench.
Embora sejam ferramentas de programação muito populares, os modelos de linguagem não acertam sempre. Separar as saídas úteis dos resultados de baixa qualidade significa escolher a ferramenta certa. O Android Bench tem como objetivo demonstrar quais agentes de inteligência artificial têm o melhor desempenho em um conjunto de cem tarefas de desenvolvimento para Android.
Após lançar o Android Bench em março, o Google adicionou métricas como custo e eficiência, além de modelos de código aberto. Para manter a relevância do benchmark, a empresa está atualizando o teste com oito modelos novos, incluindo todos os principais lançamentos recentes: Claude Fable 5, Claude Sonnet 5, Claude Opus 4.8, GLM 5.2, Kimi K2.7 Code, MiniMax M3, Qwen 3.7 Plus e Qwen 3.7 Max.
Fonte: Ars Technica
