Existe uma pergunta que aparece em praticamente toda conversa de uma empresa que começa a adotar inteligência artificial: qual é o melhor modelo? A pergunta parece objetiva, mas talvez esteja errada.
A cada novo lançamento, surgem rankings, benchmarks e comparações de performance. Empresas acompanham capacidade de raciocínio, velocidade e preço por token para decidir qual tecnologia adotar. O problema é que essas métricas dizem muito sobre o modelo e pouco sobre a operação.
Uma empresa não deveria escolher um modelo de linguagem apenas por seu desempenho em um benchmark. Ela precisa colocá-lo diante dos seus clientes, sistemas, processos e decisões que precisam funcionar no mundo real. É nesse momento que a hierarquia pode mudar.
Para testar essa hipótese, foram avaliados oito modelos de linguagem em condições equivalentes, utilizando os mesmos fluxos de atendimento e os mesmos critérios de avaliação. Os testes consideraram não apenas a qualidade das respostas, mas também a capacidade de escolher e utilizar corretamente ferramentas, concluir as tarefas propostas, controlar alucinações, além de métricas operacionais como custo e latência. O Score Final consolida o desempenho nos critérios definidos para a avaliação, enquanto o Pass Rate representa a proporção de execuções aprovadas.
O resultado mostra por que não basta olhar para uma única métrica. O GPT-5.4 mini apresentou o melhor desempenho geral, com Score Final de 86,4% e Pass Rate de 92,5%. Já o GPT-5.4 nano alcançou 73,3% de Pass Rate, mas apresentou o menor custo e a menor latência entre os candidatos.
O teste também evidenciou uma diferença significativa de custo entre os modelos. Na estimativa realizada, uma sessão com o GPT-5.4 mini custou aproximadamente US$ 0,093, enquanto o GPT-5.4 nano ficou em US$ 0,017 — uma diferença de mais de cinco vezes. Esse resultado reforça o ponto central da avaliação: qual é melhor? A resposta depende da operação.
Se uma falha pode gerar retrabalho ou comprometer uma etapa importante da experiência do cliente, pagar mais por uma taxa maior de resolução pode fazer sentido. Em aplicações de alto volume, nas quais custo e velocidade são determinantes, um modelo mais enxuto pode ser mais adequado.
“Melhor”, portanto, não é uma característica absoluta de um modelo. É uma relação entre o modelo e a tarefa que ele precisa executar.
O custo real não está no token
O debate sobre custo costuma começar e terminar no preço por token. Mas agentes de IA não apenas geram texto. Eles interpretam contexto, tomam decisões, acionam ferramentas e avançam por diferentes etapas até concluir uma tarefa. Um modelo pode ser barato por chamada e caro por resolução se falhar com mais frequência ou exigir mais ciclos para concluir o trabalho.
Por isso, a métrica que interessa ao negócio deveria ser menos “quanto custa um atendimento real de cliente?” e mais “quanto custa resolver uma tarefa?” Essa mudança aproxima a discussão tecnológica da realidade financeira da empresa.
Uma boa resposta não significa uma boa decisão
Há ainda uma diferença importante entre responder e executar. Em uma operação de atendimento, um agente pode precisar consultar uma base, registrar uma ocorrência ou encaminhar uma solicitação. Uma resposta bem escrita não compensa a escolha da ferramenta errada.
Nos testes, a escolha incorreta de ferramentas aparece como um dos principais motivos de falha. Modelos diferentes apresentaram comportamentos distintos justamente quando precisavam decidir qual ação executar, e não apenas produzir texto. Isso muda a maneira como deveríamos avaliar agentes.
A inteligência de um sistema não está apenas na qualidade do que ele diz, mas também na qualidade do que decide fazer. E existe uma terceira dimensão: segurança. Alguns modelos apresentaram Scores Finais superiores a 79% e Pass Rates competitivas, mas foram reprovados porque ultrapassaram o limite de alucinação definido na avaliação.
Isso traz uma lição importante: determinados critérios não deveriam ser compensados por uma boa média. Se uma operação exige um nível específico de segurança, ultrapassar esse limite não deveria ser “compensado” por maior velocidade ou menor custo. Para aplicações críticas, a segurança precisa funcionar como um filtro.
O benchmark mais importante é o da própria operação
Benchmarks públicos continuarão sendo úteis. Eles ajudam a comparar capacidades gerais e fazer uma primeira seleção. Mas a decisão final precisa acontecer diante do problema que a empresa realmente quer resolver.
Isso significa medir taxa de conclusão, uso correto de ferramentas, custo por resolução, latência, intervenção humana e taxa de erro. E medir mais de uma vez.
Modelos de linguagem são probabilísticos. Uma única execução não necessariamente representa seu comportamento. Na avaliação, alguns modelos alternam entre aprovação e reprovação em diferentes rodadas, enquanto outros apresentaram padrões de falha mais consistentes.
A consequência é direta: a avaliação de IA tende a deixar de ser um teste pontual para se tornar um processo contínuo. No fim, talvez a pergunta mais importante para as empresas não seja “qual é a melhor IA?”, mas sim “Qual IA é boa o suficiente para esta tarefa, dentro do custo que o negócio suporta e do nível de risco que está disposto a assumir, e como podemos provar isso antes de colocá-la em produção?”.
