Cofundador da Vetto AI propõe evals como métrica central para agentes de IA nas empresas

Da pergunta de adoção para a pergunta de execução

Em coluna publicada no Brazil Journal em 29 de outubro de 2026, patrocinada pelo Banco Safra, Lucas Smaira argumenta que a métrica mais comum sobre IA nas empresas, quantas pessoas usam, já não serve para medir o estágio real de maturidade. Smaira é cofundador da Vetto AI, ex-pesquisador do Google DeepMind e integrou a equipe fundadora da Mistral AI.

A pergunta que caberia agora, segundo o texto, é quanto trabalho a IA consegue executar de ponta a ponta, com autonomia, qualidade mensurável e retorno econômico claro. Para ilustrar, ele compara um chatbot que informa a política de devolução de um produto com um agente que localiza o pedido, consulta a política, emite a etiqueta, acompanha o retorno ao estoque e dispara o reembolso sozinho.

No primeiro caso a IA ajuda uma pessoa a trabalhar; no segundo, ela executa parte do trabalho. Essa diferença, escreve Smaira, separa duas fases distintas de adoção corporativa de IA. É o tipo de salto ainda raro no mercado brasileiro, onde a maioria dos chatbots resolve dúvidas, mas poucos agentes operam uma transação completa sem intervenção humana.

Três fases, uma corrida desigual

O texto descreve a evolução da adoção de IA nas empresas em três fases:

Segundo o autor, ainda não existe agente capaz de se reescrever indefinidamente sem supervisão humana, mas a direção do mercado aponta para lá. Enquanto a maior parte das empresas brasileiras ainda tenta consolidar a segunda fase, os laboratórios de ponta já testam a terceira.

O gargalo deixou de ser o modelo

Smaira relata que, em conversas com grandes empresas brasileiras, o acesso a bons modelos deixou de ser o principal obstáculo. O problema passou a ser administrar agentes já em produção: uma empresa pode ter dezenas deles rodando sem saber quais geram valor, quanto custam ou onde falham.

Essa proliferação, escreve, cria uma falsa sensação de avanço. O gargalo real é confiança: errar ocasionalmente pode ser tolerável para um agente que resume uma reunião, mas é outra história quando ele altera um pedido, aprova uma transação ou opera um sistema crítico. Para dar autonomia real a um agente, a empresa precisa saber onde ele funciona, onde falha e quanto custa cada erro.

Evals como disciplina, não experimento

A proposta central da coluna é tratar agentes de IA com o mesmo rigor de gestão aplicado a pessoas: metas, KPIs, qualidade e risco. Para isso, Smaira defende o uso de evals, avaliações que medem qualidade, eficiência e confiabilidade do trabalho de um agente, na mesma lógica com que empresas usam OKRs para equipes humanas.

Um eval bem construído transforma objetivo de negócio em critério verificável: percentual de casos resolvidos corretamente, critério para escalar a um humano, lista de erros inaceitáveis e custo por resolução. Com essa camada, "A pergunta deixa de ser 'qual é o melhor modelo' e passa a ser qual combinação de modelo, contexto, ferramentas e arquitetura entrega o melhor resultado para cada tarefa", escreve o autor.

Mudar a métrica de sucesso também muda o que se mede como retorno. Número de usuários, agentes ativos ou tokens consumidos indicam atividade, não resultado; o que importa, segundo a coluna, é quanto custa cada tarefa executada corretamente, em quanto tempo e com que risco.

O indicador que Smaira escolheria sozinho

Smaira propõe um único indicador caso tivesse que escolher apenas um para avaliar a estratégia de IA de uma empresa:

Se eu tivesse que escolher um único indicador para avaliar a estratégia de AI de uma empresa, seria este: quanto tempo leva para um erro em produção virar um teste e a correção chegar ao cliente.

Lucas Smaira, cofundador da Vetto AI

Para ilustrar o peso desse ciclo, ele compara duas empresas hipotéticas com agentes de qualidade parecida. Na primeira, identificar uma falha, corrigi-la e validar uma nova versão leva seis semanas. Na segunda, as interações de produção alimentam os evals automaticamente, cada erro novo vira caso de teste e regressões aparecem antes de a versão chegar ao cliente, reduzindo o ciclo para dois dias. Depois de dezenas de iterações, escreve Smaira, as duas empresas deixam de construir o mesmo produto.

O que muda pra quem lidera tecnologia

Para o CTO ou head de TI brasileiro, a tese tem implicação prática direta: medir agentes de IA por número de implantações ou volume de interações não diz nada sobre maturidade real. O que precisa entrar no radar é infraestrutura de avaliação contínua, antes de escalar autonomia para processos que tocam pedido, pagamento ou dado sensível.

Isso significa, na prática:

• Construir um pipeline que transforma cada erro de produção em caso de teste automatizado, não em correção manual isolada.
• Definir, por agente, o percentual de acerto aceitável, o critério de escalonamento a humano e o custo máximo por erro, antes de liberar mais autonomia.
• Medir custo e tempo por tarefa concluída corretamente, não por token consumido ou usuário ativo.
• Tratar o histórico de falhas da própria operação como ativo para especializar modelos via post-training, em vez de depender só do modelo genérico mais recente.

A coluna argumenta que esse histórico proprietário, e não o acesso ao melhor modelo disponível no mercado, é o que sobrevive a trocas de tecnologia e se torna difícil de copiar: quando surge um modelo melhor, quem já tem evals consegue medir rápido o que ganhou e o que perdeu na troca.

O que fica em aberto

O texto é um artigo de opinião patrocinado, publicado como conteúdo oferecido pelo Banco Safra, e não traz nome de empresa, número de cliente ou caso real auditável: os exemplos de seis semanas contra dois dias são hipotéticos, usados para ilustrar o argumento. Smaira também não detalha como a Vetto AI, startup que cofundou, se posiciona nesse mercado de evals que ele descreve como lacuna.

Para o leitor que lidera tecnologia, a tese funciona mais como diagnóstico de tendência, vindo de alguém com histórico em DeepMind e Mistral AI, do que como estudo de caso replicável. Vale como ponto de partida para perguntar, internamente, se a empresa sabe medir o que seus agentes fazem, não como roteiro pronto para copiar.

Fonte: Brazil Journal