Agentes de IA mais baratos: por que a arquitetura importa tanto quanto o modelo

Quando uma empresa começa a discutir inteligência artificial, quase sempre a primeira comparação é entre modelos. Quanto custa um milhão de tokens? Qual modelo responde melhor? Qual é mais rápido? Esse raciocínio ainda faz sentido, mas deixou de ser suficiente.

Com agentes de IA, o modelo é apenas uma parte da conta. A forma como o agente recebe contexto, escolhe ferramentas, repete tentativas, chama outros agentes, grava estado e valida o resultado pode ter um impacto enorme no custo final.

É por isso que o debate sobre “agent harness”, ou camada de execução e orquestração, está ficando mais importante.

Um agente não é apenas um chatbot com acesso a ferramentas

Um modelo de linguagem recebe uma entrada e produz uma saída. Um agente precisa fazer muito mais.

Ele pode interpretar um objetivo, consultar um CRM, acessar documentos, executar código, chamar uma API, pedir aprovação humana, persistir informações e continuar trabalhando até completar uma tarefa.

Essa sequência exige uma camada que organize o ciclo de execução. É essa camada que decide o que entra no contexto, quais ferramentas ficam disponíveis, quando um resultado deve ser resumido, quando um subagente deve ser criado e quando a tarefa precisa parar.

Em outras palavras, dois agentes usando exatamente o mesmo modelo podem ter custos e resultados muito diferentes.

O caso TrueForge chama atenção por esse motivo

A TrueFoundry abriu o código do TrueForge, um harness de agentes que se apresenta como neutro em relação ao fornecedor de modelo. A proposta é permitir que empresas utilizem diferentes LLMs, ferramentas MCP, sandboxes, aprovações e mecanismos de contexto em uma mesma camada de execução.

Em um benchmark divulgado pela própria empresa, com 14 tarefas de estilo produtivo, o TrueForge teria reduzido o custo em cerca de 30% ao utilizar o mesmo modelo comparado aos Claude Managed Agents. Ao trocar também o modelo por uma alternativa aberta, a redução divulgada chegou a até 75% mantendo desempenho semelhante no conjunto testado.

Esses números são interessantes, mas precisam ser lidos corretamente. Trata-se de um benchmark publicado pelo fornecedor do próprio produto. Não é uma verdade universal sobre qualquer workload de IA. Ainda assim, o resultado destaca um princípio que considero muito mais importante do que o percentual específico: a eficiência do runtime pode ser tão relevante quanto o preço do modelo.

Onde o dinheiro desaparece em um agente mal arquitetado

O custo de um agente pode crescer de maneiras pouco óbvias.

Contexto excessivo

Se cada nova etapa reenviar todo o histórico, documentos completos e resultados enormes de ferramentas, o número de tokens cresce rapidamente. Context engineering deixa de ser otimização sofisticada e passa a ser requisito econômico.

Ferramentas demais

Dar ao agente acesso a dezenas de ferramentas sem um mecanismo eficiente de seleção aumenta o contexto e a chance de chamadas desnecessárias.

Loops sem critério de parada

Um agente pode continuar tentando resolver uma tarefa mesmo quando já não possui informação suficiente. Cada nova tentativa consome tokens, tempo e chamadas externas.

Modelo caro para qualquer etapa

Nem toda decisão precisa do modelo mais poderoso disponível. Classificação, extração, roteamento e tarefas previsíveis podem ser executados por modelos menores quando a arquitetura permite escolher o modelo por função.

Resultados grandes sem compactação

Ferramentas podem retornar milhares de linhas, documentos ou logs. Enviar tudo novamente ao modelo é frequentemente desperdício. Um bom harness precisa armazenar, resumir ou referenciar esses dados de maneira inteligente.

Open source oferece liberdade, mas transfere responsabilidade

A ideia de um runtime aberto e neutro é atraente porque reduz dependência de fornecedor, facilita self-hosting e pode permitir maior controle sobre dados, modelos e infraestrutura.

Mas não existe economia gratuita.

Ao sair de uma solução gerenciada, a organização assume mais responsabilidade por atualização, observabilidade, segurança, disponibilidade, sandboxing, segredos, escalabilidade e suporte. Em ambientes regulados ou críticos, essa carga operacional pode valer mais do que a economia de tokens.

Portanto, a pergunta correta não é “open source é melhor?”. A pergunta é “qual parte da complexidade eu quero controlar e qual parte prefiro comprar como serviço?”.

O custo por tarefa vale mais do que o custo por token

Essa é uma mudança de métrica que eu considero importante.

Se um modelo é mais barato, mas precisa de quatro vezes mais passos para resolver a tarefa, ele pode não ser a opção econômica. Se um modelo caro resolve rapidamente uma etapa crítica, pode custar menos no fluxo completo.

Para agentes, eu prefiro olhar para:

• custo médio por tarefa concluída;
• taxa de sucesso;
• tempo para conclusão;
• quantidade de chamadas de ferramentas;
• tokens consumidos por execução;
• percentual de tarefas que precisam de intervenção humana;
• custo de infraestrutura e operação;
• risco de erro ou ação indevida.

Uma economia de API que exige mais equipe, mais correções e mais suporte pode desaparecer rapidamente.

Para PMEs, começar pelo problema continua sendo a melhor estratégia

O mercado de agentes está acelerando e é fácil cair na tentação de implementar a tecnologia porque ela parece avançada.

Eu faria o caminho inverso. Primeiro, identificaria um processo repetitivo, com começo e fim claros, dados acessíveis e critérios objetivos de sucesso. Depois, definiria quais ações a IA pode executar sozinha, quais precisam de aprovação e quais devem continuar humanas.

Só então escolheria modelo, ferramentas e arquitetura.

Um agente que responde perguntas simples talvez não precise de um runtime complexo. Um agente que consulta pacientes, agenda compromissos, movimenta dados financeiros ou executa ações em sistemas internos precisa de muito mais governança.

Controle de contexto também é segurança

A discussão sobre custo costuma esconder outro benefício da boa arquitetura: reduzir contexto também reduz exposição.

Se o agente recebe apenas os dados necessários para aquela tarefa, existe menos informação sensível circulando. Se as credenciais ficam isoladas na camada de ferramentas e não no prompt, o risco diminui. Se ações destrutivas exigem aprovação, a autonomia se torna mais controlável.

Eficiência e segurança não são objetivos opostos. Muitas vezes, uma arquitetura mais econômica também é uma arquitetura mais disciplinada.

O modelo não é o produto inteiro

Minha conclusão sobre o caso TrueForge não é que todas as empresas devam abandonar agentes gerenciados. É outra: avaliar uma solução de IA apenas pelo nome do modelo está ficando cada vez mais superficial.

O verdadeiro desempenho nasce da combinação entre modelo, contexto, ferramentas, regras, dados, observabilidade e experiência do usuário.

Como a CSP pode ajudar

Na CSP, projetos de inteligência artificial começam pelo processo de negócio e pelo resultado esperado. A partir daí, avaliamos onde um agente, automação ou assistente realmente pode reduzir trabalho operacional, acelerar atendimento ou organizar informação sem perder controle e segurança.

Se sua empresa está avaliando agentes de IA, integração com sistemas ou automações baseadas em LLMs, a CSP pode ajudar a desenhar uma arquitetura compatível com a realidade do negócio, equilibrando custo, governança, segurança e experiência de uso.