Benchmarks de agentes: como comparar modelos e harnesses
Academy Dante Testa
18/11/2026 · 10 min de leitura · 14 visualizações
O GitHub anunciou uma visão para comparar harnesses de agentes no site de benchmarks do Copilot, em 17 de novembro de 2026. A publicação oficial informa que a prévia compara configurações de Copilot CLI, Claude Code e Codex CLI com o mesmo modelo e esforço de raciocínio. Para quem escolhe ferramentas de desenvolvimento com IA, a proposta ajuda a separar duas dimensões frequentemente misturadas: modelo e ambiente de execução do agente.
Um ranking pode orientar perguntas, mas a escolha para um projeto também depende das tarefas, permissões e custos da operação. Este artigo explica o alcance do anúncio e propõe um roteiro editorial para avaliar agentes em uma equipe pequena. Não apresentamos medições próprias dos produtos nem declaramos um vencedor universal.
O que está sendo comparado no anúncio
Segundo o GitHub, a visão usa pares exatos de modelo em esforço médio e apresenta taxa de resolução, custo médio por tarefa e variação entre execuções. Configurações sem par correspondente ficam fora dessa comparação. O site também passou a incluir o Terminal-Bench-Science 0.1, voltado a fluxos de pesquisa científica.
Na apresentação original do Terminal-Bench-Science, os organizadores descrevem tarefas elaboradas com especialistas e verificações específicas para os artefatos produzidos. Esse contexto ajuda a compreender o tipo de avaliação. Resolver tarefas desse conjunto não equivale a provar compatibilidade com todos os sistemas WordPress, aplicações PHP ou processos internos de uma empresa.
Ao consultar o anúncio, observe que se trata de um benchmark publicado pelo próprio fornecedor do Copilot. Isso não invalida os dados, mas torna importante ler a metodologia e conhecer os limites declarados. Use o material como uma evidência disponível, relacionando-o a outras verificações pertinentes ao seu trabalho.
Modelo e harness respondem a perguntas diferentes
Neste contexto, pense no modelo como o componente que interpreta o problema e produz respostas, e no harness como o conjunto que organiza sua interação com ferramentas, contexto e execução. Essa distinção conceitual ajuda a formular uma avaliação: você quer comparar modelos dentro de uma mesma ferramenta ou comparar ferramentas mantendo o modelo equivalente?
Misturar as duas perguntas pode gerar uma conclusão imprecisa. Se você troca ao mesmo tempo o modelo, o orçamento, as ferramentas e as permissões, o resultado pertence ao conjunto alterado. Ele pode ser útil para escolher uma configuração completa, mas não permite atribuir a diferença a um único componente sem análise adicional.
Documente o objeto da comparação antes de executar a primeira tarefa. Registre as opções disponíveis de fato em cada produto e indique quando não existir equivalência. Uma comparação honesta pode incluir limitações; não precisa forçar uma correspondência que as ferramentas não oferecem.
Comece por tarefas representativas do seu produto
Escolha problemas que façam parte da rotina. Para uma equipe PHP, isso pode envolver corrigir uma validação, melhorar uma consulta ou implementar uma integração bem definida. Para um plugin WordPress, pode incluir um fluxo de permissão, um componente do editor e uma atualização de configuração. A lista deve refletir o que você precisa entregar.
Prepare cada tarefa com uma descrição suficiente, mas sem revelar a solução esperada quando isso comprometer a comparação. Defina um estado inicial reproduzível e preserve uma cópia limpa. Se uma ferramenta recebe um projeto já corrigido por outra, as execuções deixam de partir das mesmas condições.
Inclua critérios de aceitação verificáveis. Um patch que compila pode continuar contrariando uma regra de negócio. Uma tarefa de integração pode exigir tratar respostas de erro e evitar duplicidade. Escrever os critérios antes de ver os resultados reduz a chance de ajustar a avaliação para favorecer a saída mais impressionante.
Construa uma ficha de execução curta

A ficha de cada rodada pode registrar ferramenta, modelo, configuração de raciocínio, versões, limite de tempo, contexto inicial e permissões. Acrescente o identificador da tarefa e o estado do projeto usado no começo. Esse registro é especialmente útil quando você repete a avaliação semanas depois.
Descreva também a ajuda humana permitida. Se você intervém para explicar um erro a uma ferramenta, faça essa intervenção aparecer no resultado. É possível comparar fluxos assistidos por pessoas, desde que o trabalho adicional seja contabilizado. O problema é apresentar como execução autônoma algo que exigiu orientação contínua.
Guarde o resultado técnico em formato revisável: diff, comandos executados, testes relevantes e limitações. Evite relatórios que contenham apenas o resumo do próprio agente. A conclusão precisa poder ser conferida por alguém que não acompanhou a conversa original e não conhece as tentativas anteriores.
Taxa de resolução exige uma definição de sucesso
Estabeleça quando uma tarefa será considerada resolvida. Um critério pode exigir que os testes pertinentes passem e que a revisão confirme o comportamento esperado. Outro pode admitir uma solução parcial, desde que essa categoria esteja definida antes. Mantenha os estados separados para não transformar progresso em conclusão.
Registre falhas de execução e resultados incorretos de forma consistente. Uma interrupção por indisponibilidade do serviço e um patch errado são acontecimentos diferentes. Ambos afetam a operação, mas sugerem respostas distintas. A ficha deve permitir reconhecer o que ocorreu sem interpretar um número isolado.
Quando a tarefa tiver ambiguidade legítima, documente a decisão esperada ou aceite mais de uma solução coerente. Um avaliador rígido pode rejeitar um patch adequado por detalhes que não fazem parte do requisito. Por outro lado, um avaliador permissivo pode aprovar uma saída que parece plausível, mas não cumpre o contrato.
Inclua o custo de revisar e terminar o trabalho
Para a equipe, o custo relevante não termina quando o agente produz o diff. Considere a leitura, as correções adicionais, a execução dos testes e a preparação da entrega. Uma ferramenta pode gerar uma primeira resposta rapidamente e exigir mais trabalho até chegar a um resultado pronto para integrar.
Se você comparar despesas de uso, registre o que está incluído na conta e as condições aplicáveis ao seu acesso. Não converta automaticamente métricas do benchmark em uma previsão de gasto do seu projeto. Tamanho do contexto, tentativas, duração e tipo de tarefa podem tornar sua operação diferente do cenário publicado.
Relacione custo e resultado. Uma execução barata que não resolve a tarefa precisa entrar na avaliação, assim como uma execução mais cara que exige pouca correção. A decisão pode ser adotar configurações diferentes para classes de trabalho, em vez de escolher uma ferramenta única para qualquer situação.
Trate a variação como informação
Uma rodada pode terminar bem por circunstâncias que não se repetem. Quando a decisão justificar o esforço, execute tarefas representativas mais de uma vez e compare a dispersão dos resultados. Preserve as condições de cada tentativa e evite selecionar apenas a melhor saída para apresentar à equipe.
Não tire conclusões estatísticas fortes de uma amostra pequena. Ela pode servir como piloto e ajudar a descobrir problemas de configuração. Se as diferenças forem pequenas ou instáveis, registre essa incerteza. A ausência de uma vitória clara também é um resultado útil para orientar os próximos testes.
Considere a estabilidade operacional junto da resolução técnica. Interrupções, dependência de intervenção e dificuldade de retomar uma tarefa afetam o trabalho diário. Registre esses acontecimentos com o mesmo cuidado usado para os acertos. Um gráfico de desempenho ganha significado quando você entende o percurso que levou até o resultado.
Permissões fazem parte da configuração comparada
Um agente com acesso amplo pode concluir uma tarefa de maneira diferente de outro limitado a um diretório de teste. Ao comparar ferramentas, não esconda essa diferença. Defina previamente quais arquivos, redes e ações são necessários. Se as permissões divergirem, explique por que e como isso afeta a interpretação.
Utilize dados e credenciais apropriados à avaliação. Um benchmark interno não precisa usar o banco de clientes para testar uma transformação de registros. Prepare exemplos representativos e resultados esperados. Dessa forma, a comparação continua relacionada ao produto sem ampliar desnecessariamente o alcance de cada execução.
Inclua na revisão qualquer alteração fora do escopo solicitado. Um patch pode resolver o caso principal e também modificar configurações ou arquivos que não deveriam mudar. A qualidade da entrega envolve cumprir a tarefa com efeitos compreendidos, e não apenas fazer a verificação final ficar verde.
Um exemplo de comparação que pode orientar uma compra
Suponha que a equipe queira reduzir o trabalho de manutenção de uma integração. Prepare uma tarefa com um erro reproduzível e outra com uma pequena evolução do contrato. Entregue a mesma descrição e o mesmo estado inicial às configurações avaliadas. Reserve a revisão final para alguém que conheça os requisitos, sem usar a preferência pessoal pelo produto como critério de aprovação.
Ao concluir, compare o resultado pronto para integrar e o trabalho necessário para chegar até ele. Se uma configuração só se sair bem em uma das tarefas, registre essa especialização em vez de calcular uma vitória genérica. A decisão pode ser manter mais de uma opção ou realizar uma rodada adicional. O importante é saber qual dúvida a comparação resolveu e quais perguntas continuam abertas.
Como usar o anúncio na próxima decisão da equipe
Consulte a metodologia publicada, identifique as configurações que correspondem ao seu interesse e transforme os resultados em hipóteses testáveis. Depois, escolha um pequeno conjunto de tarefas internas com critérios claros. A avaliação local deve responder às dúvidas que o benchmark público não cobre.
O principal ganho é tornar a decisão explicável. Em vez de escolher pelo nome mais comentado, a equipe passa a saber qual configuração resolveu quais problemas, com quanto trabalho adicional e sob quais limites. Essa evidência pode ser revisada quando o modelo, o harness ou o próprio produto mudar.