Números completos do benchmark

Metodologia

Custo fixo por sessão

Tudo que o agente lê em toda sessão, antes de abrir um arquivo de código, é pago de novo a cada sessão de cada ferramenta. A série histórica do quadro de trabalho no repositório de referência:

Custo fixo total medido hoje (router + quadro + arquivos de instrução da raiz): ~7.800 tokens por sessão. O auditor acompanha isso: quadro acima do orçamento é aviso, acima de 3× é erro, com a estimativa de tokens na própria mensagem. Foi assim que o crescimento de 25/09 foi detectado.

Os quatro cenários, nos dois conjuntos de tarefas

Dois conjuntos de tarefas testam o mesmo repositório: um escrito como um agente perguntaria (sem as palavras do router; mede busca de verdade) e outro reutilizando as palavras do próprio router (viés lexical, favorece qualquer busca; mostra o teto).

12 tarefas parafraseadas

13 tarefas com as palavras do router

Acerto top-1/top-5 e evolução da busca

Nas 12 tarefas parafraseadas, a mesma busca evoluiu entre duas versões da ferramenta:

"Tokens da busca" é só o custo do índice (trechos retornados); "custo realista" soma a leitura do arquivo encontrado. A versão 0.1.4 (trechos + arquivos de instrução) acertou mais no top-5 gastando um pouco menos de tokens de busca. O ganho veio de indexar em unidades menores, sem aumentar o top-k.

Detalhe por tarefa

As 12 tarefas parafraseadas, descritas de forma genérica (sem nomes de arquivo do repositório medido), com os tokens gastos em cada cenário até achar a resposta:

Conciliação entre ferramentas

No repositório medido, guardian instrucoes status encontrou 5 lacunas: regras de segurança e da janela de push (210 linhas) ficavam invisíveis para uma família de ferramentas, e regras de contratos (266 linhas) ficavam invisíveis para a outra, já que cada família só lê o próprio arquivo de instrução. Uma regra que o agente não carrega pode custar o incidente que ela existia para evitar. guardian instrucoes sync concilia com um bloco de ponteiro em cada arquivo, sem copiar conteúdo e sem mudar nenhuma ferramenta.

Ressalvas

• Os cenários nada e grafo de código simulam uma passada determinística de busca; um agente real pode buscar de forma iterativa, com outros termos, ou desistir antes. Os números são uma estimativa de ordem de grandeza, não uma medição do comportamento de um modelo.
• Tarefas derivadas do router carregam as palavras do router (viés lexical); por isso existem os dois conjuntos nesta página, e o --gerar-casos para cada usuário escrever o próprio conjunto.
• Um único repositório de referência. Os números do seu repositório vêm do seu próprio guardian benchmark.
• Contra um router já bem mantido, o ganho medido é pequeno (4% a 18%): o valor do GuardianContext aparece onde não existe wiki organizada ou onde ela envelhece, e não substitui uma wiki que já funciona.

Reproduza com guardian benchmark

Todo número desta página sai de um comando que roda no seu próprio repositório. Nada é enviado a lugar nenhum além dos arquivos que você pedir:

guardian index rebuild --semantic
guardian benchmark --markdown relatorio.md --json relatorio.json
guardian benchmark --gerar-casos casos.json   # edite as perguntas com suas próprias palavras
guardian benchmark --casos casos.json --markdown relatorio.md

Detalhes de cada flag na seção "Medir economia" do manual.