Medido antes de afirmado.
O benchmark não é marketing — é como a plataforma é governada. O melhor sistema medido é o que vai ao ar, as fraquezas são caçadas de propósito e um número só é publicado depois de sobreviver a uma avaliação pré-registrada.
Estados honestos, não promessas vazias.
A maioria dos números aqui ainda está em publicação. Em vez de anunciar resultados internos, cada dimensão mostra seu estado real — a mesma disciplina que a plataforma aplica ao conhecimento.
| Estado | Significado |
|---|---|
| publicado | sobreviveu a uma avaliação pré-registrada; número, n e matriz de confusão disponíveis |
| medido · interno | medido contra conjuntos gold internos; publicação pendente de validação externa |
| publicação pendente | conjunto gold ou avaliação em construção |
| UNKNOWN · fail-closed | a capacidade se abstém em produção em vez de chutar |
Parsing, dimensão por dimensão.
| Dimensão | Unidade | Status | Notas |
|---|---|---|---|
| Ordem de leitura | F1 vs gold | medido · interno | publicação após avaliação pré-registrada |
| Tabelas | F1 de estrutura | medido · interno | conjunto gold em expansão — n reportado com cada número |
| Precisão do reconhecimento de texto | CER / WER | medido · interno | medido por família de documentos |
| Formulários | F1 de campo | publicação pendente | conjunto gold em construção |
| Documentos longos | fidelidade a partir de 60 páginas | publicação pendente | bench de documentos longos em andamento |
| Gráficos | gráfico para tabela | UNKNOWN · fail-closed | se abstém em vez de chutar |
Todo produto é uma superfície medida.
| Dimensão | Unidade | Status | Notas |
|---|---|---|---|
| Áudio | fidelidade de transcrição | medido · interno | aquisição → evidência, certificada |
| Determinismo | reexecuções idênticas | medido · interno | verificações de ida e volta no nível do byte |
| Alinhamento de estrutura | estrutura da saída vs da origem | publicação pendente | medido contra gold |
| Recuperação | recall fundamentado | publicação pendente | medido sobre conhecimento governado |
| Extração de afirmações | precisão / recall | medido · interno | abstenção contabilizada, nunca escondida |
| Fundamentação do raciocínio | respostas rastreáveis até as afirmações | medido · interno | inclui conjuntos adversariais |
| Latência | p50 / p95 por unidade | publicação pendente | por produto, por implantação |
| Custo | por 1k unidades | publicação pendente | publicado junto com as tarifas de créditos |
Feito para que não possamos nos elogiar.
Todo fornecedor vence o próprio benchmark. O nosso é construído para achar as nossas fraquezas primeiro.
Pré-registrado
Métricas, limiares e conjuntos de dados são fixados antes da execução. Nada de escolher a métrica depois de ver o resultado.
Números com escopo
Sem notas nuas: todo número publicado carrega seu conjunto de dados e versão, tamanho de amostra (n), critérios de inclusão, os comparadores contra os quais foi medido, a data da execução e as limitações conhecidas.
Gold independente
Os conjuntos gold são mantidos independentes dos sistemas avaliados — nunca derivados do mesmo processo que produz os resultados sendo pontuados.
O gold é corrigível
Conjuntos gold são artefatos científicos: versionados, adjudicados, corrigidos por um processo registrado — nunca editados em silêncio.
A abstenção é pontuada
UNKNOWN é um resultado medido. Um sistema que esconde suas abstenções está otimizando a coisa errada.
Avaliação reproduzível
A própria avaliação é reproduzível: mesmos conjuntos de dados, mesmas métricas, mesmo protocolo — você pode reexecutar a comparação, não apenas ler o resultado.
Remedido continuamente
Toda capacidade é medida de novo conforme os métodos melhoram. O melhor resultado medido é o que vai ao ar — e só mantém seu lugar enquanto os números se sustentarem, inclusive os nossos.
Detecção provada
As camadas de avaliação são validadas por injeção deliberada de falhas — provamos que o benchmark consegue pegar a falha antes de confiar no verde dele.
Método, não mecanismo
O que publicamos é a prova, não a máquina. Conjuntos de dados, métricas e resultados são abertos; a implementação que os alcança não faz parte do que você audita — o número faz.
Um benchmark que nunca para.
Cada release é medido de novo contra o benchmark. As regressões são pegas pelo benchmark, não pelos clientes.
Os conjuntos gold crescem por anotação adjudicada. Lacunas de cobertura são registradas como dívida, à vista.
Resultados publicados com conjuntos de dados e metodologia, verificáveis de ponta a ponta.