Mesuré avant d'être affirmé.
Le benchmark n'est pas du marketing — c'est la façon dont la plateforme est gouvernée. Le meilleur système mesuré est celui qui est livré, les faiblesses sont traquées volontairement, et un chiffre n'est publié qu'après avoir survécu à une évaluation préenregistrée.
Des états honnêtes, pas des promesses vides.
La plupart des chiffres ici sont encore en cours de publication. Plutôt que d'annoncer des résultats internes, chaque dimension affiche son état réel — la même discipline que la plateforme applique au savoir.
| État | Signification |
|---|---|
| publié | a survécu à une évaluation préenregistrée ; chiffre, n et matrice de confusion disponibles |
| mesuré · interne | mesuré sur des jeux gold internes ; publication en attente de validation externe |
| publication en attente | jeu gold ou évaluation en construction |
| UNKNOWN · fail-closed | la capacité s'abstient en production plutôt que de deviner |
L'analyse, dimension par dimension.
| Dimension | Unité | Statut | Notes |
|---|---|---|---|
| Ordre de lecture | F1 vs gold | mesuré · interne | publication après évaluation préenregistrée |
| Tableaux | F1 de structure | mesuré · interne | jeu gold en expansion — n indiqué avec chaque chiffre |
| Précision de reconnaissance du texte | CER / WER | mesuré · interne | mesuré par famille de documents |
| Formulaires | F1 de champ | publication en attente | jeu gold en construction |
| Documents longs | fidélité au-delà de 60 pages | publication en attente | bench documents longs en cours |
| Graphiques | graphique vers tableau | UNKNOWN · fail-closed | s'abstient plutôt que de deviner |
Chaque produit est une surface mesurée.
| Dimension | Unité | Statut | Notes |
|---|---|---|---|
| Audio | fidélité de transcription | mesuré · interne | acquisition → preuve, certifiée |
| Déterminisme | réexécutions identiques | mesuré · interne | vérifications aller-retour au niveau de l'octet |
| Alignement de structure | structure de sortie vs source | publication en attente | mesuré face au gold |
| Recherche | rappel fondé | publication en attente | mesuré sur du savoir gouverné |
| Extraction d'assertions | précision / rappel | mesuré · interne | abstention comptabilisée, jamais masquée |
| Ancrage du raisonnement | réponses traçables jusqu'aux assertions | mesuré · interne | jeux adversariaux inclus |
| Latence | p50 / p95 par unité | publication en attente | par produit, par déploiement |
| Coût | pour 1 k unités | publication en attente | publié avec les tarifs de crédits |
Conçu pour que nous ne puissions pas nous flatter.
Chaque fournisseur gagne son propre benchmark. Le nôtre est construit pour trouver nos faiblesses en premier.
Préenregistré
Métriques, seuils et jeux de données sont fixés avant l'exécution. Pas de choix de métrique après coup.
Chiffres avec périmètre
Aucun score nu : chaque chiffre publié porte son jeu de données et sa version, la taille d'échantillon (n), les critères d'inclusion, les comparateurs face auxquels il a été mesuré, sa date d'exécution et les limites connues.
Gold indépendant
Les jeux gold sont tenus indépendants des systèmes évalués — jamais issus du processus qui produit les résultats notés.
Le gold est corrigible
Les jeux gold sont des artefacts scientifiques : versionnés, arbitrés, corrigés par un processus enregistré — jamais modifiés en silence.
L'abstention est notée
UNKNOWN est un résultat mesuré. Un système qui cache ses abstentions optimise la mauvaise chose.
Évaluation reproductible
L'évaluation elle-même est reproductible : mêmes jeux de données, mêmes métriques, même protocole — vous pouvez relancer la comparaison, pas seulement lire le score.
Remesuré en continu
Chaque capacité est remesurée à mesure que les méthodes progressent. Le meilleur résultat mesuré est livré — et ne garde sa place que tant que les chiffres tiennent, les nôtres compris.
Détection prouvée
Les couches d'évaluation sont validées par injection délibérée de fautes — nous prouvons que le benchmark sait détecter l'échec avant de faire confiance à son vert.
Méthode, pas mécanisme
Ce que nous publions, c'est la preuve, pas la machine. Jeux de données, métriques et résultats sont ouverts ; l'implémentation qui les atteint ne fait pas partie de ce que vous auditez — le chiffre, si.
Un benchmark qui ne s'arrête jamais.
Chaque livraison est remesurée face au benchmark. Les régressions sont détectées par le benchmark, pas par les clients.
Les jeux gold grandissent par annotation arbitrée. Les manques de couverture sont suivis comme une dette, visiblement.
Des résultats publiés avec jeux de données et méthodologie, vérifiables de bout en bout.