主張の前に、測定を。
ベンチマークはマーケティングではなく、プラットフォームを統治する仕組みです。最も良く測定されたシステムが提供され、弱点は意図的に探し出され、数値は事前登録された評価を通過してはじめて公開されます。
空約束ではなく、正直な状態を。
ここにある数値の多くはまだ公開手続きの途中です。社内の結果を宣伝する代わりに、各次元はその実際の状態を示します — プラットフォームが知識に適用しているのと同じ規律です。
| 状態 | 意味 |
|---|---|
| 公開済み | 事前登録された評価を通過。数値、n、混同行列を公開 |
| 測定済み · 社内 | 社内ゴールドセットで測定済み。外部検証を待って公開 |
| 公開保留 | ゴールドセットまたは評価を構築中 |
| UNKNOWN · fail-closed | 本番では推測せずに棄権します |
パースを、次元ごとに。
| 次元 | 単位 | ステータス | 備考 |
|---|---|---|---|
| 読み順 | F1 対 ゴールド | 測定済み · 社内 | 事前登録評価の後に公開 |
| 表 | 構造 F1 | 測定済み · 社内 | ゴールドセットを拡張中 — すべての数値に n を明記 |
| テキスト認識の精度 | CER / WER | 測定済み · 社内 | 文書ファミリーごとに測定 |
| フォーム | フィールド F1 | 公開保留 | ゴールドセットを構築中 |
| 長文文書 | 60ページ以上での忠実度 | 公開保留 | 長文文書ベンチを実施中 |
| 図表 | 図から表へ | UNKNOWN · fail-closed | 推測せずに棄権します |
すべての製品が測定対象の面です。
| 次元 | 単位 | ステータス | 備考 |
|---|---|---|---|
| 音声 | 文字起こしの忠実度 | 測定済み · 社内 | 取得 → 証跡、認証済み |
| 決定性 | 同一の再実行 | 測定済み · 社内 | バイト単位の往復検査 |
| 構造の整合 | 出力構造 対 元構造 | 公開保留 | ゴールドに対して測定 |
| 検索 | 根拠に基づく再現率 | 公開保留 | 統制された知識の上で測定 |
| 主張の抽出 | 適合率 / 再現率 | 測定済み · 社内 | 棄権は計上し、決して隠さない |
| 推論の根拠付け | 回答は主張まで追跡可能 | 測定済み · 社内 | 敵対的セットを含む |
| レイテンシ | 単位あたり p50 / p95 | 公開保留 | 製品ごと、デプロイごと |
| コスト | 1,000単位あたり | 公開保留 | クレジット単価とともに公開 |
自画自賛できないように設計しています。
どのベンダーも自社のベンチマークでは勝ちます。私たちのものは、まず自分の弱点を見つけるために作られています。
事前登録
指標、しきい値、データセットは実行前に確定します。結果を見てから指標を選ぶことはしません。
適用範囲つきの数値
裸のスコアは出しません。公開されるすべての数値には、データセットとそのバージョン、標本サイズ（n）、選定基準、比較対象、実行日、既知の限界が付随します。
独立したゴールド
ゴールドセットは評価対象のシステムから独立して保持されます — 採点対象の結果を生む同じ工程から導かれることは決してありません。
ゴールドは訂正可能
ゴールドセットは科学的な成果物です。バージョン管理され、裁定され、記録された手続きを通じて訂正されます — 黙って編集されることはありません。
棄権も採点対象
UNKNOWN は測定された結果です。棄権を隠すシステムは、間違ったものを最適化しています。
再現可能な評価
評価そのものが再現可能です。同じデータセット、同じ指標、同じ手順 — スコアを読むだけでなく、比較を再実行できます。
継続的に再測定
手法が改善されるたび、すべての能力を測定し直します。最も良く測定された結果が提供され — 数値が持ちこたえる間だけその座を保ちます。私たちのものも例外ではありません。
検知力を実証済み
評価層は意図的な障害注入で検証します — ベンチマークの緑を信じる前に、失敗を捉えられることを証明します。
仕組みではなく、手法を
私たちが公開するのは証拠であって、機械ではありません。データセット、指標、結果は公開されます。それを達成する実装は監査の対象ではありません — 対象は数値です。
止まらないベンチマーク。
すべてのリリースはベンチマークで測定し直されます。リグレッションを見つけるのはベンチマークであって、お客様ではありません。
ゴールドセットは裁定つきの注釈によって育ちます。網羅性の欠落は負債として可視化されます。
データセットと手法とともに公開され、端から端まで検証できる結果。