주장하기 전에, 측정합니다.
벤치마크는 마케팅이 아니라 플랫폼을 다스리는 방식입니다. 가장 잘 측정된 시스템이 나가고, 약점은 일부러 찾아내며, 수치는 사전 등록된 평가를 통과한 뒤에만 공개됩니다.
빈 약속이 아니라, 정직한 상태.
여기 있는 수치 대부분은 아직 공개 절차 중입니다. 내부 결과를 광고하는 대신, 각 차원은 실제 상태를 보여 줍니다 — 플랫폼이 지식에 적용하는 것과 같은 규율입니다.
| 상태 | 의미 |
|---|---|
| 공개됨 | 사전 등록된 평가를 통과. 수치, n, 혼동 행렬 제공 |
| 측정됨 · 내부 | 내부 골드셋으로 측정. 외부 검증을 기다려 공개 |
| 공개 대기 | 골드셋 또는 평가 구축 중 |
| UNKNOWN · fail-closed | 운영 환경에서 추측하지 않고 기권합니다 |
파싱을, 차원별로.
| 차원 | 단위 | 상태 | 비고 |
|---|---|---|---|
| 읽기 순서 | F1 대 골드 | 측정됨 · 내부 | 사전 등록 평가 후 공개 |
| 표 | 구조 F1 | 측정됨 · 내부 | 골드셋 확장 중 — 모든 수치에 n 표기 |
| 텍스트 인식 정확도 | CER / WER | 측정됨 · 내부 | 문서 계열별로 측정 |
| 양식 | 필드 F1 | 공개 대기 | 골드셋 구축 중 |
| 장문 문서 | 60쪽 이상에서의 충실도 | 공개 대기 | 장문 문서 벤치 진행 중 |
| 차트 | 차트에서 표로 | UNKNOWN · fail-closed | 추측하지 않고 기권합니다 |
모든 제품이 측정되는 면입니다.
| 차원 | 단위 | 상태 | 비고 |
|---|---|---|---|
| 오디오 | 전사 충실도 | 측정됨 · 내부 | 수집 → 증거, 인증됨 |
| 결정성 | 동일한 재실행 | 측정됨 · 내부 | 바이트 단위 왕복 검사 |
| 구조 정합 | 출력 구조 대 원본 구조 | 공개 대기 | 골드 대비 측정 |
| 검색 | 근거 기반 재현율 | 공개 대기 | 통제된 지식 위에서 측정 |
| 주장 추출 | 정밀도 / 재현율 | 측정됨 · 내부 | 기권은 집계하고, 결코 감추지 않습니다 |
| 추론의 근거 연결 | 답변이 주장까지 추적 가능 | 측정됨 · 내부 | 적대적 세트 포함 |
| 지연 시간 | 단위당 p50 / p95 | 공개 대기 | 제품별, 배포별 |
| 비용 | 1,000단위당 | 공개 대기 | 크레딧 단가와 함께 공개 |
스스로를 치켜세울 수 없도록 설계했습니다.
어느 공급자든 자기 벤치마크에서는 이깁니다. 저희 것은 우리의 약점을 먼저 찾도록 만들어졌습니다.
사전 등록
지표, 임계값, 데이터셋은 실행 전에 확정됩니다. 결과를 본 뒤에 지표를 고르지 않습니다.
범위가 있는 수치
맨 점수는 없습니다. 공개되는 모든 수치에는 데이터셋과 버전, 표본 크기(n), 포함 기준, 비교 대상, 실행 날짜, 알려진 한계가 따라붙습니다.
독립적인 골드
골드셋은 평가 대상 시스템과 독립적으로 관리됩니다 — 채점되는 결과를 만드는 것과 같은 공정에서 파생되는 일은 결코 없습니다.
골드는 교정 가능합니다
골드셋은 과학적 산출물입니다. 버전 관리되고, 심의되며, 기록된 절차를 통해 교정됩니다 — 조용히 수정되지 않습니다.
기권도 채점 대상
UNKNOWN은 측정된 결과입니다. 기권을 감추는 시스템은 잘못된 것을 최적화하고 있습니다.
재현 가능한 평가
평가 자체가 재현 가능합니다. 같은 데이터셋, 같은 지표, 같은 절차 — 점수를 읽는 데 그치지 않고 비교를 다시 돌릴 수 있습니다.
지속적으로 재측정
방법이 나아질 때마다 모든 역량을 다시 측정합니다. 가장 잘 측정된 결과가 나가고 — 수치가 버티는 동안에만 그 자리를 지킵니다. 우리 것도 예외가 아닙니다.
탐지력 입증
평가 계층은 의도적인 결함 주입으로 검증합니다 — 벤치마크의 초록색을 믿기 전에, 실패를 잡아낼 수 있음을 증명합니다.
기계가 아니라, 방법을
저희가 공개하는 것은 증거이지 기계가 아닙니다. 데이터셋, 지표, 결과는 열려 있습니다. 그것을 달성하는 구현은 감사 대상이 아닙니다 — 감사 대상은 수치입니다.
멈추지 않는 벤치마크.
모든 릴리스는 벤치마크로 다시 측정됩니다. 회귀를 잡아내는 것은 벤치마크이지 고객이 아닙니다.
골드셋은 심의된 주석으로 자랍니다. 적용 범위의 빈틈은 부채로 눈에 보이게 관리됩니다.
데이터셋과 방법론과 함께 공개되어, 처음부터 끝까지 검증 가능한 결과.