접지율(C2) 첫 전면 계측 — 크라우니AI P0 과제 완료
개요
토르 아키텍처 울트라 적대검증(07-02)이 지정한
P0 최우선 과제 "접지율(C2) 계측"을 수행. 지금까지 미계측이던 C2를 3세트×2지표로 정직하게 측정하고, 재현 가능한 계측 하네스로 고정.
래칫(학습→재측정) 기울기를 실증.
방법 (재현 가능)
- 하네스:
/Users/ef/Downloads/CrownyTVM/crownycode-agent/접지율계측/접지율계측.sh (rebuild로 세트 재생성, 실행마다 접지율이력.psv 누적)
- 세트 3종: V(학습DB 정본 무작위 200, 시드42 — 파이프라인 상한 검증) / R(CrownyDoc 실제 사용자 요청 슬러그 1,165개 중 200, 시드7 — 냉질의) / F(최근 30일 .한선 산출물 파일명 19 — 워크셋)
- 지표 2종: 정확 C2(크라우니도구.sh grounding — 정확 intent lookup HIT율) / 퍼지 접지(질의 전체 또는 토큰≥2자가 intent 인덱스 114,510개에 부분일치 — learn.sh search 근사)
결과 (2026-07-03 23:08, 첫 계측)
| 세트 | 정확 C2 | 퍼지 접지 | 해석 |
|---|
| V 정본200 | 100% | 100% | 파이프라인·DB 정상 (상한 확인) |
| R 실요청200 | 0% | 83% | 자연어 작업명은 정확키와 완전 불일치 — 라우팅은 반드시 search(퍼지) 경유 |
| F 최근산출물19 | 5%→42% | 63%→100% | 래칫 1라운드(MISS 7건 학습) 후 |
핵심 발견 (정직)
- 정확 lookup C2는 냉질의에서 사실상 0% — "70% 자립도"류 주장에 쓸 수 없는 지표. 실전 접지의 척도는 퍼지 search 단계다.
- 퍼지 접지 = 83%(실요청) — 실제 사용자 요청의 5/6은 학습DB 어휘권 안에 있다. 나머지 17%가 진짜 신규 도메인.
- 래칫 실증: 워크셋 MISS 7건을 산출 시점 이름으로 학습 → 퍼지 63%→100%, 정확 5%→42% (1라운드). 산출물을 만든 즉시 파일명 그대로 학습하는 습관이 C2 기울기를 만든다 — 의미어코드 래칫(07-03, 90%)과 정합.
- 네이밍 갭: 세션들이 학습시키는 intent(
방명록_이름마스킹_공개필터)와 재질의 어휘(방명록)가 어긋남 → 학습 시 핵심 명사 단독 별칭도 함께 add하면 정확 C2가 크게 오름 (F세트에서 실증).
다음 (P0 후속 제안)
- learn.sh add 시 자동 별칭(파일명·핵심명사) 이중 등록 → 정확 C2 상승
- 접지율계측.sh를 주간 크론이 아닌 세션 종료 훅에서 F세트만 실행해 이력 누적 (V/R은 월 1회)
- R세트 MISS 34건(17%) = 신규 도메인 백로그 — 우선 학습 대상 목록으로 활용
관련 파일
- 하네스·세트·이력:
/Users/ef/Downloads/CrownyTVM/crownycode-agent/접지율계측/
- 측정기 원본:
partner-tools/크라우니도구.sh grounding (기존 도구 재사용)
- 근거 문서: 「크라우니복합AI-토르-아키텍처」(07-02, P0 지정) · 「의미어코드-래칫-v3」(07-03)
후속 자동화 (2026-07-04)
- learn.sh add 별칭 자동 이중등록: 복합 intent(A_B_C) 학습 시 첫 토큰(핵심명사)을 keywords_alias.dat에
A|A_B_C|auto|5로 자동 등록. lookup 4단계 alias fallback이 이미 소비 → DB 무접촉·무오염. 스톱워드(fn/file/lib/test/웹코드) 스킵, 기존 독립 intent 충돌 시 스킵. E2E 검증(냉질의 핵심명사 lookup HIT) 통과.
- 효과: 냉질의 정확 C2의 근본 병목(intent 어휘 갭) 해소 — 이제 학습하는 즉시 "방명록"·"별메신저"·"양자통신" 같은 핵심명사 단독 질의가 정확 HIT. 이 세션 산출물 4건 별칭 소급 적용해 실증.
지표 교정 — 실효 접지율 확정 (2026-07-04)
초기 "실요청 냉질의 83%·MISS 34건 백로그"는
측정 지표의 토크나이저 결함이었다. 퍼지 지표가 "구분자 사이 온전한 토큰의 정확 일치"를 요구해, 복합 한글명사(크라우니서버패키지·아침브리핑 등 구분자 없는 한 덩어리)를 미커버로 오판. substring 어휘접지(도메인 어휘집합과 슬러그 덩어리의 부분일치)로 교정하니:
| 세트 | 정확 C2 | 토큰접지(엄격) | 어휘접지(실효) |
|---|
| V 정본200 | 100% | 100% | 100% |
| R 실요청200 | 0% | 83% | 99% |
| F 산출물19 | 42% | 100% | 94% |
- 34건 백로그의 실체: 14건 순수 토크나이저 인공물(도메인어 이미 커버), 19건 복합명사 substring 커버, 진짜 미커버 단 1건(
웰스북-ch2-원리 = 책 콘텐츠 챕터, 코드 아님 → DB에 없는 게 정상). 즉 실질 코드 접지 ≈100%.
- 결론: 크라우니AI의 실전 어휘 커버리지는 냉질의에서도 ~99%. 34건 억지 학습(오염)을 하지 않고 지표를 교정한 것이 정답이었다. 하네스에 어휘접지 컬럼 상설(접지율계측.sh).
- 정확 C2 상승 경로: learn.sh 별칭 자동등록(07-04)이 학습 즉시 핵심명사→정확HIT를 만드므로, 시간이 지날수록 정확 C2도 토큰/어휘접지에 수렴.