← 목록
기타 2026-07-17 2KB 읽기 2분

의미어 이해 라우터 천장 개선 — 혼동행렬 재클러스터링

개요

의미어 명령유형 라우터의 "이해 천장"을 재진단·개선. 혼동행렬 기반 클러스터 재도출로 coarse 정확도 +4.9%p.

진단 (라우터평가.py — 5-fold CV 신규 하니스)

  • baseline: flat 71.2%(1655/2324)·coarse 81.9%(1903/2324).
  • ★flat 오류 669건 中 63%(421건)가 클러스터 교차=진짜 오류(세분 회복 불가), 37%만 내부.
  • 상위 교차오류: 근거-주장↔관찰-판단-행동(22)·감정-원인-대처↔사건-반응-다짐(20)·조건-지시↔상황-지시(18)·상황-지시↔이유-요청(16) → 혼동쌍이 서로 다른 클러스터=클러스터링 미포착.

개선 (클러스터도출.py — 혼동 union-find T 스윕)

  • T 스윕: T=2 붕괴(18유형 단일군, coarse 98.4%=무의미 허수)·T=3 knee·T=4(현재) 81.9%·T≥8 flat 수렴.
  • ★T=3 채택: 의미있는 3군(군 이유·고장 2 / 군 문제·원인·계획·대조 4 / 군 상황·조건·가정·감정·목표·관찰·근거 7)+8싱글턴.
  • coarse 81.9%→86.8%(교차오류 18.1%→13.2%, 내부회복 37%→54%).

배선·검증

  • 클러스터.psv(T=3) 재도출 → 라우터학습.py 재학습(모델 C|라인 21 반영) → 한선씨 계층 라우터 런타임 검증.
  • 한선씨 계층 라우터는 의미어라우터_모델.psv를 런타임 데이터로 읽음 → toau 재컴파일 불요.
  • 스모크: "화면 깨졌어 고쳐줘"→세분(군 이유·고장 후보방출)·"확인해줘"→티(싱글턴 완결).

정직

  • flat 71.2% 불변(coarse=결정론 클러스터 천장 지표, 세분 LLM이 내부 disambiguate).
  • 7유형 대군은 세분 LLM 범위↑ 트레이드오프(혼동 데이터가 정당화).
  • 라우터 정본=의미어라우터_계층.한선, 평가/클러스터링=측정도구(Python).

관련 파일

  • 라우터평가.py(5-fold CV·내부/교차 분해, 신규), 클러스터도출.py(기존, T 스윕)
  • data/클러스터.psv(T=3 재도출, .bak-천장개선전 백업), libs/의미어라우터_모델.psv(재학습)
  • libs/의미어라우터_계층.한선(정본 런타임)

잔여 이슈

  • 교차오류 13.2% 中 일부는 여전히 싱글턴 혼동(감정-원인-대처↔사건-반응-다짐 등) — 코퍼스 보강 or 세분 게이트.
  • 7유형 대군 세분 정확도(LLM) 별도 측정 필요.
  • flat 71.2% 상향은 피처 고도화(코퍼스 확장·피처엔지니어링) 별도 트랙.