요청: 의미어-규칙기반-도구-계속
- 날짜: 2026-07-23 19:24:26
- 작업 경로: /Users/ef
요청 본문
규칙기반 AI 의미어 도구 구현/실현 계속하기.
관련 산출
(클로드가 작업 결과를 이어 기록)
산출 결과 (2026-07-23) — 의미어라우터 구조피처 천장개선
무엇을 했는지
명령 이해 라우터(NB+계층 클러스터)의 flat 천장(73.5%)을 구조피처로 개선. 다른 세션의 충전 웨이브(의미어연결 DB 성장)와 무충돌 트랙.실험 (5-fold CV, 2,324실례)
- 상위백오프(의미어연결 hypernym → ↑피처): -4.3%p 해악 → 기각 (NB 상관피처 중복계상)
- 채택 = 구조피처 5종: ¤¶첫절끝2 · №절개수 · ◇¶중간절끝2 · ¶3끝3글자 · ¤3첫절끝3
결과 실측
| 지표 | 전 | 후 |
|---|---|---|
| flat | 73.5% | 84.4% (+10.9%p) |
| coarse | 88.8% | 92.1% (+3.3%p) |
| 4상 티 커버(토큰0 결정론 완결) | 38.4% | 62.1% (+23.7%p) |
| 티 정확 | 96.1% | 95.9% (유지) |
배선·검증
- 트레이너 라우터학습.py feats() + 한선씨 정본 2본(의미어라우터_계층.한선·의미어라우터_코어.한선 특징추출+양끝트림) 동시 갱신 — 한선씨 동반=정본 자체
- 재학습 모델 11,817줄(백업 .bak-구조피처전), 계층·서버 toau 재컴파일(경고0)
- 파리티 40/40(라운딩모델 Python vs 한선씨 CLI), 상주서버 9793 재기동·nc 라이브 확인(margin CLI 동일)
- E2E: 명령실행기 "보고서 만들어줘"→목적-제작 티→CREATE
관련 파일
- /Users/ef/crowny-butler/라우터학습.py · libs/의미어라우터_계층.한선 · libs/의미어라우터_코어.한선 · libs/의미어라우터_모델.psv
- 실험도구(스크래치): 라우터피처실험.py·라우터피처실험2.py·파리티검증.py·티커버측정.py
잔여 이슈
- 교차오류 잔존 183건(고장-요청↔이유-요청 33 최다) — 코퍼스 보강 트랙
- 충전 웨이브 의미어 자산의 라우터 활용은 hypernym 백오프로는 부적합 실증 — 유사어 정규화 등 다른 접목법은 미탐
중간점검 분석 (2026-07-24) — 현재 상태 vs 전통 LLM vs 알파고
현 시스템의 정체
"결정론 코어(규칙+NB+삼진DB)가 다수를 토큰0으로 처리하고, LLM은 퍼지경계·라벨링에만 쓰며, 그 산출을 래칫으로 규칙자산화하는 복합AI." 스택=L1 64,955단어→L2 147,372연결→L3 3,576표현→L4 6,147실례→계층라우터(flat 84.4%·티 62.1%@95.9%)→화행·행위규칙→안전게이트 3단→실행핸들러.vs 전통 LLM (실측 근거)
| 축 | 전통 LLM | 현 시스템 |
|---|---|---|
| 처리단가 | 매 요청 토큰과금·초단위 | 티 62% 토큰0·20~29ms |
| 재현성 | 비결정(온도0도 버전드리프트) | 100% 재현(파리티 40/40) |
| 감사 | 불투명 | margin·사상·후보 전부 로그 |
| 인젝션 | 프롬프트로 오염 가능 | 의미어 게이트 인젝션 0통과 실측 |
| 망각/환각 | 있음 | 커버영역 무환각·무망각(DB) |
| 학습 | 추론은 무상태 | 래칫=쓸수록 커버 증가(38→62%) |
| 열위 | — | 추론깊이·창발·긴맥락·커버밖(NB단독 63%<LLM 83%) |
vs 알파고
- 구조 대응: NB+클러스터=정책망(후보 가지치기), 세분LLM=깊은 탐색, 4상 게이트=착수/기권 임계, 다판정관 2/3=앙상블 평가.
- ★결정적 차이=보상신호 가격. 알파고는 승패라는 무료·무한 그라운드트루스로 셀프플레이 폐루프. 현 시스템의 정답신호는 LLM 3판정관(57s·유료)+인간검토=비싸고 유한 → 래칫이 컴퓨트 바운드가 아니라 데이터 바운드.
- 함의: 알파고의 교훈을 옮기려면 "무료 검증기"가 있는 곳부터 폐루프화 — 컴파일 성공/실패, 조회 HIT/MISS, API 200/실패, assert 통과 = 우리 도메인의 승패신호. (기존 확립: 검증이 이긴다·크라우니 물성=수천번 값싼 검증연산 복합)
중간점검 — 강점/약점
- 강점: 게이트+실행 이중구조 완성(라우터→화행행위→안전3단→핸들러→승인큐→인간검토), 티 커버 62% 실측, 자산 전부 PSV/한선씨(이식·감사 용이).
- 약점: ①정답신호 병목(위) ②세분 LLM 57s ③커버밖 대응(의미어 게이트커버 22%) ④단발 명령 위주 — 다턴 문맥·목표추적 없음 ⑤결선 미완(nexus 도메인라우터, 음성→실행 종단).
방향 제안 (사용자 검토용)
- 고도화 A(최고레버리지): 실행접지 래칫 — 실행결과(컴파일·HIT·200·assert)를 래칫 라벨로 자동 되먹임. 알파고형 폐루프의 크라우니 버전, LLM판정관 의존↓.
- 고도화 B: 교차오류 코퍼스 보강(고장-요청↔이유-요청 33 최다쌍 집중).
- 고도화 C(대형·보류가능): 세분 증류SLM(57s→ms, 젯슨 토르 트랙).
- 결선 D: 음성(STT 9971)→라우터→실행기 종단 파이프 실증.
- 결선 E: nexus 도메인라우터 갭 — 라우터 유형→업무도메인 매핑.
- 결선 F: 충전 의미어자산의 라우터 접목 재시도(hypernym 기각됨 → 유사어 정규화 등 대안).
6트랙(A~F) 완주 기록 (2026-07-24)
A. 실행접지 래칫 ✅ (알파고형 폐루프)
- 정본 libs/실행접지판정.한선(4상 매트릭스 5/5): 세분+실행성공+LLM1픽(∈후보)+화행일치=2표→티 채택. 옴=접지보류.psv, 차단=음.
- 배선: 명령실행기.js 접지래칫() + 래칫 재학습 후 상주서버 자동 kickstart(구모델 잔존 갭 동시 수리).
- E2E 실증: "프린터가 고장났어‖고쳐줄래" 세분→REQUEST 적재 성공→티 채택→재학습→마진 205→426. 판정관 3→1(-66%).
B. 혼동쌍 코퍼스 보강 ✅
- sonnet 위임 150줄 생성→결정형 게이트(5필드·공백0·유형유효·중복3 제외)→147줄 append→2,472실례.
- flat 84.4→84.8%·coarse 92.1→92.4%(하드케이스 추가된 평가셋 기준). 경계쌍 라이브: 세탁기(고장,1021) vs 토너(이유,1884) 양방향 티.
C. 세분 로컬확정 ✅ (증류 1단계 — LLM 세분 축소)
- 클러스터 전용 NB+χ문자바이그램(LP/LF 모델라인, 29,681→31,437줄). 정본 계층+코어 동시 이식.
- ★정직 재측정: 참클러스터 조건 91.5%는 낙관 — 예측클러스터 조건(런타임 그대로) 스윕 후 문턱 1000 채택.
- 최종 5-fold: 합산티 68.5%@95.2%(coarse티 63.4%@96.0%+로컬티 5.1%@84.1%), LLM잔여 36.6→31.5%(-14%). 품질바 95% 유지.
- 파리티(유형+사상+마진): 40/40 + 문턱변경 후 15/15.
D. 음성→실행 종단 결선 ✅
- tools/음성명령파이프.sh(wav→STT:9971→게이트→명령실행기) + 정본 libs/음성명령게이트.한선(4/4).
- E2E: "하".wav→판정1→티→실행기 라우팅(exit 0) / "수".wav→저확신 옴 정지(모름 전파, exit 3). bash 함정 2건 수리(한글변수명·stdout 오염).
- 한계: STT v2 어휘=8음절(연구단계) — 어휘 확장은 voice 트랙.
E. nexus 도메인라우터 ✅ (메모리 기록 갭 해소)
- 정본 libs/의사결정도메인라우터.한선 + data/의사결정도메인.psv(68키워드): 질문→기업/개인/국가/의료 + 4상(티/옴/음이관). 7/7 검증(교차도메인=옴).
- 결선: 실행핸들러 REQUEST/COMMAND 작업큐 적재 시 도메인 태그 — 라이브 실증
...|기업|옴. 잔여=도메인별 슬롯어댑터(기업판정 8인자 등).
F. 유사어 정규화 검토 ✅ (측정 후 기각)
- OOV 내용어만 유사어 치환(추가 아닌 치환=중복계상 없음). 유사맵 21,199단어, 치환 133/2472문장(OOV 5.4%).
- flat 84.8→84.8%(불변)·coarse +0.1%p → 런타임 미채택(모델 +43k줄 비용>이득). 실사용 OOV 텔레메트리(접지보류) 축적 후 재평가.
합산 효과 (전 세션 대비)
- 결정론 완결(티): 38.4% → 68.5% (1.8배), 정확 95.2% 유지.
- LLM 세분 잔여 31.5%, 그중 실행성공 케이스는 판정관 3→1.
- 서버 :9793 라이브(로드 ~7s, 요청 ~20ms), 파리티 전 구간 일치.
잔여
- 도메인별 슬롯어댑터(E), STT 어휘 확장(D), 접지보류 재검토 주기화(A), OOV 텔레메트리 후 F 재평가.