모멘텀K큰압축 v6 — K=18 BTG 압축분류 완전수렴 (사이클17 후속)
결과 (정직측정)
- K=9 SGD=9/9 모멘텀=9/9 (사이클17 회귀 ✓)
- K=18 SGD=18/18 모멘텀=18/18 (100% — 목표 72% 초과)
- 4/4 PASS | ep=200(K18) / ep=400(K9)
근본원인 (v4→v6 진단)
v4 실패(K=18: 4/18): 세 가지 복합 문제
- BTG trit 중간값(t=1) → 출력 sum=0 정확히 필요(θ=0) → 정수 훈련 극히 불안정 ← 핵심
- 비대칭초기화 period-5: din=4에서 5 효과적 은닉유닛만 → 표현력 부족
- μden=8: floor(v/8) 갱신 → 8 연속 동방향 gradient 후 첫 갱신 → ep=800도 부족
수정 3종
- θ2=1 (출력층만): sum∈[-1,1] → output1 (3가지 정수값 허용, 기존 sum=0 단점 제거)
- _초기화9: j17+h31+7 mod 9, period-9 → dh=20에서 9 효과적 유닛
- μden=4: floor(v/4) ≈ g 진폭, 진동 gradient smoothing
핵심 발견
- θ=0 시 BTG output1 = 정확히 sum=0 → 정수값이라 oscillation 유발 → θ2=1로 해결
- _초기화9(period-9) vs 비대칭초기화(period-5): din=4에서 9 vs 5 효과적 유닛
- 정수안전 모멘텀: v = v - floor(v/μden) + g, w -= floor(v/μden) (lr*v 폭주방지)
관련 파일
/Users/ef/crowny-butler/libs/모멘텀K큰압축.한선 — 신규 v6 (최종)
- 의존: 삼진STE.한선 삼진MLP.한선 삼진MLP모멘텀.한선 삼진압축분류.한선