오버피팅
2026/11/04
수많은 학문이 암묵지를 형식지로 변환하는 과정이긴 한데, 현대 AI의 측면에서 보면 이것은 꽤 오버피팅 문제의 속성이 있다.
그리하야,
암묵지의 형식지 전환은 특히 경박단소 주제에서 꽤 그럴듯한 인과, 상관을 밝히기도 하고 또 효용을 주기도 하지만, 말 그대로 오버피팅의 문제를 일으키기도 하는 것 같다.
예컨데 AI를 잘 쓰기 위한 툴링, 기법들에서 그럴 가능성이 존재한다는 것이 나의 오래된 생각인데, 그것들을 단 하나의 단위계로 압축하면 토큰 효율성으로도 수렴할 수 있다. (궁극적인 문제의 해답에 도달했는지 평가 스코어, 시간, 비용, 해답에 도달하는 여정 중에 새롭게 창발된 지식, 아이디어, 제3의 길을 포함)
그렇다면,
토큰 효율성 향상을 위했던 툴링, 트릭, 기법들은 과연 효율적이었나, 지금은 효율적인가, 앞으로도 효율적인가, AI 발전 커브를 추종할 수 있나? 그것의 총비용(TOC)은 설득력이 있나? 라는 생각을 하지 않을 수가 없었으나.
쪼렙이라 욕먹고 방어할 능력이 없어 더 이상은 적지 않겠다. 핳핳핳.