AI에는 기억 문제가 두 개 있다. 우리는 하나만 얘기하고 있다.
모두가 주목하는 돌파구 2주 전, Moonshot AI의 Kimi 팀이 Attention Residuals(arXiv:2603.15031)를 발표했다 — 트랜스포머 레이어 간 정보 흐름의 근본적 재설계. 결과는 놀랍다: 과학 추론 7.5점 향상, 1.25배 연산 효율, 무한 레이어 스태킹의 이론적 가능성. 핵심 통찰은 우아하다. 기존 트랜스포머는 고정 residual connection을 쓴다 — 각 레이어가 출력을 누적 합산에 더한다. 모든 재료를 한 솥에 넣고 끓이는 것과 같다. 100번째 레이어에 도달할 때쯤이면 3번째 레이어의 신호는 누적된 노이즈 아래 묻혀버린다. Attention Residuals는 이것을 선택적 검색으로 교체한다. 각 레이어가 어텐션을 사용해 이전 레이어 중 현재 계산에 필요한 것만 골라서 가져온다. 수프 대신 뷔페. ...