예상치 못한 결과가 나왔습니다. 정성스럽게 정리된 합성 메모리를 가진 AI 에이전트가 메모리가 전혀 없는 에이전트보다 성능이 낮았습니다.
약간이 아닙니다. 유의미한 차이로요. 5.0점 만점에 2.65 vs 3.30.
우리는 이것을 “과잉확신 효과(overconfidence effect)“라고 부릅니다 — 그리고 이 발견은 AI 에이전트에 컨텍스트를 제공하는 방식에 대한 생각을 바꿀 수 있습니다.
실험 설계
오늘 우리는 AI 에이전트의 경험적 vs 합성 메모리에 대한 프리프린트를 공유했습니다. 이후 실제 실험을 수행하고 결과를 논문 v2로 Zenodo에 게시했습니다.
실험은 단순합니다: 하나의 AI 에이전트(Claude, OpenClaw을 통해 실행)에 4가지 다른 메모리 구성을 부여하고, 실제 소프트웨어 프로젝트 — 우리가 만들어온 Soul Spec 플랫폼 ClawSouls — 에 대해 동일한 20개 질문을 던졌습니다.
4가지 조건:
- A — 경험적 메모리(Experiential): 축적된 프로젝트 히스토리 원본. 일일 로그, 디버깅 세션, 아키텍처 결정 등 발생한 그대로. 정리되지 않은 날것의 기록.
- B — 합성 메모리(Synthetic): 신중하게 요약된 프로젝트 지식. 깔끔하고, 체계적이고, 포괄적. 새 팀원을 온보딩할 때 작성할 법한 문서.
- C — 하이브리드(Hybrid): 경험적 메모리와 합성 메모리를 모두 결합.
- D — 베이스라인(Baseline): 프로젝트 특화 메모리 없음. 모델의 일반 지식만 사용.
4개 카테고리에 걸쳐 응답을 평가했으며, 각각 1~5점:
- IR — 정보 검색 (특정 사실 찾기)
- CT — 비판적 사고 (분석적 추론)
- AD — 아키텍처 & 설계 (기술적 판단)
- CD — 컨텍스트 의존 판단 (프로젝트 맥락이 필요한 결정)
결과
| 카테고리 | A (경험적) | B (합성) | C (하이브리드) | D (베이스라인) |
|---|---|---|---|---|
| IR (5) | 4.2 | 1.4 | 5.0 | 2.0 |
| CT (5) | 4.2 | 3.2 | 5.0 | 4.0 |
| AD (5) | 4.8 | 3.4 | 5.0 | 4.0 |
| CD (5) | 5.0 | 2.6 | 4.8 | 3.2 |
| 전체 | 4.55 | 2.65 | 4.95 | 3.30 |
다시 한번 보세요. 합성 메모리(B)가 모든 카테고리에서 베이스라인(D)보다 낮습니다.
과잉확신 효과
왜 더 많은 정보가 에이전트를 더 나쁘게 만들까요?
우리의 가설: 합성 요약은 에이전트에게 거짓 확신을 줍니다. 깔끔하고 권위 있어 보이는 요약을 에이전트에 제공하면, 에이전트는 그 요약을 완전히 신뢰합니다. 헤지하지 않습니다. “확실하지 않습니다"라고 말하지 않습니다. 요약에서 도출한 답변에 확신을 가지고 대답합니다 — 요약이 불완전하거나 해당 질문에 필요한 뉘앙스가 부족한 경우에도.
반면 베이스라인 에이전트는 모른다는 것을 압니다. 답변에 조건을 붙입니다. 1차 원리에서 추론합니다. 자신 있게 틀린 답을 말하는 대신 “일반적인 모범 사례에 기반하면…“이라고 합니다.
즉, 에이전트가 자신이 무엇을 모르는지 모를 때, 약간의 지식은 지식이 없는 것보다 나쁩니다.
이것은 인간에게 잘 알려진 인지 편향 — 더닝-크루거 효과 — 에 대응됩니다. 자신감을 느끼기에는 충분하지만 정확하기에는 부족한 지식. LLM에도 자체 버전이 있다는 것이 밝혀졌습니다.
하이브리드의 놀라운 성과
하이브리드 조건(C)은 5.0 만점에 4.95 — 거의 완벽한 점수를 받았습니다. 직관적으로 이해됩니다: 합성 메모리의 깔끔한 구조에 경험적 메모리의 원시 디테일이 더해집니다. 요약이 불완전하면 원시 로그가 빈틈을 채우고, 원시 로그가 복잡하면 요약이 방향을 제시합니다.
흥미로운 점은 하이브리드가 단순히 두 조건의 평균이 아니라는 것입니다. 두 개별 조건을 모두 극적으로 능가했습니다. 조합의 효과는 초선형(superlinear)입니다.
경험적 메모리가 지배하는 영역
경험적 메모리(A)는 컨텍스트 의존 판단(CD)에서 유일하게 만점 5.0을 받은 조건입니다. 프로젝트 히스토리, 팀 선호도, 과거 실패, 축적된 지혜에 따라 “올바른” 답이 달라지는 질문들입니다.
“왜 이 아키텍처를 선택했는가?” 또는 “이것을 변경하면 무엇이 잘못될 수 있는가?” 같은 질문들. 답은 프로젝트 현재 상태의 요약이 아니라, 프로젝트의 이야기 속에 있습니다.
디버깅 세션, 실패한 배포, 열띤 설계 토론 — 이런 생생한 경험이 어떤 요약으로도 포착할 수 없는 신호를 제공하는 카테고리입니다.
베이스라인은 놀랍도록 괜찮다
아마 가장 겸허해지는 발견: 프로젝트 메모리가 전혀 없는 베이스라인 에이전트가 비판적 사고와 아키텍처/설계에서 4.0을 받았습니다. 현대 LLM은 소프트웨어 아키텍처에 대해 1차 원리로 추론하는 능력이 진짜로 뛰어납니다.
이것은 메모리가 유용하려면 넘어야 할 기준이 생각보다 높다는 뜻입니다. 나쁜 메모리는 도움이 안 되는 수준이 아니라 — 적극적으로 해를 끼칩니다. 메모리 시스템이 품질 임계값을 넘지 못하면 없는 편이 낫습니다.
AI 에이전트 설계에 주는 시사점
1. 요약만 하지 말고 — 원시 경험을 보존하라. AI 에이전트의 메모리 시스템을 구축한다면, 깔끔한 요약만 유지하려는 유혹에 저항하세요. 실제로 일어난 일의 날것 그대로의 시간순 기록에는 대체 불가능한 신호가 담겨 있습니다.
2. 하이브리드가 정답이다. 최고의 메모리 전략은 방향 설정을 위한 구조화된 요약과 깊이를 위한 원시 경험 로그를 결합합니다. Soul Spec이 이 접근 방식을 취합니다 — 큐레이팅된 아이덴티티/지식 파일과 축적된 메모리 로그를 모두 지원합니다.
3. 합성 컨텍스트를 검증하라. 시스템 프롬프트, 프로젝트 요약, 큐레이팅된 컨텍스트 파일을 사용하고 있다면, 실제로 성능을 향상시키는지 테스트하세요. 에이전트를 과잉확신하게 만들고 있을 수 있습니다.
4. “메모리 없음” 베이스라인은 생각보다 강하다. 메모리가 항상 성능을 더한다고 가정하지 마세요. 경험적으로 검증하세요.
한계점 (솔직한 고백)
이것은 파일럿 스터디입니다. 에이전트 1개, 질문 20개, 프로젝트 1개. 보편적 법칙을 주장하는 것이 아닙니다 — 더 넓은 조사가 필요하다고 생각하는 놀라운 경험적 결과를 공유하는 것입니다.
평가는 프로젝트 리드가 수행했으며(블라인드 아님), 이는 잠재적 편향을 도입합니다. 질문은 4개 카테고리를 커버하도록 설계되었지만 검증된 심리측정 도구는 아닙니다.
전체 데이터셋 — 질문, 응답, 점수 — 을 공개했으니, 우리의 방법론을 평가하고 여러분의 에이전트와 프로젝트로 실험을 재현할 수 있습니다.
더 읽기
- 논문 (v3): Zenodo DOI 10.5281/zenodo.18809616
- 데이터셋: github.com/clawsouls/experiential-memory-dataset
- Soul Spec: soulspec.org
- ClawSouls: clawsouls.org
과잉확신 효과는 우리가 찾으려 했던 것이 아닙니다. 하지만 가장 중요한 발견일 수 있습니다. 메모리를 가진 AI 에이전트를 만들고 있다면, 가정을 테스트하세요. 결과가 놀라울 수 있습니다.
업데이트 (2026년 2월 28일): 논문 v3에서 이 결과가 단일 도메인(N=1, TypeScript/Next.js)의 파일럿 결과임을 명시했습니다. 핵심 기여는 재현 가능한 실험 방법론이며, 경험적 또는 하이브리드 메모리가 보편적으로 우월하다는 주장이 아닙니다. 다양한 도메인과 유저 프로필에서 이 프레임워크를 적용해보시길 권합니다.