센스메이킹의 렌즈로 본 LLM Wiki
0. 연구 개요
본 연구는 Pirolli & Card (2005)의 센스메이킹 이론을 분석 프레임워크로 삼아, Karpathy가 제안한 LLM Wiki를 평가한다. 센스메이킹 이론은 인간이 정보를 수집하고, 가설을 세우며, 이를 검증해 의미를 구축하는 전 과정을 7개의 인지 병목(Leverage Points)으로 구조화한다.
이 7개 병목 각각에 대해 LLM Wiki가 어떤 해결 방법론을 제시하는지 분석하고, 여전히 남아 있는 과제를 도출함으로써 인간과 AI의 협업을 통한 센스메이킹 시스템 — 즉 인간의 사고 과정을 확장하는 인지 증강 도구 — 의 설계 방향을 제시한다.
RQ1. 센스메이킹의 7개 Leverage Point 각각에 대해 LLM Wiki는 어떤 해결 메커니즘을 제공하는가?
RQ2. LLM Wiki가 여전히 해결하지 못한 센스메이킹 병목은 무엇이며, 그 원인은 무엇인가?
RQ3. 이러한 한계를 보완하기 위한 설계 방향은 무엇인가?
1. 센스메이킹 이론
1.1 이론 요약
Pirolli & Card (2005)는 정보분석가의 인지 과정을 Think-Aloud Protocol로 분석하여, 정보를 수집하고 의미를 구성하는 과정을 Foraging Loop(정보수집)와 Sensemaking Loop(의미구축)라는 두 개의 상호작용하는 루프로 모델링한다. 또한 인간의 인지적 한계와 데이터 과부하가 만나는 지점에서 발생하는 7가지 Leverage Points를 식별하고, 기술(특히 시각화)이 이 지점들에 개입하여 분석가의 성과를 개선할 수 있는 방향을 제시한다.
궁극적인 메시지: “분석 도구는 더 많은 데이터를 제공하는 것이 아니라, 인간 인지의 구조적 병목에 정확히 개입하도록 설계되어야 한다.”
1.2 두 루프의 의미
| 루프 | 역할 | 핵심 메타포 |
|---|---|---|
| Foraging Loop | 정보를 찾고(Search), 걸러내고(Filter), 추출(Extract)하여 스키마로 만듦 | 동물이 먹이를 찾아다니듯 정보 수집 |
| Sensemaking Loop | 수집된 정보로 가설을 만들고, 증거로 검증하며 최종 이해 구조(mental model)를 구축 | 퍼즐 조각을 맞춰 전체 그림을 완성 |
이 둘은 순차적이 아니라 병렬·반복적으로 작동하며, 한 루프의 결과가 다른 루프의 질문을 생성한다.
1.3 Leverage Points
“도구가 개입해야 할 전략적 지점.” 인간의 인지 시스템에는 구조적 병목과 체계적 편향이 존재하는데, 이 지점들에 정확히 개입하면 작은 변화로 큰 성과 개선을 얻을 수 있다.
- Foraging 측(1~4): 주로 비용 구조(cost structure) 문제 — 정보 처리에 드는 인지적 비용 증가
- Sensemaking 측(5~7): 주로 인지 편향(cognitive bias) 문제 — 인간의 체계적 판단 오류
Foraging Loop 측 (Leverage Point 1~4)
| # | 지렛대 포인트 | 문제 | 해결 방향 |
|---|---|---|---|
| 1 | 탐색-정제-활용 트레이드오프 Exploration-Enrichment-Exploitation | 정밀도-재현율 트레이드오프. 많이 찾을수록 처리 정보량 폭증 | Focus+Context 기법 (Furnas, 1986) |
| 2 | 스캐닝·인식·선택 비용 Scanning, Recognition & Selection | 엔터티 찾고 관련성 평가에 많은 시간 소비 | 전주의적 코딩(Pre-attentive Coding)으로 중요 정보 강조 |
| 3 | 주의 전환 비용 Attentional Shift | 새 도메인 전환 시 높은 재시작 비용 | — (작업 맥락 영속성 유지 필요) |
| 4 | 후속 검색 비용 Follow-up Search | 분석 중 추가 질문마다 새 검색·재분석 필요 | — |
Sensemaking Loop 측 (Leverage Point 5~7)
| # | 지렛대 포인트 | 문제 | 해결 방향 |
|---|---|---|---|
| 5 | 작업기억 한계 Working Memory Limit | 증거 간 관계가 지수적 증가 → 인간 작업기억 용량(3~5개 청크) 초과 | 정보 시각화 + 외부 기억 오프로딩 |
| 6 | 대안 가설 생성 부족 Insufficient Alternative Hypothesis Generation | 기존 스키마에 갇혀 다양한 가설 공간 탐색 실패 | 가설 집합의 가능성 공간 확장·개선 도구 |
| 7 | 확증 편향 Confirmation Bias (Tversky & Kahneman, 1974) | 자신의 가설만 지지하는 증거 수집, 반증은 무시 | 고진단성 증거와 반증 검색을 유도하는 도구 |
2. LLM Wiki 개념
2.1 LLM Wiki란
Karpathy가 제안한 LLM Wiki는 LLM Agent를 활용해 개인 지식 베이스를 구축하는 패턴이다. 기존 RAG의 근본적 한계 — 매 질문마다 처음부터 지식을 재발견해야 하는 문제 — 를 극복하기 위해, LLM이 영구 위키(persistent wiki)를 점진적으로 구축·유지보수하는 3-레이어 아키텍처를 제안한다.
| 레이어 | 구성 요소 | 설명 |
|---|---|---|
| Raw Sources | PDF, 웹, 영상 등 | 불변 원본 |
| The Wiki | LLM이 작성한 마크다운 페이지 | 요약·추출·통합·교차참조된 결과물 |
| Schema | index, 규칙 파일 | 위키의 구조와 표준 정의 |
핵심 파이프라인: Ingest → Query → File-back → Lint의 4단계
2.2 핵심 파이프라인
| 파이프라인 | 설명 | 센스메이킹 역할 |
|---|---|---|
| Ingest 수집·통합 | 새 소스 추가 시 기존 위키와 비교·분석하여 관련 페이지 업데이트 또는 새 페이지 생성. “소스 1개가 10~15개 페이지에 영향” | Foraging Loop의 탐색·정제 과정을 LLM에 위임 |
| Query 질의·탐색 | 사용자 질문에 대해 위키 페이지를 검색·종합하여 답변 생성. 검색 대상이 원시 문서가 아닌 정제된 위키 | Sensemaking Loop의 가설 생성·증거 추론 지원 |
| File-back 파일백·축적 | 좋은 답변을 위키에 새 페이지로 저장. 복리 효과(compounding knowledge)의 핵심 | 새로운 통찰을 위키에 축적 → 지식의 영속성과 성장 |
| Lint 린트·품질 관리 | 페이지 간 모순·오래된 정보·불일치 발견 및 표기 | 확증 편향을 간접적으로 완화 |
3. 센스메이킹 관점의 LLM Wiki 평가
※ 전제: LLM Wiki는 전통적 “분석 도구”는 아니지만, 정보 수집·의미 구성 측면에서 센스메이킹 과정을 수행한다.
3.1 Foraging Loop 관점
#1 탐색-정제-활용 트레이드오프 — 강력 개선
Ingest 프로세스는 탐색-정제-활용 트레이드오프를 거의 완전히 LLM에 위임한다. 특히 “한 소스가 10~15개 위키 페이지에 영향을 줄 수 있다”는 점은 정보의 재조합(recombinatory synthesis)을 LLM이 수행한다는 의미로, Pirolli–Card가 그린 이상적인 도구의 방향과 일치한다.
#2 스캐닝·인식·선택 — 개선
LLM이 엔티티 페이지를 자동 생성·업데이트하고, index가 모든 페이지의 한 줄 요약과 메타데이터를 제공한다.
#3 주의 전환 비용 — 획기적 개선
영구 위키는 이전 작업의 결과물을 항상 유지한다. 이것이 “RAG는 매번 처음부터 재발견”이라는 비판의 핵심이다.
#4 후속 검색 비용 — 개선
위키 내 Query + File-back 패턴으로 검색 결과가 다시 위키에 축적된다.
3.2 Sensemaking Loop 관점
#5 작업기억 한계 — 강력 개선
위키는 외부 기억(external memory)의 구현이다. Pirolli–Card가 제안한 “정보 패턴을 외부 기억으로 오프로드”의 현대적 구현체에 해당한다.
#6 대안 가설 생성 — 부분 개선
LLM이 다양한 관점의 synthesis 페이지를 생성하지만, “가능성 공간 개선”이 명시적으로 설계된 기능인지는 불분명하다. 또한 LLM 자체의 편향이라는 새로운 문제가 발생한다.
#7 확증 편향 — 부분 개선
Lint 패스의 모순 발견 기능은 확증 편향을 간접적으로 완화하지만, “고진단성 증거와 반증 관계 검색에 주의를 분배하는 도구”는 명시적 기능으로 설계되지 않았다.
3.3 LLM Wiki가 놓친 지점
- Schema 레이어의 모호성 — Representation Shift 미구현. 위키가 커질수록 Schema가 어떻게 진화해야 하는지 불명확
- 사용자 Sensemaking 참여 제한 — LLM이 기록은 하지만, 사용자의 가설 생성·증거 추론 과정을 능동적으로 지원하지 않음
- Query–File-back 선순환 부재 — 지식이 쌓일수록 정보 과부하가 위키 내부에서 재현되는 역설
3.4 종합 — Leverage Point별 평가
| # | Leverage Point | LLM Wiki의 대응 메커니즘 | 평가 |
|---|---|---|---|
| 1 | 탐색-정제-활용 트레이드오프 | Ingest — 탐색·정제를 LLM에 위임, 재조합 합성 | 강력 개선 |
| 2 | 스캐닝·인식·선택 비용 | 엔티티 페이지 자동 생성 + index 요약 | 개선 |
| 3 | 주의 전환 비용 | 영구 위키 — 작업 맥락 영속 | 획기적 개선 |
| 4 | 후속 검색 비용 | Query + File-back 축적 | 개선 |
| 5 | 작업기억 한계 | 외부 기억 오프로딩 | 강력 개선 |
| 6 | 대안 가설 생성 부족 | synthesis 페이지 — 단, 명시적 설계 아님. LLM 편향 유입 | 부분 개선 |
| 7 | 확증 편향 | Lint의 모순 발견 — 간접적 완화에 그침 | 부분 개선 |
정리하면 LLM Wiki는 Foraging Loop의 비용 구조 문제(1~5)에는 강력하게 개입하지만, Sensemaking Loop의 인지 편향 문제(6~7)에는 부분적으로만 대응한다. 편향 완화가 별도 기능이 아니라 Lint의 부수 효과에 머무른다는 점이 핵심 한계다.
4. 설계 방향 — 그리고 제품으로
본 연구는 이상의 분석을 바탕으로, LLM Wiki가 놓친 세 가지 지점 — Schema 진화 메커니즘의 부재, 사용자의 Sensemaking 참여 제한, Query–File-back 선순환 설계 부재 — 을 해결하기 위한 설계 방향을 모색한다.
구체적으로, 센스메이킹의 핵심 과정인 Representation Shift를 지원하려면 단순한 위키 페이지 축적을 넘어, 사용자의 이해 구조 변화를 감지하고 이에 따라 지식 구조를 재조직하는 메커니즘이 필요하다. 또한 가설 생성과 반증 검색을 능동적으로 유도하는 상호작용 설계가 요구된다.
이 설계 원칙을 실제 시스템으로 구현하고 사용자 연구로 효과성을 검증하는 것이 최종 목표다. LLM 기반 도구가 단순한 “정보 저장소”를 넘어, 사용자의 센스메이킹 과정을 적극적으로 지원하는 “인지 증강 도구”로 발전할 수 있는 방향을 제시한다.
여기서 도출한 방향을 실제로 구현한 것이 My Knowledge Café다. 대화의 자동 정리(Ingest·File-back), 관련 자료의 컨텍스트 서핑(Query), 사용자가 직접 정하는 지침·폴더 규칙(Schema 통제)이 각각 위 과제에 대응한다. 남은 과제 — 특히 가설 생성·반증 검색의 능동적 지원과 Schema 진화 — 는 제품 업데이트를 통해 계속 완결해 간다.
Pirolli, P., & Card, S. K. (2005). The Sensemaking Process and Leverage Points for Analyst Technology as Identified Through Cognitive Task Analysis.
Furnas, G. W. (1986). Generalized Fisheye Views.
Tversky, A., & Kahneman, D. (1974). Judgment under Uncertainty: Heuristics and Biases.