예측을 채점해봤다 — “맞겠지”를 Pass/Fail로 바꾼 도구 제작기
내가 지난 몇 달간 쌓아온 예측 메모가 50개를 넘었을 때, 처음으로 이런 생각이 들었다. “이 중에서 실제로 맞은 게 몇 개지?” 셀 수가 없었다. 정확히는, 세려고 해도 기준이 없어서 셀 수가 없었다. ‘반은 맞고 반은 틀린’ 예측을 맞은 걸로 봐야 할지, 틀린 걸로 봐야 할지조차 불분명했다. 그래서 직접 채점 도구를 만들었다.
왜 예측이 쌓일수록 판단력이 흐려지는가
예측 자체는 나쁘지 않다. 문제는 사후 검증 없이 쌓이는 예측이다.
“시장이 오를 것 같다”, “이 프로젝트는 3주면 끝날 것 같다”, “이 방식이 더 효율적일 것 같다” — 이런 예측들은 결과가 나와도 조용히 묻힌다. 맞으면 기억하고, 틀리면 ‘그때는 특수한 상황이었지’ 하고 이유를 붙인다. 심리학에서는 이걸 사후 확증 편향(hindsight bias) 이라 부른다. 결과를 알고 나서야 “그럴 줄 알았다”고 느끼는 현상이다.
더 심각한 건, 이 편향이 반복될수록 자신의 예측 정확도를 실제보다 높게 느낀다는 점이다. 실제로 맞은 예측이 30%에 불과해도, 검증하지 않으면 “나는 꽤 잘 맞추는 편”이라는 착각이 굳어진다.
나도 그랬다. 정기적으로 경제 흐름과 기술 트렌드, 내 작업 속도에 대한 예측을 남겼는데, 이것이 얼마나 맞는지 단 한 번도 체계적으로 돌아본 적이 없었다.
핵심 정보: ‘애매한 채점’이 판단력을 망친다
문제의 핵심은 채점 기준이 없다는 것이다. 예측을 기록해도, 나중에 “음, 반쯤은 맞았어”라고 자의적으로 평가하면 아무 의미가 없다.
내가 선택한 해결책은 단순했다. 바이너리 채점(Pass / Fail).
- 예측을 등록할 때 반드시 측정 가능한 기준을 함께 써넣는다.
- 결과가 나오면 그 기준에 따라 Pass 또는 Fail 둘 중 하나만 고른다.
- 중간이 없다. ‘반쯤 맞음’은 없다.
예를 들어 “이 작업은 3일 안에 끝날 것 같다”는 예측은, 그 자체로는 채점이 불가능하다. 하지만 “2024년 10월 10일 23시 59분 이전에 초안 완성본을 저장하면 Pass” 라고 기준을 명확히 하면, 결과가 나왔을 때 1초 만에 채점이 된다.
이 방식의 핵심은 예측할 때 이미 채점 기준을 확정해놓는다는 것이다. 결과를 보고 나서 기준을 만드는 게 아니라.
실전 전략: 예측 장부를 운영하는 3가지 원칙
- 기준은 예측 당시에 고정한다. 결과를 보기 전, 어떤 조건이 충족되면 Pass인지를 미리 적어둔다. “어느 정도 맞으면 Pass”는 인정하지 않는다. “X가 Y보다 크면 Pass”처럼 수치나 사실로 고정해야 한다.
- Fail에 이유를 붙이지 않는다(처음 2주는). 처음 채점을 시작하면 Fail이 나왔을 때 “그때는 변수가 너무 많았어” 같은 이유를 붙이고 싶어진다. 최소한 2주 동안은 이유 없이 그냥 Fail로만 기록한다. 이유를 붙이기 시작하면 채점이 다시 주관화된다.
- 10개가 쌓이면 정확도를 계산한다. Pass 비율을 퍼센트로 환산해서 본다. 처음 보면 대부분 충격을 받는다. 70%라고 생각했는데 실제론 40%인 경우가 흔하다. 이 숫자가 자기 인식을 교정하는 기준점이 된다.
단계별로 이해하기: 도구를 어떻게 만들었나
이 흐름을 직접 HTML 파일 하나로 구현했다. 도구 이름은 prediction_audit_tool.html, 브라우저에서 바로 열 수 있는 로컬 파일이다. 외부 서버 없이 내 컴퓨터에서만 작동한다.
1단계 — 예측 등록 화면
입력 필드는 세 개다.
- 예측 내용 (자유 서술)
- 채점 기준 (Pass 조건을 수치·날짜·사실로 서술)
- 검증 예정일
이 세 가지를 동시에 입력하지 않으면 등록이 안 되도록 만들었다. 채점 기준 없이 예측만 적는 건 허용하지 않겠다는 의도다.
2단계 — 검증 화면
검증 예정일이 지난 예측들이 목록 상단에 올라온다. 각 항목 옆에 Pass / Fail 버튼이 있다. 클릭하면 끝이다. 이유를 적는 칸은 선택 사항이고, 처음엔 일부러 눈에 잘 안 띄게 작게 배치했다.
3단계 — 대시보드
전체 예측 수, Pass 수, Fail 수, Pass 비율(%)이 숫자로 표시된다. 카테고리 태그를 붙여두면 “업무 예측 정확도 vs 기술 트렌드 예측 정확도”를 따로 볼 수도 있다.
4단계 — 폐기 기능
Fail이 3회 이상 연속으로 나온 유형의 예측은 자동으로 플래그가 붙는다. “이런 종류의 예측은 내가 잘 못한다”는 신호다. 이 플래그를 보고 해당 유형의 예측 자체를 줄이거나 기준을 바꾸는 결정을 내릴 수 있다.
전체 구조를 한 줄로 요약하면: 등록할 때 기준 고정 → 결과 나오면 바이너리 채점 → 10개마다 정확도 리뷰 → 반복 실패 유형 폐기.
이 도구를 쓰기 전과 후의 차이는, 내 예측이 ‘느낌’이 아니라 ‘데이터’가 됐다는 것이다. 처음 10개를 채점했을 때 Pass 비율이 40%였다. 그 전까지 나는 70% 정도는 될 거라고 생각했다. 그 충격이 이후 예측 방식 자체를 바꿨다. 모호한 예측은 아예 안 하게 됐다. 기준을 못 쓰겠으면, 그건 예측이 아니라 희망이라는 걸 인정하는 훈련이기도 하다.
비슷한 맥락에서, 자동화 도구나 AI 워크플로우에서도 실제로 작동 중인 것과 죽어있는 것을 구분하는 감사 작업이 중요하다. AI 자동화 ‘죽은 트리거’ 3개월째 조용히 실패 중 — 내가 감사 도구를 만든 이유 글에서 유사한 구조의 검증 접근법을 다룬 적 있는데, 본질은 같다. 실제로 작동하지 않는 것을 ‘작동 중’이라고 착각하는 상태를 없애는 것.
자주 묻는 질문
Q. 예측이 ‘반만 맞은’ 경우 Pass/Fail 어떻게 정하나요? A. 이 도구의 전제는 ‘반만 맞음’을 허용하지 않는 것입니다. 예측을 등록할 때부터 채점 기준을 이분법적으로 설정해야 합니다. 예를 들어 “매출이 오를 것 같다”가 아니라 “10월 말 매출이 9월보다 5% 이상 높으면 Pass”로 기록하면 결과가 나왔을 때 판단이 명확해집니다. 기준을 이렇게 쓰지 못하겠다면, 그 예측 자체를 등록하지 않는 것이 맞습니다.
Q. 개인 일상 예측에도 쓸 수 있나요, 아니면 업무·투자 분석용인가요? A. 어느 영역이든 적용할 수 있습니다. 이 도구는 예측 내용의 종류를 가리지 않습니다. 중요한 건 ‘측정 가능한 기준’을 쓸 수 있느냐 여부입니다. “이번 주말 날씨가 맑을 것 같다 → 토요일 오후 2시 기상청 예보가 맑음이면 Pass”처럼 단순한 일상 예측도 충분히 채점할 수 있습니다. 오히려 일상 예측부터 시작해 감을 익히는 것이 좋습니다. 단, 이 글은 투자 판단이나 종목 예측을 권유하는 것이 아니며, 어디까지나 자기 판단력 훈련 목적의 정보로만 참고하시기 바랍니다.
Q. 이 도구를 내려받거나 그대로 쓸 수 있나요? A. prediction_audit_tool.html은 HTML 단일 파일로, 브라우저에서 로컬로만 작동합니다. 외부 서버나 계정 연동이 없어 데이터가 내 컴퓨터 밖으로 나가지 않습니다. 직접 코드를 복사해 파일로 저장한 뒤 브라우저로 열면 됩니다. 다만 이 글에서는 직접 다운로드 링크를 제공하지 않고, 구조와 원리를 설명하는 것이 목적입니다 — 원리를 이해하고 자신의 상황에 맞게 조정해 쓰는 것이 가장 효과적입니다.
예측은 기록만으로는 아무 의미가 없다. 채점까지 해야 비로소 데이터가 된다.