백테스트의 함정

3과정에서 사이징·손익비·비용을 계산하는 법을 봤습니다. 이 계산을 과거에 적용해 검증할 때 반드시 생기는 오류들이 있습니다. 이걸 모르면 “검증했다”는 말이 오히려 판단을 흐립니다.

백테스트란 무엇인가

“20일선을 위로 넘으면 사고 아래로 뚫으면 판다” 같은 규칙을 정해 놓고 과거 데이터에 그대로 적용해 결과를 세는 일입니다. 규칙이 명확해야 가능합니다.

과최적화 — 답을 보고 맞춘다

설정값을 바꿔 가며 과거에 가장 잘 맞는 조합을 찾으면 반드시 찾아집니다. 문제는 찾아진다는 사실 자체가 아무것도 증명하지 않는다는 점입니다.

미래 참조 — 그때는 몰랐던 정보

그 시점에는 알 수 없었던 값을 계산에 넣는 오류입니다. 의도하지 않아도 자주 생깁니다.

• 고가·저가를 이용하는 규칙 — “그날 저가에 샀다면”은 검증이 아닙니다. 저가는 하루가 끝나야 알 수 있습니다.
• 지금 상장된 종목만 쓰는 것 — 그 사이 상장폐지된 종목이 빠져 있으면 결과가 실제보다 좋게 나옵니다.

비용을 빼먹는다

앞 편에서 본 수수료·슬리피지·펀딩비를 넣지 않으면 결과가 크게 달라집니다. 특히 매매 횟수가 많은 규칙에서 그렇습니다.

고른 것만 보여준다

가장 알아채기 어려운 문제입니다. 전체가 아니라 일부만 집계하면 결과가 실제와 달라집니다.

• 성공한 건만 기록에 남는 경우 — 목표에 도달한 매매는 정리되어 기록되고, 아직 손실 중인 매매는 ‘진행 중’으로 남아 집계에서 빠지면 승률이 실제보다 높아집니다.
• 기간을 골라 보여주는 경우 — 상승장 구간만 잘라 내면 어떤 규칙이든 성적이 좋습니다. 하락장을 포함했는지가 핵심입니다.
• 여러 규칙 중 잘된 하나만 — 열 개를 돌려 보고 제일 좋은 하나를 제시하면, 그건 검증이 아니라 선택입니다.

성과 자료를 읽는 법

어떤 성과 자료를 보든 다음을 확인할 수 있어야 판단이 가능합니다. 확인할 수 없다면 “정보가 부족하다”고 결론 내리는 것이 맞습니다.

정리

• 백테스트는 유용하지만 실제보다 좋게 나오는 방향으로 오차가 생긴다.
• 조합을 늘리면 잘 맞는 설정은 반드시 나온다. 그건 증명이 아니다.
• 보지 않은 기간에 적용해 봐야 과최적화를 걸러낼 수 있다.
• 종가·저가처럼 그 시점에 몰랐던 값을 쓰면 검증이 아니다.
• 수수료·슬리피지를 넣으면 수익이 손실로 바뀌는 규칙이 흔하다.
• 성과 자료는 기간·전체 건수·평균 손익·최대 낙폭을 확인한다. 승률만으로는 부족하다.