Backtest neden yanıltır?

1. Çoklu deneme: kazananı sonradan seçmek

1.000 kişiye yazı-tura attır; ~31 kişi üst üste 5 tura getirir. Onlara "yetenekli" demezsin. Ama 1.000 parametre kombinasyonu deneyip en iyisini gösteren backtest tam olarak bunu yapar: kazananı sonradan seçer. Denenen kombinasyon sayısı arttıkça, en iyisinin salt şansla ulaşabileceği skor da yükselir — ve kimse denediği 999 başarısızlığı raporlamaz.

2. Aşırı uyum: geçmişi ezberlemek

Parametreleri geçmiş veriye ince ayar çektikçe strateji genelleme yapmayı bırakır, o dönemin tesadüflerini ezberler. Belirti tipiktir: geçmişte pürüzsüz kazanç eğrisi, canlıda ilk aydan dağılma. Parametre sayısı arttıkça bu tuzak derinleşir.

3. İleri bakma ve hayatta kalan yanlılığı

Kapanmamış mumun kapanışını kullanmak, o gün henüz açıklanmamış veriyi "bilmek", listeden silinmiş coinleri test evreninden düşürmek... Her biri geçmişe, gerçekte sahip olamayacağın bir bilgi sızdırır. Sonuç iyi görünür; çünkü hile — istemeden de olsa — yapılmıştır.

4. Maliyet ihmali

Komisyon, alış-satış farkı, kayma ve fonlama: işlem başına küçük görünen bu kalemler, sık işlem yapan stratejilerde kâğıt üstündeki kârın tamamını yiyebilir. Maliyetsiz backtest, sürtünmesiz fizik problemi gibidir — zarif ve gerçek dışı.

Peki ne işe yarar? Şans eşiği

Backtest çöp değildir; çıtası yanlış konur. Doğru çıta "sonuç pozitif mi?" değil, "sonuç, şansın aynı imkânlarla üretebileceğinin en iyisini geçiyor mu?"dur. Yöntem: aynı veri ve aynı kombinasyon uzayında, bilgisiz (karıştırılmış) girişlerle binlerce sahte tarama koş; bunların en iyilerinin dağılımı sana şansın tavanını verir. Gerçek sonucun bu tavanın altındaysa, elindeki büyük ihtimalle gürültüdür.