Geriye Dönük Testte Aşırı Uyum: En İyi Strateji mi, En Şanslısı mı?

Kusursuz görünen bir sermaye eğrisi iyi bir stratejiden de uzun bir aramadan da doğabilir. Araştırmacı farklı piyasalar, dönemler ve filtreler deneyip yalnızca kazananı gösteriyorsa, sonuç tek bir deneyin değil görünmeyen seçim sürecinin ürünüdür.

Getiriden önce araştırma sürecini değerlendirin. Kaç deneme elendi, kurallar ne zaman belirlendi, emir sırasında bilgi mevcut muydu, maliyetlerden sonra ne kaldı? Yüksek Sharpe oranı bu soruları tek başına yanıtlamaz.

Yüz deneme neden tek test sayılmaz?

Basit bir model kuralım: hiçbir stratejinin gerçek avantajı yok, her testin yanlış pozitif olasılığı %5 ve testler bağımsız. m testte hiç yanlış pozitif çıkmama olasılığı 0,95 üzeri m olur:

P(en az bir yanlış pozitif) = 1 − (1 − 0,05)^m

100 denemede, bu varsayımlar altında en az bir görünürde anlamlı sonuç bulmak neredeyse kesindir. Bu, seçilen stratejinin yanlış olma olasılığının %99,41 olduğu veya stratejilerin bu oranının zarar edeceği anlamına gelmez. Tüm sıfır hipotezleri doğruyken test ailesindeki en az bir yanlış alarmın olasılığıdır; kazanan hakkında sonsal olasılık değildir.

Gerçek varyantlar ortak sinyaller ve getiriler kullanır, dolayısıyla genellikle bağımsız değildir. Ham kombinasyon sayısını formüle koymak kesin risk ölçümü sağlamaz. Örnek, aramanın genişliğinin önemini gösterir; etkin bağımsız deney sayısını hesaplamaz.

Başarısız denemeler de kayda girmeli

Beş piyasada on pencere denemek, yayımlanan tek kombinasyondan çok daha fazla seçim yaratır. Başlangıç tarihini değiştirmek, bir krizi çıkarmak, sinyali tersine çevirmek veya sonuçtan sonra filtre eklemek aynı geçmiş bilgiyi yeniden kullanır. Veri sürümünü, kuralları, parametreleri, maliyetleri, dönemleri ve karar sırasını saklayın.

Önceden belirlenmiş, eksiksiz açıklanmış m geçerli test için tutucu Bonferroni düzeltmesi tekil eşiği α/m yapar. 20 test ve toplam %5 hata bütçesi için eşik 0,0025’tir; düzeltilmemiş 0,01 p-değeri geçmez. Bağımsızlık gerekmez, fakat testlerin geçerliliği ve ailenin dürüst tanımı gerekir. Düzeltme gelecekteki bilgi sızıntısını veya gizli denemeleri onaramaz.

Son test verisi değişiklik öneriyorsa artık geliştirme verisidir

Parametre tahmini, tasarım seçimi ve nihai değerlendirmeyi ayırın. Doğrulama verisi seçime yardımcı olur; dokunulmamış son örneklem dondurulan süreci değerlendirir. Sonuca bakarak filtre veya piyasa değiştirirseniz bu dönem geliştirmeye katılmış olur. Örneklem dışı etiketi bağımsızlığı geri getirmez.

Örnek takvimde 1–500 gözlemle tahmin, 501–600 ile test yapılır; ardından 101–600 ve 601–700, sonra 201–700 ve 701–800 kullanılır. 801–1000 son değerlendirmeye ayrılır. Takvim ve seçim kuralı önceden belirlenmelidir. Zaman gerçekten ilerledikçe eski test gözlemleri sonraki eğitime girebilir; tüm sonuçlardan sonra en iyi protokol seçilemez.

Çakışmayan test getirilerini zaman sırasıyla birleştirin; sınırdaki pozisyon ve maliyetleri ekleyin. Hedef değişken gelecekteki getiriyi içeriyorsa bilgisi test dönemine uzanan eğitim gözlemlerini çıkarın. Gerekli boşluk keyfî gün sayısına değil bilgi ufkuna bağlıdır. Vadeli işlemlerde sürekli fiyat serisi ve kontrat geçişinin gerçek kâr zarar hesabı da ayrıca doğrulanmalıdır.

Birkaç baz puan maliyet avantajı tersine çevirebilir

Eşit nominal büyüklükte 200 tamamlanmış işlemin gidiş dönüş başına brüt ortalaması 8 baz puan olsun. Toplam maliyet 6 ise net 2, maliyet 10 ise −2 baz puandır. Bunlar işlem başına aritmetik ortalamalardır; yıllıklandırılmış veya bileşik portföy getirileri değildir. Eşzamanlı pozisyonlar ve kullanılan sermaye ayrıca hesaplanır.

İki yöndeki alış satış farkını, komisyonu, kaymayı ve ilgili finansman veya ödünç menkul kıymet giderlerini ekleyin. Tam işlem getirisinden tek yönlü maliyet düşmeyin. Yüksek devir ve düşük likidite dönemlerinde koşulları zorlaştırın. İstatistiksel açıdan dikkat çekici brüt kazanç ekonomik olarak kullanılabilir olmayabilir.

Yakın parametreleri, kazancın az sayıda dönemde yoğunlaşmasını ve işlemler arası bağımlılığı inceleyin. İstikrar destekleyici kanıttır; yeni verinin yerine geçmez. Evrensel işlem adedi veya Sharpe eşiği seçim yanlılığını ve kuyruk riskini yok etmez.

Eğriden önce beş kontrol

1. Girdileri yeniden üretin: o tarihte bilinen bilgi, uygulanabilir fiyatlar, şirket işlemleri ve kontrat geçişleri.
2. Aramayı yeniden kurun: başarısız denemeler ve elle yapılan dışlamalar; eksik geçmiş seçimin etkisini belirsiz bırakır.
3. Protokolü dondurun: pencere, seçim, pozisyon ve maliyet kurallarını son testten önce sabitleyin.
4. Net sonucu uzlaştırın: işlemleri portföyle karşılaştırın; maliyet, yoğunlaşma ve bağımlılığı sınayın.
5. Geçersizlik koşulunu belirleyin: sızıntı giderilince, gerçekçi maliyetle veya ayrılmış örneklemde kaybolan avantaj, ileri sürülen testi geçmemiştir.

Değerli bir geriye dönük test, başka bir araştırmacının süreci tekrarlayıp sonucu çürütebilmesine imkân verir. Güzel bir eğri tek başına bunu sağlamaz.