Overfitting Backtest: Strategi Terbaik atau Sekadar Paling Beruntung?

Kurva modal yang mulus bisa lahir dari strategi yang baik, tetapi juga dari pencarian yang sangat panjang. Jika peneliti mencoba banyak pasar, periode indikator, dan filter lalu hanya menampilkan pemenang, hasilnya memuat seluruh proses pemilihan yang tidak terlihat pada grafik.

Nilai proses risetnya sebelum menilai imbal hasilnya. Berapa percobaan yang dibuang? Kapan aturan ditetapkan? Apakah informasi tersedia saat order dijalankan? Berapa hasil setelah biaya? Rasio Sharpe tinggi tidak menjawab semuanya.

Seratus percobaan bukan satu pengujian

Gunakan contoh sederhana: seluruh strategi tidak memiliki keunggulan nyata, setiap uji berpeluang 5% menghasilkan positif palsu, dan antar-uji independen. Peluang tidak memperoleh positif palsu dalam m pengujian adalah 0,95 pangkat m:

P(minimal satu positif palsu) = 1 − (1 − 0,05)^m

Dengan 100 percobaan, hampir pasti ada hasil yang tampak signifikan dalam model ini. Bukan berarti strategi terpilih memiliki peluang 99,41% untuk salah, atau sebanyak itu strategi akan rugi. Angka tersebut adalah peluang satu atau lebih alarm palsu dalam seluruh kelompok ketika semua hipotesis nol benar, bukan probabilitas posterior atas sang pemenang.

Variasi strategi nyata biasanya berbagi sinyal dan return sehingga tidak independen. Jumlah kombinasi mentah tidak boleh dimasukkan ke rumus lalu diklaim sebagai perkiraan risiko yang tepat. Contoh ini menjelaskan pentingnya luas pencarian, bukan menghitung jumlah efektif eksperimen independen.

Catat percobaan yang gagal, bukan hanya model yang tersimpan

Sepuluh jendela pada lima pasar menyediakan jauh lebih banyak pilihan daripada satu kombinasi yang dipublikasikan. Mengubah tanggal awal, membuang krisis, membalik sinyal, atau menambahkan filter setelah melihat hasil juga menggunakan informasi sejarah yang sama. Simpan versi data, aturan, parameter, biaya, periode, dan urutan keputusan setiap percobaan.

Untuk kelompok m uji valid yang ditetapkan sebelumnya dan dicatat lengkap, koreksi Bonferroni memberi kendali konservatif dengan ambang individual α/m. Pada 20 uji dan anggaran kesalahan kelompok 5%, ambangnya 0,0025; nilai p tanpa koreksi sebesar 0,01 tidak lolos. Independensi tidak diperlukan, tetapi validitas tiap uji dan definisi kelompok yang jujur tetap wajib. Koreksi tidak memperbaiki kebocoran informasi masa depan atau percobaan tersembunyi.

Data final bukan lagi data baru jika dipakai untuk revisi

Pisahkan estimasi parameter, pemilihan rancangan, dan evaluasi akhir. Data validasi membantu memilih; data final yang belum disentuh menilai prosedur yang sudah dibekukan. Jika hasil final memicu perubahan filter atau pasar, periode itu sudah menjadi data pengembangan, meskipun masih disebut di luar sampel.

Contoh jadwal: estimasi dengan observasi 1–500, evaluasi 501–600; lalu 101–600 dan 601–700; berikutnya 201–700 dan 701–800. Observasi 801–1000 tetap disegel. Jadwal dan aturan pemilihan ditentukan sebelum hasil terlihat. Data uji lama boleh masuk pelatihan berikutnya ketika waktu benar-benar maju, bukan untuk memilih ulang prosedur setelah seluruh hasil diketahui.

Gabungkan return uji yang tidak tumpang tindih secara kronologis, termasuk posisi dan biaya di batas periode. Bila target menggunakan return masa depan, keluarkan observasi pelatihan yang informasinya menjangkau periode evaluasi. Jarak pemisah mengikuti cakupan informasi, bukan angka hari yang asal ditetapkan. Untuk futures, periksa pula seri harga kontinu dan pencatatan laba rugi saat pergantian kontrak.

Selisih biaya kecil dapat membalik hasil

Misalkan 200 transaksi selesai dengan nilai nosional sama menghasilkan rata-rata bruto 8 basis poin per transaksi pulang-pergi. Biaya total 6 basis poin menyisakan 2; biaya 10 membuat hasil −2. Itu rata-rata aritmetika per transaksi, bukan return tahunan atau majemuk portofolio. Posisi bersamaan dan modal yang digunakan harus dihitung tersendiri.

Sertakan spread kedua sisi, komisi, slippage, serta biaya pendanaan atau peminjaman saham bila relevan. Jangan mengurangi biaya satu arah dari return transaksi lengkap. Uji kondisi biaya lebih buruk saat perputaran tinggi dan likuiditas rendah. Return bruto yang signifikan belum tentu bisa diwujudkan secara ekonomis.

Lihat sensitivitas parameter berdekatan, konsentrasi laba pada sedikit episode, dan ketergantungan antartransaksi. Stabilitas memperkuat bukti, tetapi bukan pengganti data baru. Tidak ada jumlah transaksi minimum atau ambang Sharpe universal yang meniadakan bias seleksi dan risiko ekor.

Lima pemeriksaan sebelum mempercayai kurva

1. Reproduksi input: data yang tersedia saat itu, harga yang dapat dieksekusi, aksi korporasi, dan pergantian kontrak.
2. Pulihkan riwayat pencarian: percobaan gagal dan pengecualian manual; catatan yang hilang membuat bias seleksi sulit dinilai.
3. Bekukan protokol: jendela, pilihan model, posisi, dan biaya sebelum evaluasi akhir.
4. Cocokkan hasil bersih: rekonsiliasi transaksi dengan portofolio dan uji biaya, konsentrasi, serta ketergantungan.
5. Tentukan pembatalan kesimpulan: keunggulan yang hilang setelah kebocoran dibuang, biaya realistis diterapkan, atau data final diuji belum lolos pengujian yang dijanjikan.

Backtest yang berguna memungkinkan orang lain mengulang penelitian dan menemukan kelemahannya. Grafik yang indah tanpa rekam jejak tersebut tetap merupakan hipotesis.