Quá khớp trong kiểm thử quá khứ: chiến lược tốt nhất hay may mắn nhất?

Một đường vốn đẹp có thể đến từ chiến lược tốt, cũng có thể đến từ việc thử đủ nhiều. Khi người nghiên cứu đổi thị trường, cửa sổ và bộ lọc rồi chỉ công bố phương án thắng, kết quả phản ánh cả quá trình lựa chọn bị che khuất, chứ không phải một thí nghiệm riêng lẻ.

Hãy đánh giá quy trình nghiên cứu trước khi đánh giá lợi nhuận. Có bao nhiêu phương án bị loại? Quy tắc được chốt lúc nào? Thông tin đã tồn tại khi đặt lệnh chưa? Sau chi phí còn bao nhiêu? Chỉ số Sharpe cao không tự trả lời được những câu hỏi này.

Một trăm lần thử không phải một lần kiểm định

Xét mô hình đơn giản: mọi chiến lược đều không có lợi thế thật, mỗi kiểm định có xác suất dương tính giả 5% và các kiểm định độc lập. Xác suất không có dương tính giả qua m lần là 0,95 lũy thừa m:

P(ít nhất một dương tính giả) = 1 − (1 − 0,05)^m

Với 100 lần, gần như chắc chắn xuất hiện một kết quả có vẻ có ý nghĩa trong mô hình đó. Không có nghĩa chiến lược thắng có xác suất sai 99,41%, hay chừng ấy chiến lược sẽ lỗ. Đây là xác suất của cả nhóm khi mọi giả thuyết không đều đúng, không phải xác suất hậu nghiệm của chiến lược được chọn.

Các biến thể thực tế thường dùng chung tín hiệu và lợi nhuận nên không độc lập. Không thể đưa tổng số tổ hợp thô vào công thức rồi coi là ước lượng rủi ro chính xác. Ví dụ chỉ giải thích vì sao độ rộng tìm kiếm quan trọng, không tính số thí nghiệm độc lập hiệu dụng.

Lưu cả những phương án thất bại

Thử mười cửa sổ trên năm thị trường tạo nhiều lựa chọn hơn tổ hợp duy nhất được công bố. Đổi ngày bắt đầu, bỏ một cuộc khủng hoảng, đảo chiều tín hiệu hoặc thêm bộ lọc sau khi xem kết quả cũng sử dụng lại lịch sử. Cần lưu phiên bản dữ liệu, quy tắc, tham số, chi phí, giai đoạn và thứ tự ra quyết định.

Với nhóm m kiểm định hợp lệ được định trước và công khai đầy đủ, hiệu chỉnh Bonferroni dùng ngưỡng bảo thủ α/m. Với 20 kiểm định và mức sai lầm chung 5%, ngưỡng là 0,0025; giá trị p chưa hiệu chỉnh 0,01 không đạt. Không cần tính độc lập, nhưng từng kiểm định phải hợp lệ và nhóm phải được xác định trung thực. Hiệu chỉnh không sửa được rò rỉ thông tin tương lai hay thử nghiệm bị giấu.

Mẫu cuối không còn độc lập nếu dùng để sửa chiến lược

Tách ước lượng tham số, chọn thiết kế và đánh giá cuối. Dữ liệu xác thực phục vụ lựa chọn; mẫu chưa đụng tới đánh giá quy trình đã đóng băng. Nếu kết quả khiến bạn đổi bộ lọc hay thị trường, giai đoạn ấy đã tham gia phát triển, dù vẫn được gọi là ngoài mẫu.

Lịch minh họa dùng quan sát 1–500 để ước lượng, 501–600 để kiểm tra; tiếp đó 101–600 và 601–700; rồi 201–700 và 701–800. Quan sát 801–1000 được giữ kín. Lịch và quy tắc chọn phải định trước. Dữ liệu kiểm tra cũ có thể vào huấn luyện sau khi thời gian thực sự tiến lên, nhưng không được xem toàn bộ kết quả rồi chọn lại quy trình có lợi nhất.

Nối lợi nhuận kiểm tra không chồng lấn theo thời gian, tính cả vị thế và chi phí tại ranh giới. Nếu nhãn dùng lợi nhuận tương lai, loại quan sát huấn luyện có thông tin kéo sang kỳ kiểm tra. Khoảng cách phải theo chân trời thông tin, không phải số ngày tùy ý. Với hợp đồng tương lai, kiểm tra thêm chuỗi giá liên tục và hạch toán lãi lỗ khi chuyển hợp đồng.

Vài điểm cơ bản chi phí có thể đảo dấu kết quả

Giả sử 200 giao dịch đã đóng, cùng giá trị danh nghĩa, có lợi nhuận gộp bình quân 8 điểm cơ bản cho một vòng mua bán. Chi phí trọn vòng 6 điểm để lại 2 điểm ròng; chi phí 10 điểm khiến kết quả là −2. Đây là trung bình số học mỗi giao dịch, không phải lợi nhuận năm hóa hoặc lãi kép danh mục. Vị thế đồng thời và vốn sử dụng phải hạch toán riêng.

Tính chênh lệch giá hai chiều, hoa hồng, trượt giá và phí tài trợ hoặc vay chứng khoán nếu có. Không trừ chi phí một chiều khỏi lợi nhuận cả vòng. Thử điều kiện xấu ở giai đoạn quay vòng cao, thanh khoản thấp. Lợi nhuận gộp đáng chú ý về thống kê chưa chắc khai thác được.

Xem tham số lân cận, lợi nhuận tập trung vào ít giai đoạn và sự phụ thuộc giữa giao dịch. Tính ổn định bổ sung bằng chứng nhưng không thay dữ liệu mới. Không có số giao dịch tối thiểu hay ngưỡng Sharpe chung nào xóa được thiên lệch lựa chọn và rủi ro đuôi.

Năm bước trước khi tin vào đường vốn

1. Tái lập đầu vào: thông tin có tại thời điểm đó, giá khớp được, sự kiện doanh nghiệp và chuyển hợp đồng.
2. Khôi phục tìm kiếm: cả thử nghiệm thất bại và loại bỏ thủ công; thiếu lịch sử khiến tác động lựa chọn chưa rõ.
3. Khóa quy trình: cửa sổ, lựa chọn, vị thế và chi phí trước đánh giá cuối.
4. Đối chiếu kết quả ròng: giao dịch với danh mục, rồi thử chi phí xấu, tập trung lợi nhuận và phụ thuộc.
5. Định điều kiện bác bỏ: lợi thế biến mất sau khi sửa rò rỉ, thêm chi phí thực tế hoặc kiểm tra mẫu giữ kín thì chưa vượt qua phép thử đã tuyên bố.

Kiểm thử hữu ích cho phép người khác lặp lại nghiên cứu và bác bỏ kết luận khi cần. Đường vốn đẹp nhưng thiếu hồ sơ đó vẫn chỉ là giả thuyết.