ทดสอบย้อนหลังแม่นเกินจริง: กลยุทธ์ดีที่สุดหรือแค่โชคดีที่สุด?

เส้นทุนที่ขึ้นอย่างราบรื่นอาจมาจากกลยุทธ์ที่ดี หรือจากการลองมากพอ หากผู้วิจัยเปลี่ยนตลาด ช่วงเวลา และตัวกรองหลายรอบ แล้วแสดงเฉพาะแบบที่ชนะ ผลนั้นย่อมสะท้อนกระบวนการคัดเลือกทั้งหมด ไม่ใช่การทดลองเดียวตามที่เห็นบนกราฟ

ตรวจวิธีเลือกกลยุทธ์ก่อนดูผลตอบแทน มีแบบที่ถูกทิ้งกี่แบบ กำหนดกฎก่อนหรือหลังเห็นผล ข้อมูลมีอยู่จริงตอนส่งคำสั่งหรือไม่ และหลังหักต้นทุนเหลืออะไร อัตราส่วนชาร์ปสูงเพียงอย่างเดียวตอบไม่ได้

ลองร้อยครั้งไม่เท่ากับทดสอบครั้งเดียว

สมมติแบบจำลองอย่างง่ายว่าทุกกลยุทธ์ไม่มีความได้เปรียบจริง แต่ละการทดสอบมีโอกาสผลบวกลวง 5% และการทดสอบเป็นอิสระต่อกัน โอกาสไม่เกิดผลบวกลวงเลยใน m ครั้งคือ 0.95 ยกกำลัง m ดังนั้น

โอกาสผลบวกลวงอย่างน้อยหนึ่งครั้ง = 1 − (1 − 0.05)^m

เมื่อทดลอง 100 ครั้ง แทบแน่นอนว่าจะพบผลที่ดูมีนัยสำคัญภายใต้สมมติเหล่านี้ แต่ไม่ได้หมายความว่ากลยุทธ์ที่เลือกมีโอกาสผิด 99.41% หรือกลยุทธ์จำนวนดังกล่าวจะขาดทุน ตัวเลขนี้เป็นโอกาสของทั้งกลุ่มเมื่อสมมติฐานว่างทุกข้อเป็นจริง ไม่ใช่ความน่าจะเป็นภายหลังของผู้ชนะ

กลยุทธ์จริงมักใช้สัญญาณและผลตอบแทนร่วมกันจึงไม่เป็นอิสระ ไม่ควรนำจำนวนชุดพารามิเตอร์ทั้งหมดใส่สูตรแล้วเรียกว่าเป็นการวัดความเสี่ยงที่แม่นยำ ตัวอย่างนี้อธิบายความสำคัญของขอบเขตการค้นหา ไม่ได้ประมาณจำนวนการทดลองอิสระที่แท้จริง

แบบที่ล้มเหลวต้องอยู่ในบันทึกด้วย

การลองสิบช่วงเวลาบนห้าตลาดเปิดทางเลือกมากกว่าชุดเดียวที่เผยแพร่ การเลื่อนวันเริ่ม ตัดช่วงวิกฤต กลับทิศสัญญาณ หรือเพิ่มตัวกรองหลังเห็นผล ล้วนใช้ประวัติชุดเดิมอีกครั้ง ควรเก็บรุ่นข้อมูล กฎ พารามิเตอร์ ต้นทุน ช่วงประเมิน และลำดับการตัดสินใจของทุกครั้ง

สำหรับกลุ่มการทดสอบที่ถูกต้อง m แบบซึ่งกำหนดล่วงหน้าและเปิดเผยครบ การปรับบอนเฟอร์โรนีใช้เกณฑ์รายครั้ง α/m อย่างระมัดระวัง หากมี 20 แบบและยอมให้ความผิดพลาดรวม 5% เกณฑ์คือ 0.0025 ค่า p เดิม 0.01 จึงไม่ผ่าน วิธีนี้ไม่ต้องอาศัยความเป็นอิสระ แต่แต่ละการทดสอบต้องถูกต้องและไม่ซ่อนขอบเขตการค้นหา การปรับสถิติแก้ข้อมูลอนาคตรั่วไหลหรือการทดลองที่ปกปิดไม่ได้

ข้อมูลสุดท้ายไม่ใช่ข้อมูลใหม่เมื่อถูกใช้แก้กฎ

แยกการประมาณพารามิเตอร์ การเลือกแบบ และการประเมินขั้นสุดท้าย ข้อมูลตรวจสอบช่วยเลือกแบบ ส่วนข้อมูลที่ยังไม่แตะต้องใช้ประเมินกระบวนการที่ตรึงแล้ว หากผลทำให้เปลี่ยนตัวกรองหรือตลาด ช่วงนั้นก็กลายเป็นข้อมูลพัฒนา แม้ยังเรียกว่านอกตัวอย่างก็ตาม

ตัวอย่างตารางใช้ข้อมูลลำดับ 1–500 ประมาณ และ 501–600 ทดสอบ จากนั้นใช้ 101–600 กับ 601–700 แล้วใช้ 201–700 กับ 701–800 ส่วน 801–1000 เก็บไว้ประเมินสุดท้าย ตารางและกฎเลือกต้องกำหนดก่อนเห็นผล ข้อมูลทดสอบเก่าอาจเข้าฝึกในรอบต่อไปเมื่อเวลาผ่านจริง แต่ไม่ใช่ดูผลครบก่อนแล้วเลือกกระบวนการที่สวยที่สุด

ต่อผลตอบแทนทดสอบที่ไม่ทับซ้อนตามเวลา รวมสถานะและต้นทุนตรงรอยต่อ หากตัวแปรเป้าหมายใช้ผลตอบแทนอนาคต ให้ตัดข้อมูลฝึกที่มีข้อมูลล้ำเข้าเขตทดสอบ ระยะเว้นต้องตามขอบเขตข้อมูลจริง ไม่ใช่จำนวนวันตามใจ สำหรับฟิวเจอร์สยังต้องตรวจ ราคาต่อเนื่องและกำไรขาดทุนจากการเปลี่ยนสัญญา แยกต่างหาก

ต้นทุนไม่กี่จุดอาจพลิกผลเป็นขาดทุน

สมมติมี 200 ธุรกรรมที่ปิดครบด้วยมูลค่าตามสัญญาเท่ากัน ได้กำไรขั้นต้นเฉลี่ย 8 จุดฐานต่อรอบเข้าออก หากต้นทุนทั้งรอบ 6 จุดฐาน เหลือสุทธิ 2 แต่ถ้าเป็น 10 จะเหลือ −2 นี่คือค่าเฉลี่ยเลขคณิตต่อธุรกรรม ไม่ใช่ผลตอบแทนรายปีหรือทบต้นของพอร์ต สถานะซ้อนกันและเงินทุนที่ใช้ต้องทำบัญชีแยก

รวมส่วนต่างราคาทั้งสองขา ค่าธรรมเนียม ความคลาดเคลื่อนราคา และค่าจัดหาเงินหรือยืมหุ้นที่เกี่ยวข้อง อย่าเอาต้นทุนขาเดียวหักผลตอบแทนทั้งรอบ ทดสอบเงื่อนไขที่แย่ลงในช่วงซื้อขายถี่และสภาพคล่องต่ำ ผลขั้นต้นที่เด่นทางสถิติอาจใช้ทำกำไรจริงไม่ได้

ตรวจพารามิเตอร์ใกล้เคียง การกระจุกกำไรในไม่กี่เหตุการณ์ และความสัมพันธ์ระหว่างธุรกรรม ความเสถียรช่วยเสริมหลักฐานแต่แทนข้อมูลใหม่ไม่ได้ ไม่มีจำนวนธุรกรรมขั้นต่ำหรือระดับชาร์ปตายตัวที่กำจัดอคติการเลือกและความเสี่ยงปลายหางได้ทั้งหมด

ห้าข้อก่อนเชื่อเส้นทุน

1. สร้างข้อมูลตั้งต้นซ้ำ: ข้อมูลที่รู้ได้ในขณะนั้น ราคาที่ซื้อขายได้ เหตุการณ์บริษัทและการเปลี่ยนสัญญา
2. กู้ประวัติการค้นหา: แบบที่ล้มเหลวและเงื่อนไขตัดออก หากบันทึกขาด ผลของการเลือกยังไม่ชัดเจน
3. ตรึงกระบวนการ: ช่วงเวลา วิธีเลือก สถานะและต้นทุนก่อนประเมินขั้นสุดท้าย
4. กระทบยอดสุทธิ: ธุรกรรมกับบัญชีพอร์ต แล้วทดสอบต้นทุน การกระจุกตัวและการพึ่งพากัน
5. ระบุเงื่อนไขหักล้าง: หากความได้เปรียบหายหลังแก้ข้อมูลรั่ว ใช้ต้นทุนสมจริง หรือทดสอบข้อมูลที่เก็บไว้ ข้อสรุปเดิมก็ยังไม่ผ่านการพิสูจน์

การทดสอบย้อนหลังที่มีประโยชน์เปิดให้คนอื่นทำซ้ำและพบข้อผิดพลาดได้ กราฟสวยที่ไม่มีบันทึกเช่นนี้ยังเป็นเพียงสมมติฐาน