回測績效亮眼就能實盤？多重測試如何選出幸運贏家

漂亮的回測曲線，未必代表可持續的交易優勢。若研究者反覆更換均線參數、市場、進場條件與評估期間，最後只留下績效最好的版本，讀者看到的其實是大量試驗之後的贏家，而不是事先指定的一套策略接受獨立檢驗。

先檢查策略如何被選出，再判斷它賺了多少。完整證據必須交代試過哪些方案、何時做出選擇、交易當下是否取得所需資訊，以及扣除執行成本後還剩多少報酬。單一夏普比率無法代替這些條件。

檢定100次，誤判機率不再只是5%

以一個簡化模型說明：所有候選策略都沒有真正優勢，每次檢定在虛無假設成立時有5%機率誤判，而且各次檢定相互獨立。m次都未誤判的機率為0.95的m次方，因此：

至少一次誤判的機率＝1－（1－0.05）^m

100次獨立檢定中，出現至少一個看似顯著的結果幾乎是必然。但不能反過來說某個入選策略有99.41%機率無效，也不能說99.41%的策略會虧損。這是全部沒有優勢時，整組檢定至少一次誤判的機率，不是個別策略的後驗機率，也不是學術文獻中另有定義的回測過度擬合機率指標。

實際交易規則常共享訊號與報酬，並不獨立。把所有參數組合直接代入公式，不能得到精確風險估計；例子的用途是揭示搜尋範圍的重要性，而不是估計資料中的有效獨立試驗數。

把失敗版本也放進研究紀錄

五個市場各試十組窗口，最後只展示一組，就掩蓋了選擇過程。調整起算日期、排除某次危機、反轉訊號、加入波動度篩選，甚至換成最漂亮的績效指標，都可能進一步使用同一份歷史資料。

保留每次試驗的資料版本、規則、參數、成本、評估期間及結果，並記下決策順序。經濟機制能協助判斷訊號是否合理；但看完獲利才編出的解釋，不能當作額外的獨立證據。

若一組m次檢定已事先固定、完整揭露，且個別檢定有效，保守的邦費羅尼校正可將單次顯著門檻設為α/m。20次檢定、整體錯誤預算5%，門檻為0.0025，未校正p值0.01便不能通過。此方法不要求獨立，卻無法挽救前視偏誤、隱藏試驗或失當的分布假設。

用測試結果修規則，就不再是獨立驗證

參數估計、方案挑選與最後驗收應分開。驗證資料用來選型，封存資料用來評估已凍結的流程。若看完封存區間才加篩選條件、換市場或調整停損，該區間已參與開發；名稱仍叫「樣本外」並不會恢復獨立性。

例如以第1—500個觀測估計、501—600驗證，再以101—600估計、601—700驗證，最後以201—700估計、701—800驗證；801—1000另行封存。窗口及挑選方法都要事先訂定。時間真正往前推進後，早期驗證資料可進入後續訓練，但不能看完所有區間才重選最有利的研究流程。

按時間銜接不重疊的測試報酬，納入區間交界的持倉與成本。標籤若使用未來報酬，或持倉跨越邊界，須移除資訊延伸至測試區間的訓練觀測。隔離期間取決於真正的資訊跨度，不能隨意指定固定天數；隨機打散時間序列可能引入未來資訊。

期貨還有資料建構問題：連續合約復權與換月損益核對若做錯，後面的模型檢定再精密也無法修正錯誤的報酬來源。

成本只差幾個基點，淨優勢就可能反轉

假設200筆已完成交易具有相同名目金額，完整來回平均毛報酬8個基點。來回成本6個基點時，平均淨報酬剩2個基點；成本10個基點時，則為負2個基點。這是每筆算術平均，並非年化或複利組合報酬，重疊部位和資金占用仍須另計。

檢查雙邊價差、手續費、滑價，以及適用的融資或借券成本；不能拿單邊費用扣除整筆交易。尤其應壓力測試高周轉、低流動性的時段，不能把平靜日的成交條件套用到全樣本。統計上的毛報酬顯著，不代表實務上能保留利潤。

鄰近參數是否仍合理？獲利是否集中在少數行情？高度相關的交易是否誇大樣本量？這些檢查能補強證據，卻不能取代未知資料。不存在一個通用交易筆數或夏普門檻，可以同時消除選擇偏誤、尾部風險與報酬相依性。

實盤之前，先完成五項證據核對

1. 重建輸入：確認當時可取得的資訊、可成交價格、公司行動或轉倉處理，鎖定資料版本。
2. 還原搜尋：保留失敗試驗及人工排除條件；沒有搜尋歷史，就無法完整評估挑選偏誤。
3. 凍結程序：事先訂好窗口、選型、部位與成本規則，留下一段未參與決策的資料。
4. 核算淨績效：逐筆交易對回投資組合帳本，測試成本惡化，檢查獲利集中及相依性。
5. 列出推翻條件：移除資訊洩漏、納入合理成本或通過封存區間後若優勢消失，便不能聲稱原結論獲得支持；不確定者仍屬研究候選。

可信的回測不以曲線最平滑為標準，而以流程是否透明、結果能否重現，以及是否容許他人推翻結論為標準。