Overfitting nel backtest: la strategia migliore o soltanto la più fortunata?

Una curva del capitale impeccabile può nascere da un buon segnale oppure da una ricerca abbastanza lunga. Provare mercati, finestre e filtri diversi e mostrare soltanto il vincitore nasconde il processo che lo ha prodotto. Il rendimento pubblicato non descrive un esperimento isolato.

Prima di giudicare il risultato bisogna ricostruire la selezione. Contano le varianti scartate, il momento delle decisioni, le informazioni disponibili all’esecuzione e i costi. Un elevato indice di Sharpe non dimostra da solo che l’intero procedimento troverà un vantaggio su dati nuovi.

Cento tentativi non equivalgono a un test

Consideriamo un modello semplificato: nessuna strategia possiede un vantaggio reale, ogni test ha una probabilità di falso positivo del 5% e i test sono indipendenti. La probabilità di non averne nessuno in m prove è 0,95 elevato a m:

P(almeno un falso positivo) = 1 − (1 − 0,05)^m

Con 100 prove, trovare almeno un risultato apparentemente significativo diventa quasi certo sotto queste ipotesi. Non significa che il vincitore abbia il 99,41% di probabilità di essere falso, né che tale percentuale di strategie perda denaro. È una probabilità riferita all’intera famiglia quando tutte le ipotesi nulle sono vere, non una probabilità a posteriori sulla strategia scelta.

Le varianti reali condividono spesso segnali e rendimenti, quindi non sono indipendenti. Il conteggio grezzo delle combinazioni non può essere inserito nella formula e presentato come stima precisa. L’esempio spiega il peso della ricerca, senza stimarne il numero effettivo di esperimenti indipendenti.

Anche gli insuccessi fanno parte dell’esperimento

Dieci finestre su cinque mercati offrono molte più scelte della sola combinazione pubblicata. Modificare la data iniziale, eliminare una crisi, invertire un segnale o aggiungere un filtro dopo aver visto il risultato sfrutta ulteriormente la stessa storia. Conservate per ogni prova dati, regole, parametri, costi, periodi e ordine delle decisioni.

Per una famiglia prefissata e interamente dichiarata di m test validi, la correzione conservativa di Bonferroni usa la soglia individuale α/m. Con 20 test e rischio complessivo del 5%, vale 0,0025: un valore p non corretto di 0,01 non la supera. Non serve indipendenza, ma servono test validi e una famiglia definita onestamente. La correzione non elimina informazioni future, prove nascoste o ipotesi statistiche inadeguate.

Il campione riservato non deve suggerire le modifiche

Separate stima dei parametri, selezione del modello e valutazione finale. La validazione serve a scegliere; un ultimo campione intatto valuta il processo congelato. Se il suo risultato induce nuovi filtri o un altro mercato, quel campione è ormai parte dello sviluppo, qualunque etichetta gli venga attribuita.

Un esempio usa le osservazioni 1–500 per la stima e 501–600 per il test; poi 101–600 e 601–700; infine 201–700 e 701–800. Le osservazioni 801–1000 restano riservate. Calendario e regola di selezione vanno fissati prima dei risultati. Vecchie osservazioni di test possono entrare nella stima successiva quando il tempo avanza; non si può però scegliere a posteriori il protocollo migliore.

Collegate cronologicamente rendimenti di test non sovrapposti, includendo posizioni e costi alle frontiere. Se le etichette utilizzano rendimenti futuri, eliminate le osservazioni di addestramento la cui informazione raggiunge il periodo valutato. La separazione dipende dall’orizzonte informativo reale, non da un numero arbitrario di giorni. Nei futures verificate anche serie continue e contabilizzazione dei cambi di scadenza.

Pochi punti base possono cancellare il margine

Supponiamo 200 operazioni chiuse di uguale nozionale, con rendimento lordo medio di 8 punti base per andata e ritorno. Un costo completo di 6 punti lascia 2 netti; con 10 il saldo diventa −2. Sono medie aritmetiche per operazione, non rendimenti annualizzati o composti del portafoglio. Posizioni contemporanee e capitale impegnato richiedono una contabilità distinta.

Inserite spread su entrambi i lati, commissioni, slittamento e gli eventuali costi di finanziamento o prestito titoli. Non sottraete una spesa di sola entrata da un risultato completo. Stressate soprattutto i periodi con maggiore rotazione e minore liquidità. Un rendimento lordo statisticamente insolito può non essere sfruttabile.

Controllate parametri vicini, concentrazione degli utili in pochi episodi e dipendenza fra operazioni. La stabilità sostiene l’ipotesi, ma non sostituisce dati nuovi. Una soglia universale di Sharpe o di numero di transazioni non risolve selezione, dipendenza e rischio di coda.

Un controllo capace di smentire la curva

1. Riprodurre gli input: disponibilità storica delle informazioni, prezzi eseguibili, operazioni societarie e scadenze.
2. Ricostruire la ricerca: recuperare prove fallite ed esclusioni discrezionali; una storia incompleta lascia incerto il peso della selezione.
3. Congelare il protocollo: finestre, scelta, posizioni e costi prima della valutazione finale.
4. Riconciliare il netto: confrontare operazioni e portafoglio, poi verificare costi avversi, concentrazione e dipendenza.
5. Definire l’invalidazione: un vantaggio che scompare eliminando fughe informative, applicando costi realistici o usando il campione riservato non ha superato la prova dichiarata.

Il backtest più credibile consente a un altro analista di rifare il percorso e, se necessario, contestare la conclusione. Una linea elegante, da sola, non basta.