Surapprentissage en backtest : la meilleure stratégie est-elle seulement la plus chanceuse ?

Une belle courbe de capital peut récompenser la recherche d’un signal, mais aussi la recherche obstinée du plus beau graphique. Après avoir essayé plusieurs marchés, fenêtres et filtres, ne montrer que le meilleur résultat masque une partie essentielle de l’expérience : la sélection du gagnant.

Un backtest doit donc être évalué comme un processus de recherche. Combien de variantes ont été abandonnées ? Quand les règles ont-elles été fixées ? Les informations existaient-elles au moment de l’ordre ? Quel rendement subsiste après exécution ? Le ratio de Sharpe du vainqueur ne répond pas à ces questions.

Cent essais ne valent pas un test unique

Prenons un modèle volontairement simple : aucune stratégie n’a d’avantage réel, chaque test présente un risque de faux positif de 5 %, et les tests sont indépendants. La probabilité de n’obtenir aucun faux positif en m essais est 0,95 à la puissance m. D’où :

P(au moins un faux positif) = 1 − (1 − 0,05)^m

Après 100 essais, un résultat apparemment significatif devient presque certain dans ce modèle. Cela ne signifie ni que la stratégie retenue a 99,41 % de chances d’être fausse, ni que 99,41 % des stratégies perdent de l’argent. Il s’agit d’une probabilité portant sur toute la famille de tests sous l’hypothèse d’absence totale d’avantage, pas d’une probabilité a posteriori concernant le gagnant.

Les variantes de trading partagent généralement des signaux et des rendements. Elles ne sont donc pas indépendantes. Le nombre brut de paramètres essayés ne donne pas une mesure exacte du risque avec cette formule ; il ne fournit pas non plus le nombre effectif d’expériences indépendantes.

Le registre doit inclure les échecs

Tester dix fenêtres sur cinq marchés puis présenter une seule combinaison cache des choix décisifs. Changer la date de départ, exclure une crise, inverser un signal ou ajouter un filtre après examen du résultat consomme encore de l’information historique. Conservez pour chaque essai la version des données, les règles, les paramètres, les coûts, la période et l’ordre des décisions.

Pour une famille fixée à l’avance de m tests valides et intégralement déclarés, la correction conservatrice de Bonferroni impose un seuil individuel α/m. Avec 20 tests et un risque global de 5 %, ce seuil vaut 0,0025 : une valeur p non corrigée de 0,01 ne suffit pas. L’indépendance n’est pas requise, mais la validité des tests et la définition honnête de la famille le sont. Une correction statistique ne répare ni les essais cachés ni l’utilisation d’informations futures.

Un échantillon réservé cesse de l’être dès qu’il oriente les retouches

Séparez estimation des paramètres, choix du modèle et évaluation finale. Les données de validation servent au choix ; un dernier échantillon intact évalue le processus figé. Si son résultat conduit à modifier le filtre ou le marché, il devient une donnée de développement, même si le rapport continue de l’appeler « hors échantillon ».

Exemple de calendrier : estimation sur les observations 1–500 et test sur 501–600 ; puis 101–600 et 601–700 ; enfin 201–700 et 701–800. Les observations 801–1000 restent réservées. Ce calendrier et la règle de sélection doivent précéder l’examen des résultats. Une ancienne période de test peut entrer dans une estimation ultérieure lorsque le temps avance réellement ; on ne peut pas choisir après coup le protocole gagnant.

Reliez chronologiquement les rendements des périodes de test sans chevauchement, avec les opérations aux frontières et leurs coûts. Si les variables cibles utilisent des rendements futurs, retirez les observations d’apprentissage dont l’information déborde dans le test. La séparation dépend de l’horizon réel d’information, pas d’un nombre magique de jours. Pour les futures, vérifiez aussi la construction des séries continues et le résultat des changements d’échéance.

Quelques points de base peuvent absorber l’avantage

Supposons 200 opérations clôturées de même montant notionnel, gagnant en moyenne 8 points de base bruts par aller-retour. Un coût complet de 6 points de base laisse 2 points nets ; un coût de 10 points donne −2. Ces moyennes par opération ne sont ni des rendements annualisés ni des rendements composés du portefeuille. Les positions simultanées et le capital mobilisé nécessitent leur propre comptabilité.

Intégrez spread à l’achat et à la vente, commissions, glissement et éventuels frais de financement ou d’emprunt de titres. N’appliquez pas un coût aller simple à un rendement aller-retour. Dégradez les hypothèses pendant les périodes de forte rotation et de faible liquidité. Une performance brute statistiquement atypique peut rester inexploitable.

Vérifiez ensuite la sensibilité aux paramètres voisins, la concentration des gains sur quelques épisodes et la dépendance entre opérations. La stabilité renforce le dossier sans remplacer des données inconnues. Un nombre minimal universel de transactions ou un seuil de Sharpe universel ne règle pas ces problèmes.

Cinq contrôles avant de croire la courbe

1. Reproduire les données : disponibilité à la date considérée, prix exécutables, opérations sur titres et changements d’échéance.
2. Reconstituer la recherche : essais abandonnés et exclusions discrétionnaires ; une histoire manquante laisse le biais de sélection non quantifié.
3. Figer le protocole : fenêtres, sélection, gestion des positions et coûts avant l’évaluation finale.
4. Réconcilier les gains nets : rapprocher transactions et portefeuille, puis tester coûts, concentration et dépendance.
5. Définir la réfutation : un avantage qui disparaît après suppression des fuites, coûts réalistes ou évaluation réservée n’a pas passé le test annoncé.

Le meilleur dossier n’est pas celui dont la courbe est la plus lisse, mais celui qui permet à un autre analyste de reproduire le résultat et, si nécessaire, d’en démontrer la fragilité.