Переобучение в бэктесте: лучшая стратегия или самая удачливая?

Красивая кривая капитала может возникнуть благодаря хорошей стратегии — или достаточно долгому перебору. Если исследователь меняет рынки, периоды и фильтры, а публикует только победителя, итог отражает весь скрытый процесс отбора, а не один независимый эксперимент.

Прежде чем оценивать доходность, восстановите исследовательскую процедуру. Сколько идей отброшено? Когда утверждены правила? Была ли информация доступна при исполнении? Что осталось после издержек? Высокий коэффициент Шарпа сам по себе этого не объясняет.

Сто попыток — не одна проверка

Возьмём упрощённую модель: ни у одной стратегии нет реального преимущества, вероятность ложноположительного результата каждого теста равна 5%, тесты независимы. Вероятность не получить ни одного такого результата за m проверок равна 0,95 в степени m:

P(хотя бы один ложный результат) = 1 − (1 − 0,05)^m

При 100 попытках почти неизбежно найдётся что-то «значимое» в рамках этих предпосылок. Но это не означает, что выбранная стратегия неверна с вероятностью 99,41% или что столько же стратегий убыточны. Речь о целом семействе тестов при истинности всех нулевых гипотез, а не об апостериорной вероятности для победителя.

Реальные варианты обычно используют общие сигналы и доходности. Независимость отсутствует, поэтому подстановка общего числа комбинаций не даёт точной оценки риска. Пример показывает роль масштаба поиска, но не оценивает эффективное число независимых экспериментов.

Неудачные версии тоже часть исследования

Десять окон на пяти рынках дают гораздо больше возможностей выбора, чем единственная опубликованная комбинация. Сдвиг начала периода, исключение кризиса, инверсия сигнала или новый фильтр после просмотра результата снова используют ту же историю. Храните версии данных, правила, параметры, издержки, периоды и последовательность решений.

Для заранее определённого и полностью раскрытого семейства из m корректных тестов консервативная поправка Бонферрони задаёт индивидуальный порог α/m. При 20 тестах и общем бюджете ошибки 5% это 0,0025: нескорректированное p-значение 0,01 не проходит. Независимость не требуется, но корректность отдельных тестов и честное определение семейства обязательны. Поправка не устраняет утечку будущей информации или скрытые попытки.

Резервная выборка перестаёт быть резервной после доработки по её результатам

Разделите оценку параметров, выбор модели и окончательную проверку. Валидация помогает выбирать; нетронутые данные оценивают зафиксированную процедуру. Если их результат подсказал новый фильтр или рынок, этот период уже участвует в разработке. Название «вне выборки» независимость не восстанавливает.

Пример расписания: оценка на наблюдениях 1–500, проверка на 501–600; затем 101–600 и 601–700; далее 201–700 и 701–800. Наблюдения 801–1000 остаются резервом. Расписание и правило отбора фиксируют заранее. Старые тестовые данные могут войти в последующее обучение, когда время действительно прошло, но нельзя выбирать лучший протокол после просмотра всех результатов.

Соединяйте непересекающиеся тестовые доходности хронологически, включая позиции и расходы на границах. Если целевая переменная содержит будущую доходность, исключайте обучающие наблюдения, информация которых заходит в тестовый период. Разрыв определяется реальным информационным горизонтом, а не произвольным количеством дней. Для фьючерсов отдельно проверьте непрерывный ценовой ряд и финансовый результат смены контрактов.

Несколько базисных пунктов меняют знак результата

Пусть 200 завершённых сделок одинакового номинала дали в среднем 8 базисных пунктов до расходов за полный вход и выход. Полные издержки 6 пунктов оставляют 2 чистыми, а 10 дают −2. Это арифметические средние по сделкам, не годовая и не сложная доходность портфеля. Одновременные позиции и занятый капитал требуют отдельного учёта.

Включайте спред с обеих сторон, комиссии, проскальзывание и применимые расходы на финансирование или заём бумаг. Нельзя вычитать односторонний расход из полного оборота. Ухудшайте условия прежде всего при высоком обороте и низкой ликвидности. Статистически необычная валовая прибыль может быть практически недоступна.

Проверьте соседние параметры, концентрацию прибыли в нескольких эпизодах и зависимость сделок. Устойчивость усиливает аргумент, но не заменяет новые данные. Универсального числа сделок или порога Шарпа, устраняющего отбор, зависимость и хвостовой риск, нет.

Пять проверок до доверия к графику

1. Воспроизведите входные данные: доступность информации на дату, исполнимые цены, корпоративные события и смену контрактов.
2. Восстановите поиск: неудачные тесты и ручные исключения; без истории влияние отбора остаётся неясным.
3. Зафиксируйте протокол: окна, выбор модели, позиции и расходы до итоговой проверки.
4. Сверьте чистый результат: сделки с портфелем, неблагоприятные издержки, концентрацию и зависимость.
5. Определите опровержение: преимущество, исчезнувшее после устранения утечки, реалистичных расходов или резервной проверки, не прошло заявленный тест.

Полезный бэктест позволяет другому исследователю повторить процедуру и обнаружить ошибку. Красивый график без такого следа остаётся гипотезой.