Sobreajuste en backtesting: ¿la mejor estrategia o la más afortunada?

Una curva de capital impecable puede reflejar una buena estrategia o una búsqueda lo bastante larga. Si se prueban muchos mercados, parámetros y filtros y solo se presenta el ganador, no estamos ante un experimento aislado: estamos viendo el resultado de un proceso de selección.

Antes de valorar la rentabilidad, hay que reconstruir cómo se eligió la estrategia. Importan los ensayos descartados, el momento en que se fijaron las reglas, la información disponible al operar y el resultado después de costes. Un Sharpe elevado no sustituye esa trazabilidad.

Por qué 100 pruebas no equivalen a una

Imaginemos que ninguna estrategia tiene una ventaja real, cada contraste produce un falso positivo con probabilidad del 5 % y los contrastes son independientes. La probabilidad de no cometer ninguno en m pruebas es 0,95 elevado a m. Por tanto:

P(al menos un falso positivo) = 1 − (1 − 0,05)^m

Con 100 pruebas es casi seguro encontrar algún resultado aparentemente significativo bajo esas hipótesis. No significa que el ganador tenga un 99,41 % de probabilidad de ser falso ni que ese porcentaje de estrategias pierda dinero. Es una probabilidad conjunta suponiendo que todas las hipótesis nulas son ciertas, no una probabilidad posterior sobre la estrategia seleccionada.

Las variantes reales comparten señales y rendimientos. No son independientes, así que introducir el número bruto de combinaciones en la fórmula no proporciona una estimación exacta. El ejemplo muestra la importancia de la amplitud de búsqueda, no calcula el número efectivo de experimentos independientes.

El historial de investigación incluye los intentos fallidos

Diez ventanas en cinco mercados ofrecen muchas más oportunidades de selección que la única combinación publicada. Cambiar la fecha inicial, eliminar una crisis, invertir la señal o añadir un filtro tras ver los resultados también utiliza la misma historia. Registre datos, reglas, parámetros, costes, periodos y orden de las decisiones de cada ensayo.

Para una familia prefijada y completamente declarada de m contrastes válidos, Bonferroni ofrece un control conservador: umbral individual α/m. Con 20 pruebas y un error conjunto del 5 %, resulta 0,0025. Un valor p sin ajustar de 0,01 no supera ese umbral. No se exige independencia, pero sí contrastes válidos y una familia bien definida. La corrección no arregla información futura, pruebas ocultas ni supuestos estadísticos incorrectos.

El conjunto reservado deja de ser independiente cuando inspira cambios

Separe estimación, selección y evaluación final. La validación sirve para elegir el diseño; una muestra intacta evalúa el procedimiento congelado. Si su resultado lleva a modificar filtros o mercados, ya se ha convertido en información de desarrollo. Cambiarle el nombre no devuelve la independencia.

Un calendario ilustrativo estima con las observaciones 1–500 y evalúa 501–600; después utiliza 101–600 y 601–700; finalmente 201–700 y 701–800. Las observaciones 801–1000 quedan reservadas. Tanto el calendario como la regla de selección se fijan antes de mirar los resultados. Datos de prueba antiguos pueden entrar en el entrenamiento posterior cuando el tiempo avanza, pero no permiten escoger retrospectivamente el procedimiento más favorable.

Encadene retornos de prueba no solapados en orden temporal e incluya posiciones y costes en los límites. Si la variable objetivo usa rentabilidades futuras, elimine del entrenamiento las observaciones cuya información alcanza el periodo evaluado. La separación necesaria depende del horizonte informativo, no de un número fijo de días. En futuros, revise además la serie continua y la contabilidad del cambio de vencimiento.

El coste puede consumir toda la ventaja restante

Supongamos 200 operaciones cerradas con igual nominal y un beneficio bruto medio de 8 puntos básicos por operación completa. Un coste de ida y vuelta de 6 puntos deja 2 netos; con 10, el resultado es −2. Son medias aritméticas por operación, no rentabilidades anualizadas ni compuestas de cartera. El solapamiento de posiciones y el capital empleado requieren otra contabilidad.

Incluya horquilla en ambos lados, comisiones, deslizamiento y financiación o préstamo de valores cuando proceda. No reste un coste de una sola dirección a una operación completa. Someta a tensión los periodos de mayor rotación y menor liquidez. Un beneficio bruto estadísticamente llamativo puede no ser explotable.

Compruebe parámetros cercanos, concentración del beneficio en pocos episodios y dependencia entre operaciones. La robustez añade evidencia, pero no reemplaza datos inéditos. No existe un mínimo universal de operaciones ni un Sharpe que por sí solo elimine selección, colas y dependencia.

Una auditoría que pueda refutar el resultado

1. Reproduzca los datos: información disponible entonces, precios ejecutables y ajustes corporativos o de vencimiento.
2. Recupere la búsqueda: variantes descartadas y exclusiones discrecionales; un registro incompleto impide evaluar bien la selección.
3. Congele el procedimiento: ventanas, selección, posiciones y costes antes de la prueba final.
4. Reconcilie el beneficio neto: operaciones frente a cartera, costes adversos y concentración de resultados.
5. Defina el fracaso: si la ventaja desaparece al corregir filtraciones, costes o evaluación independiente, la conclusión inicial no queda demostrada.

Un backtest convincente permite repetir la investigación y detectar sus límites. Una curva bonita sin ese expediente sigue siendo una hipótesis, no una ventaja acreditada.