Sesgos de backtesting (overfitting, lookahead y supervivencia)

Sesgos de backtesting

¿Qué salió mal? Lo más probable es que tu backtest esté contaminado por sesgos. Son errores sistemáticos en tu proceso de pruebas que hacen que los resultados parezcan mejores de lo que realmente son. Entender estos sesgos es crítico si quieres que tu backtest signifique algo.

Esta página cubre los tres sesgos más dañinos y cómo evitarlos.

Qué es

El overfitting significa que has ajustado tu estrategia tan perfectamente a los datos pasados que solo funciona con esos datos concretos. Añades regla tras regla, filtro tras filtro, hasta que tu estrategia evita cada operación perdedora del pasado y captura cada ganadora. El resultado luce increíble en el gráfico histórico, pero tiene cero valor predictivo para el futuro.

Piénsalo como memorizar las respuestas del examen del año pasado. Sacas el 100% en ese examen, pero suspendes el nuevo porque las preguntas son diferentes.

Cómo ocurre

• Notas que tu estrategia pierde los lunes, así que añades una regla: no operar los lunes.
• Notas que pierde cuando el RSI está entre 40 y 60, así que añades un filtro: operar solo cuando el RSI esté por encima de 60 o por debajo de 40.
• Notas que pierde en GBP/JPY en marzo, así que lo excluyes.
• Sigues añadiendo condiciones hasta que el backtest queda impecable.

Cada regla que añades hace que la estrategia se ajuste más al pasado, pero cada regla también reduce la probabilidad de que funcione con datos nuevos. La estrategia no está capturando una ventaja real del mercado; está capturando ruido y aleatoriedad de un período concreto.

Cómo evitar el overfitting

• Mantén las reglas de tu estrategia simples. Máximo de tres a cinco reglas. Si necesitas diez reglas para que funcione, probablemente esté sobreajustada.
• Pruebas fuera de muestra (out-of-sample). Divide tus datos históricos en dos mitades. Desarrolla la estrategia en la primera mitad y luego pruébala en la segunda sin cambiar nada. Si sigue funcionando, es más probable que la ventaja sea real.
• Forward testing. Prueba la estrategia en tiempo real en una cuenta demo. Las estrategias sobreajustadas fallan rápido en condiciones reales. Consulta /strategies/backtesting/forward-testing/.
• Desconfía de los resultados perfectos. Las estrategias reales tienen curvas de equity irregulares, con drawdowns y rachas perdedoras. Si la tuya se ve demasiado limpia, probablemente hayas sobreajustado.

Qué es

El sesgo de lookahead ocurre cuando tu backtest usa información que no habría estado disponible en el momento de la operación. En esencia, estás espiando el futuro y usando ese conocimiento para tomar decisiones, algo imposible al operar en tiempo real.

Cómo ocurre

• Ves en el gráfico que un nivel de soporte aguantó, así que registras una operación de compra en ese nivel. Pero en tiempo real no habrías sabido si el nivel iba a aguantar. Podría haberse roto.
• Usas el valor de un indicador que se recalcula con datos futuros. Algunos indicadores repintan, es decir, sus señales cambian después de que la vela cierra.
• Entras a una operación en el mínimo exacto de una barra, algo visible en los datos históricos pero casi imposible de ejecutar en tiempo real.
• Usas datos del cierre del día para tomar una decisión que debía tomarse al inicio de la jornada.

Cómo evitar el sesgo de lookahead

• Avanza vela por vela. Nunca mires más allá de la vela actual al tomar decisiones de trading durante tu backtest.
• Asegúrate de que tus indicadores no repinten. Pruébalos en un gráfico en vivo para confirmarlo.
• Entra en las operaciones en la apertura de la siguiente vela después de la señal, no en el mejor precio posible dentro de la vela de la señal.
• Si haces backtesting manual, tapa el lado derecho del gráfico para no ver lo que sucede después.

Qué es

El sesgo de supervivencia ocurre cuando solo pruebas tu estrategia con instrumentos o datos que existen hoy, ignorando los que han desaparecido. En acciones es un problema enorme, porque las empresas quiebran y son excluidas de cotización. En forex es menos grave, pero sigue siendo relevante.

Cómo ocurre en forex

• Pruebas tu estrategia con pares de divisas que hoy son populares y líquidos, pero algunos de esos pares podrían no haber tenido tanta liquidez hace años. Tu backtest asume que siempre fueron fáciles de operar.
• Evitas probar en pares que tuvieron eventos extremos o anomalías (como el shock del franco suizo de enero de 2015) porque son atípicos. Pero esos eventos son reales y tu estrategia debe sobrevivirlos.
• Pruebas solo en los pares donde ya notaste que la estrategia parece funcionar, ignorando aquellos donde no. Es una forma de sesgo de selección muy relacionada con el sesgo de supervivencia.

Cómo evitar el sesgo de supervivencia

• Prueba en un conjunto amplio de pares, incluyendo aquellos que no parecen ideales para la estrategia. Si la estrategia solo funciona en dos de veinte pares, la ventaja podría no ser real.
• Incluye períodos de crisis en tus datos. El evento del franco suizo de 2015, la caída por la pandemia de 2020 y otros movimientos extremos deben estar en tus datos de prueba.
• No excluyas períodos perdedores o eventos atípicos solo porque se vean mal.

Otros sesgos a los que prestar atención

• Sesgo de confirmación. Crees que tu estrategia funciona, así que interpretas de forma inconsciente los setups ambiguos como entradas válidas cuando están al límite. Sé implacable con tus reglas.
• Sesgo de selección. Probar la estrategia solo en las condiciones de mercado en las que crees que va a funcionar (solo en tendencias, solo en rangos). Una estrategia robusta debe probarse en todas las condiciones.
• Sesgo de calidad de datos. Usar malos datos históricos con velas faltantes, precios incorrectos o errores de zona horaria. Verifica siempre que tu fuente de datos sea confiable. Plataformas como TradingView y MetaTrader 4 ofrecen, en general, datos históricos sólidos para hacer backtesting.

El mejor proceso de backtesting incluye estas salvaguardas

1. Escribe reglas claras y sin ambigüedad antes de empezar.
2. Usa un conjunto de datos lo bastante grande (al menos un año, de preferencia dos o más).
3. Divide los datos en un período dentro de la muestra (in-sample) para el desarrollo y un período fuera de la muestra (out-of-sample) para la validación.
4. Mantén la estrategia simple, con pocas reglas.
5. Avanza vela por vela y no mires hacia adelante.
6. Incluye condiciones de mercado diversas y períodos de crisis.
7. Complementa con forward testing en una cuenta demo.

Si sigues estos pasos, los resultados de tu backtest serán mucho más confiables y tu transición al trading en real será más fluida.