Les biais du backtesting (overfitting, lookahead, biais du survivant)

Les biais du backtesting

Qu’est-ce qui n’a pas marché ? Très probablement, votre backtest a été faussé par des biais. Ce sont des erreurs systématiques dans votre méthode de test, qui font paraître les résultats meilleurs qu’ils ne le sont réellement. Comprendre ces biais est essentiel si vous voulez que votre backtest ait un sens.

Cette page présente les trois biais les plus nuisibles et la manière de les éviter.

Ce que c’est

L’overfitting (surajustement) signifie que vous avez réglé votre stratégie si parfaitement sur les données passées qu’elle ne fonctionne que sur ces données-là. Vous ajoutez règle après règle, filtre après filtre, jusqu’à ce que votre stratégie évite tous les trades perdants de l’historique et capture tous les gagnants. Le résultat est superbe sur le graphique passé, mais il n’a aucune valeur prédictive pour l’avenir.

C’est comme apprendre par cœur les réponses de l’examen de l’année dernière. Vous obtenez 100 % à cet examen, mais vous échouez au nouveau, parce que les questions sont différentes.

Comment cela se produit

• Vous remarquez que votre stratégie perd le lundi, alors vous ajoutez une règle : pas de trading le lundi.
• Vous remarquez qu’elle perd quand le RSI est entre 40 et 60, alors vous ajoutez un filtre : ne trader que lorsque le RSI est au-dessus de 60 ou en dessous de 40.
• Vous remarquez qu’elle perd sur le GBP/JPY en mars, alors vous excluez cette période.
• Vous continuez à ajouter des conditions jusqu’à obtenir un backtest sans défaut.

Chaque règle ajoutée colle davantage la stratégie aux données passées, mais chaque règle réduit aussi ses chances de fonctionner sur de nouvelles données. La stratégie ne capture pas un véritable avantage de marché ; elle capture le bruit et le hasard d’une période précise.

Comment éviter l’overfitting

• Gardez des règles simples : trois à cinq règles au maximum. S’il vous faut dix règles pour que la stratégie fonctionne, elle est probablement surajustée.
• Le test hors échantillon (out-of-sample). Divisez vos données historiques en deux moitiés. Développez la stratégie sur la première moitié, puis testez-la sur la seconde sans rien changer. Si elle fonctionne encore, l’avantage a plus de chances d’être réel.
• Le forward testing. Testez la stratégie en temps réel sur un compte démo. Les stratégies surajustées échouent rapidement en conditions réelles. Voir Forward testing.
• Méfiez-vous des résultats parfaits. Les vraies stratégies ont des courbes de capital irrégulières, avec des drawdowns et des séries de pertes. Si la vôtre paraît trop propre, vous avez probablement fait de l’overfitting.

Ce que c’est

Le biais d’anticipation (lookahead bias) apparaît quand votre backtest utilise des informations qui n’étaient pas disponibles au moment du trade. En pratique, vous jetez un œil sur le futur et vous vous servez de cette connaissance pour décider, ce qui est impossible en trading réel.

Comment cela se produit

• Vous voyez sur le graphique qu’un support a tenu, alors vous notez un trade d’achat à ce niveau. Mais en temps réel, vous n’auriez pas su que ce niveau allait tenir. Il aurait pu céder.
• Vous utilisez la valeur d’un indicateur qui se recalcule à partir de données futures. Certains indicateurs « repaignent » (repaint) : leurs signaux changent après la clôture de la bougie.
• Vous entrez dans un trade au plus bas exact d’une bougie, ce qui est visible sur les données historiques mais presque impossible à exécuter en temps réel.
• Vous utilisez des données de fin de journée pour prendre une décision censée intervenir en début de journée.

Comment éviter le biais d’anticipation

• Avancez bougie par bougie. Pendant votre backtest, ne regardez jamais au-delà de la bougie en cours au moment de prendre une décision.
• Assurez-vous que vos indicateurs ne repaignent pas. Testez-les sur un graphique en temps réel pour le confirmer.
• Entrez dans les trades à l’ouverture de la bougie qui suit le signal, et non au meilleur prix possible à l’intérieur de la bougie du signal.
• Si vous faites un backtest manuel, masquez la partie droite du graphique pour ne pas voir la suite.

Ce que c’est

Le biais du survivant (survivorship bias) se produit quand vous testez votre stratégie uniquement sur des instruments ou des données qui existent aujourd’hui, en ignorant ceux qui ont disparu. Sur les actions, c’est un problème majeur, car des entreprises font faillite et sont retirées de la cote. Sur le forex, il est moins grave, mais il reste pertinent.

Comment il se manifeste en forex

• Vous testez votre stratégie sur des paires de devises aujourd’hui populaires et liquides, mais certaines n’étaient peut-être pas aussi liquides il y a quelques années. Votre backtest suppose qu’elles ont toujours été faciles à trader.
• Vous évitez de tester sur des paires qui ont connu des événements extrêmes ou des anomalies (comme le choc du franc suisse en janvier 2015), parce que ce sont des cas à part. Mais ces événements sont réels et votre stratégie doit y survivre.
• Vous testez uniquement les paires sur lesquelles vous avez déjà remarqué que la stratégie semble fonctionner, en ignorant celles où elle ne fonctionne pas. C’est une forme de biais de sélection, très proche du biais du survivant.

Comment éviter le biais du survivant

• Testez sur un large éventail de paires, y compris celles qui ne semblent pas idéales pour la stratégie. Si la stratégie ne fonctionne que sur deux paires sur vingt, l’avantage n’est peut-être pas réel.
• Incluez des périodes de crise dans vos données. L’épisode du franc suisse en 2015, le krach lié à la pandémie en 2020 et d’autres mouvements extrêmes doivent figurer dans vos données de test.
• N’excluez pas les périodes perdantes ou les événements exceptionnels simplement parce qu’ils donnent une mauvaise image.

D’autres biais à surveiller

• Le biais de confirmation. Vous croyez que votre stratégie fonctionne, alors vous interprétez inconsciemment des setups ambigus comme des entrées valides alors qu’ils sont limites. Soyez impitoyable avec vos règles.
• Le biais de sélection. Tester la stratégie seulement dans les conditions de marché où vous pensez qu’elle fonctionnera (uniquement en tendance, uniquement en range). Une stratégie robuste doit être testée dans toutes les conditions.
• Le biais de qualité des données. Utiliser de mauvaises données historiques, avec des bougies manquantes, des prix erronés ou des erreurs de fuseau horaire. Vérifiez toujours que votre source de données est fiable. Des plateformes comme TradingView et MetaTrader 4 proposent des données historiques généralement solides pour le backtesting.

Un bon processus de backtesting comprend ces garde-fous

1. Rédigez des règles claires et sans ambiguïté avant de commencer.
2. Utilisez un échantillon de données assez large (au moins un an, de préférence deux ou plus).
3. Divisez les données en une période intra-échantillon (in-sample) pour le développement et une période hors échantillon (out-of-sample) pour la validation.
4. Gardez une stratégie simple, avec peu de règles.
5. Avancez bougie par bougie et ne regardez pas la suite.
6. Incluez des conditions de marché variées et des périodes de crise.
7. Poursuivez avec un forward testing sur un compte démo.

Si vous suivez ces étapes, les résultats de votre backtest seront bien plus fiables et votre passage au trading réel se fera plus en douceur.