Overfitting: waarom je mooiste backtest je grootste valkuil is
Hoe langer je aan een strategie sleutelt, hoe beter hij op het verleden past. Tot hij alleen nog op het verleden past.
Dit is het hoofdstuk dat de meeste beginners het liefst overslaan, en het belangrijkste. Hier zie je waarom een backtest die er perfect uitziet juist reden is om op te letten. Met een figuur waar je zelf aan kunt schuiven.
Na dit hoofdstuk weet je
- wat overfitting is, in gewone woorden
- aan welke vijf signalen je het herkent
- hoe je het voorkomt
Wat is overfitting?#
Overfitting is een strategie zo precies afstellen op historische data dat hij de toevalligheden van het verleden volgt in plaats van het gedrag van de markt. In de backtest ziet hij er prachtig uit. Op nieuwe data valt hij tegen.
Elke koersgrafiek bestaat uit beweging die een reden heeft en uit ruis. Een goede strategie haakt in op het eerste. Een overfit strategie heeft de ruis uit zijn hoofd geleerd, en ruis herhaalt zich niet.
Probeer het zelf#
De donkere punten zijn de data waarop je bouwt. De open rondjes komen uit dezelfde markt, maar heeft je strategie nooit gezien. Voeg regels toe en kijk wat er gebeurt.
Illustratie met willekeurig gegenereerde data. Geen koersen, geen echte strategie en geen resultaat.
Met weinig regels mist de lijn de echte beweging. In het midden volgt hij de grote lijn en negeert hij de ruis. Met veel regels raakt hij bijna elk donker punt, en juist daardoor volgt hij de open rondjes slechter. Dat gebeurt ook met een strategie die je eindeloos bijstelt.
Vijf signalen dat je strategie overfit is#
- Heel specifieke instellingen. Een gemiddelde van 143 periodes en een stop van 37 pips, omdat die toevallig het mooist uitkwamen.
- Veel regels voor weinig trades. Elke extra voorwaarde filtert trades weg, tot alleen de winnaars uit het verleden over zijn.
- Een te gladde lijn. Bijna geen tegenvallers, terwijl echte markten die altijd hebben.
- Fragiel. Verschuif je één instelling een klein stukje, dan stort het resultaat in.
- Werkt alleen hier. Alleen op één valutapaar, één tijdframe en precies die periode.
Zo voorkom je overfitting#
- Houd het simpel. Elke regel moet je in één zin kunnen uitleggen. Kun je niet zeggen waarom de markt zich zo zou gedragen, dan is het waarschijnlijk ruis.
- Houd data apart. Bouw op het ene deel en test pas aan het eind op het andere. In de strategietester van MetaTrader 5 kun je bij het optimaliseren een forward-periode instellen die apart blijft.
- Test de buurt. Werkt je strategie ook met iets andere instellingen? Een brede, stabiele zone is beter dan één perfecte piek.
- Test breder: andere periodes, andere marktfases en waar het logisch is verwante markten.
- Doe een forward test op een demo-account voordat er echt geld meedoet.
- Accepteer een minder mooie lijn. Een eerlijke backtest met tegenvallers is meer waard dan een perfecte die nooit terugkomt.
Ziet je backtest er beter uit dan je ooit live zou durven verwachten? Zoek dan eerst de fout. Meestal zit hij in de test.
Verder lezen: Backtesten: je strategie testen en Trading psychologie
Veelgestelde vragen#
Wat is het verschil tussen optimaliseren en overfitting?
Optimaliseren is zoeken naar instellingen die logisch zijn en in een brede zone goed werken. Overfitting is doorgaan tot je de toevalligheden van het verleden volgt. Een simpele toets: werkt de strategie nog redelijk als je een instelling een stukje verschuift? Dan zit je goed.
Hoeveel data houd je apart?
Daar is geen vaste regel voor. Veel traders houden een flink deel apart, bijvoorbeeld de meest recente periode, en kijken daar pas naar als het bouwen klaar is. Belangrijk is vooral dat je er tijdens het bouwen niet aan zit.
Kan een no-code algoritme ook overfit zijn?
Zeker. Overfitting zit niet in de code maar in hoe je bouwt en test. Met een no-code builder voeg je juist makkelijk een extra blok toe, dus de verleiding is even groot.