Denkfehler: Basiert mein Backtest auf der richtigen Logik?

Das „Backtest-Problem“

Jeder, der sich länger und intensiver mit dem Thema „Trading“ beschäftigt hat, hat schon mal einen Backtest durchgeführt. Oder? Zumindest hat jeder schon, mindestens einmal, eine Backtestauswertung gesehen.

So, in etwa, kann eine Backtest-Auswertung aussehen:

Es sind alle relevanten Daten ersichtlich. Maximaler Drawdown, durchschnittlicher Gewinn, durchschnittlicher Verlust usw.

Es scheint so auszusehen, als ob ein Backtest eine gute Sache ist. Ist er auch! Wenn man das Signal oder die Handelsstrategie, die dahintersteckt, auch richtig überprüft hat.

Wenn Sie sich für das Thema „Handelsstrategie entwickeln“ interessieren, können wir Ihnen gerne unseren Artikel zu diesem Thema ans Herz legen: Wie entwickle ich eine erfolgreiche, statistische Trading-Strategie? 

Es verbirgt sich nämlich, in den meisten Fällen, ein großer Denkfehler hinter solchen Backtests. Wir reden jetzt nicht davon, dass dieser Backtest falsch ist und dass die Zahlen, die angegeben worden sind, nicht stimmen.

Es handelt sich eher um einen Test-Fehler der Logik! Sie wollen ja eine statistische Auswertung nach wissenschaftlichen Methoden vornehmen und somit beweisen, dass Ihr Backtest tatsächlich seine Richtigkeit besitzt. Sie wollen wissen, ob Ihr Handelssignal für den positiven Backtest gesorgt hat oder nicht.

Ohne die richtige wissenschaftliche Logik hat ein Backtest, auch wenn er Gewinnbringend ist, sehr wenig Aussagekraft!

Die Logik hinter dem Backtest verstehen

Was ist wohl der größte Irrglaube bei einem durchgeführten Backtest? Oder überlegen Sie mal, was einer sein könnte. Es ist der Irrglaube, dass man glaubt die richtige Schlussfolgerung aus seinem Backtest zu ziehen, obwohl diese falsch sind. Verdeutlichen wir das am besten an einem Beispiel.

Sie haben sich hingesetzt und sich Gedanken über ein Handelssystem gemacht. Soweit so gut. Sie sind auf die Idee gekommen und wollen nun Ihre Handelsidee mit einem Backtest bestätigen. Voilá, Sie haben einen positiven Backtest erhalten und gehen nun davon aus, dass Ihre Handelsidee oder Ihr Handelssignal eine Aussagekraft für die Zukunft besitzt. Und hier greifen wir ein. Dies ist ein Trugschluss. Sie haben zwar durch diesen Backtest ein positives Resultat erhalten, Sie haben aber noch lange nicht bewiesen, dass dieses positive Resultat auch durch Ihr Handelssignal zustande gekommen ist.

Hier nochmal der Vorgang als logische Reihenfolge dargestellt:

1. Prämisse: Wenn mein Handelssignal eintritt, steigt/sinkt der Markt in meine gewünschte Richtung und führt zu einem positiven Backtest.
2. Prämisse: Wir erhalten einen positiven Backtest.
3. FALSCHE SCHLUSSFOLGERUNG: Unser Handelssignal hat eine Aussagekraft und sorgt für den positiven Backtest.

Verdeutlichen wir die falsche Schlussfolgerung an einem anderen Beispiel:

1. Prämisse: Wenn es ein Kugelschreiber ist, dann kann man damit auch schreiben.
2. Prämisse: Man kann damit schreiben.
3. FALSCHE SCHLUSSFOLGERUNG: Es ist ein Kugelschreiber.

Nur weil man damit schreiben kann, muss es nicht automatisch ein Kugelschreiber sein. Es kann sich auch um einen Bleistift, einen Tintenfüller etc. handeln.

Richtig ist aber auch wiederum, wenn ich damit nicht schreiben kann, dann ist es auch definitiv kein Kugelschreiber. Rückwirkend funktioniert diese Logik.

Genauso ergeht es der Logik im oberen Backtest-Beispiel. Sie haben zwar einen positiven Backtest erhalten, dies heißt aber noch lange nicht, dass auch tatsächlich Ihr Handelssignal oder Ihre Tradingstrategie für den positiven Backtest verantwortlich ist. Es können zig andere Gründe sein.

Diese „zig anderen Gründe“ müssen wir ausschließen können, um uns so sicher wie nur möglich mit unserem Handelssystem zu sein.

Jetzt kommen wir zum spannenden Teil. Wie überprüfen Sie denn jetzt die richtige Schlussfolgerung.

Der H0-Hypothesentest

Wir wollen jetzt nicht versuchen unsere Prämissen zu beweisen, sondern wir wollen diese widerlegen.

Als Anmerkung, wir werden versuchen es nicht zu trocken zu erklären, da Statistik für die meisten Trader eher ein langweiliges, als ein spannendes Thema ist. Wir versuchen Ihnen ein kompaktes und brauchbares Modell an die Hand zu geben, mit denen Sie dann, hoffentlich, in Zukunft Ihr Schlussfolgerungen richtig analysieren können.

Die H0-These ist immer die These, die wir versuchen zu widerlegen. Die H1-These ist dann logischerweise die These, die wir versuchen zu „bestätigen“. Wir können in der Wissenschaft nie eine These wirklich bestätigen. Wir können eine Hypothese entweder widerlegen oder wir schaffen es nicht diese zu widerlegen. Um aber nicht unnötig zu verwirren, verwenden wir einfach die Begrifflichkeit „Bestätigen“.

Die H1-These wird auch als Alternativhypothese bezeichnet und stellt die Gegenwahrscheinlichkeit zur H0-These dar.

Stellen wir nun unsere H0- und H1-Hypothese auf:

• H0-These: Wenn mein Handelssignal eintritt, dann steigt/sinkt der Markt in die nicht gewünschte Richtung um den Betrag X
• H1-These: Wenn mein Handelssignal eintritt, dann steigt/sinkt der Markt in die gewünschte Richtung um den Betrag X

Nun stellen wir unsere richtige logische Schlussfolgerung auf:

1. Prämisse: Wenn H0-Richtig, dann entwickelt sich der Markt um Betrag X nicht in die gewünschte Richtung
2. Prämisse: Der Markt entwickelt sich nicht, in die nicht gewünschte Richtung um den Betrag X ( Also in die gewünschte Richtung)
3. RICHTIGE SCHLUSSFOLGERUNG: Wir können die H0-These verwerfen und können sagen, dass das Handelssignal tatsächlich eine Aussagekraft besitzt und der Markt sich höchstwahrscheinlich aufgrund des Handelssignals sich in die gewünschte Richtung entwickelt.

Es ist natürlich klar, dass die Realität deutlich komplexer ist, als dass man sie in 2 Thesen packen könnte. Es ist dennoch wichtig, sich dieser richtigen Systematik bewusst zu sein und nicht jedem Backtest zu glauben.

Wir prüfen, bevor wir eine Handelsstrategie entwickeln, immer mit Hilfe einer Teststatistik und dem H0-Hypothesentest, ob es sich lohnt mehr Energie in eine Handelsstrategie hinein zu investieren.

Nennen wir noch eine weitere Möglichkeit für den H0-Hypothesentest, der auch so in der Wirklichkeit verwendet wird.

Wenn wir die Predictive Power von einem Handelssignal beweisen wollen, dann wollen wir auch eine hohe Korrelation von höheren Outputs, mit höheren Erträgen beweisen.

Nehmen wir als Beispiel einen Sentiment-Index. Dieser Sentiment-Index kann Werte von -100 (Short) bis +100(long) annehmen.

Nun wollen wir die verschiedenen Outputs mit den darauffolgenden Erträgen vergleichen und stellen diese mit dem Rangkorrelationskoeffizienten dar. Im Großen und Ganzen zeigt dieser Koeffizient an, ob ein höherer Sentiment-Wert auch mit einem höheren Ertrag-Korreliert.  Es ist auch wichtig, dass wir auch den p-Value Wert berechnen um überhaupt untersuchen zu können, ob eine solche Korrelation relevant ist.

Im Regelfall entscheidet auch der p-Value über den H0.Hypothesentest. Wir möchten in diesem Artikel aber nicht zu intensiv auf statistische Details eingehen.

Stellen Sie sich den p-Value einfach wie eine Grenze vor. Liegt der analysierte Wert über dieser Grenze, so kann die H0-Hypothese verworfen werden. Liegt der Wert unter dieser Grenze, so schaffen wir es nicht die H0-Hypothese zu verwerfen und diese wird somit „bestätigt.

Die Methode der Analyse des Rangkorrelationskoeffizienten in Verbindung mit dem p-Value ist eine gängige Art im quantitativen Trading um die Vorhersagekraft eines Handelssignals innerhalb eines Trading-Systems nachzuweisen.

Die Fehler die bei einem H0-Hypothesentest eintreten können

Sie müssen natürlich auch wissen, dass Sie auch mit einem H0-Hypothesentest nie die 100%-ige Sicherheit haben, dass der positive Backtest tatsächlich auch an Ihrem Handelssignal liegt.

Solch ein mögliches Szenario wird durch ein Signifikanzniveau gekennzeichnet. Im Normalfall beträgt solch ein Signifikanzniveau 5%. Das heißt, dass in 5% der Fälle ein Fehler im Hypothesentest vorliegen kann.

Es existieren zwei Arten von Fehlern die eintreten können. Der Fehler 1. Art und der Fehler 2. Art.

Ein Fehler 1. Art liegt vor, wenn Sie bei einem H0-Hypothesentest die H0-Hypothese zu Unrecht verworfen haben.

Ein Fehler 2. Art liegt vor, wenn Sie bei einem H0-Hypothesentest die H0-Hypothese zu Unrecht beibehalten haben,

Diese Fehler können Sie mit Hilfe eines „p-Value-Test“ minimieren. Komplett ausschließen können Sie diese aber nie.

Fazit:

Wir hoffen, dass wir Ihnen mit diesem Artikel zeigen konnten, wo sich einer der größten Denkfehler im Bereich Backtesting verbirgt.

Es ist von unglaublicher Wichtigkeit, dass Sie Ihren Backtest mit der richtigen Logik überprüfen. Natürlich ist der H0-Hypothesentest kein Wundermittel für Strategien mit einer unglaublichen Performance. Solch ein Wundermittel existiert leider auch nicht.

Was der H0-Hypothesentest aber definitiv kann, ist Sie vor Strategien zu schützen, die Ihnen Geld kosten würden, bis Sie bemerken würden, dass die Handelsstrategie irgendwie nicht so funktioniert wie geplant.

Seien Sie ehrlich zu sich selbst und prüfen Sie Ihre eigene Handelsstrategie mit dem H0-Hypothesentest. Sie werden staunen!

Mit freundlichen Grüßen und eine erfolgreiche Trading-Woche,

Statistic-Trading