Quantitatives Handelssystem: Backtest versprach Sharpe 6,7, im Live-Handel 11 % Verlust

Ein quantitatives System ging von einem Sharpe von 6,7 im Backtest zu 11 % realen Verlusten über, mit nur 11 % ausgeführter Orders. Der Fehler lag in den Daten.

Deutsch · Ursprüngliche Diskussion auf Spanisch · Veröffentlicht

Der Backtest war eine Goldgrube und die Realität ein Rauschen, weil das Modell mit einem Referenz-Feed trainiert wurde, der nicht mit dem Ausführungsmarkt identisch ist, und die tatsächlichen Ausführungspreise nie gespeichert wurden. Mit einem Log-Loss von 0,4914 gegenüber 0,4902 des Marktpreises liefert das Modell keine Information: Das reale Ergebnis bestätigt es.

Es gibt eine Szene, die sich im privaten quantitativen Trading immer wiederholt: Jemand baut ein System, testet es gegen Jahre von Daten, sieht grüne Zahlen und hält sich für den Besitzer der Gans, die goldene Eier legt. Dann setzt er Geld ein, und die Gans legt Steine. Der vorliegende Fall enthält alle Puzzleteile: **3.800 Ereignisse in 16 Tagen**, rund **25 Beobachtungen pro Ereignis** alle **200 Sekunden**, ein logistisches Anker-Modell plus residuales GBDT mit Beta-Kalibrierung und eine GroupKFold-Validierung pro Ereignis mit 5 Folds. Der Out-of-Fold-Backtest zeigte zwischen **+30 % und +60 %** pro Markt bei 183 Trades insgesamt und einem Sharpe pro Trade von **2 bis 6,7**. Der reale Handel mit früheren Versionen: rund **260 Signale**, eine Rendite von **-11 %**, eine Trefferquote gleich der impliziten Wahrscheinlichkeit des Preises und nur **11 %** ausgeführter Orders.

## Der Markt, in dem du ausführst, ist nicht der Markt, in dem du trainierst

Hier liegt die Ursünde. Das System wurde mit einer externen Referenzquelle trainiert und validiert, einem Feed eines Drittanbieters mit eigener Latenz und eigenem Spread. Die Orders werden aber in einem anderen Orderbuch ausgeführt, mit Warteschlange, einer **Gebühr von 5 % auf Gewinne** und einer festen Verzögerung von **8 Sekunden** bei der Ausführung. Und die Preise dieses zweiten Marktes wurden nie gespeichert. Das bedeutet: Der Backtest misst eine Realität, die für den Trader nicht existiert. Das Modell lernt Muster eines Preises, der nicht der gezahlte ist. Die Gebühr von 5 % auf Gewinne allein frisst einen guten Teil der Marge, die der Backtest als selbstverständlich voraussetzte. Die Verzögerung von 8 Sekunden macht jedes Signal zur Fiktion, das von der Mikrostruktur abhängt.

## Ein Log-Loss, der den Markt nicht schlägt, ist kein Vorteil

Die unbequemste Zahl: Der Log-Loss des Modells beträgt **0,4914**, der des Marktpreises ohne Marge **0,4902**, im selben Universum. Das Modell prognostiziert schlechter als der Preis selbst. Kann es dennoch einen Vorteil geben, wenn nur gehandelt wird, wenn das Modell stark abweicht? Ja, theoretisch – aber nur, wenn das Modell einen besseren konditionierten Log-Loss in dieser Abweichungsregion hat und konditional kalibriert ist. Der exakte Test: Log-Loss des Modells und des Preises vergleichen, beschränkt auf die Beobachtungen, bei denen EV alpha übersteigt. Gewinnt das Modell dort nicht, gibt es keinen Vorteil. Wer über alle Beobachtungen kalibriert und dann nur im Tail handelt, überschätzt die Wahrscheinlichkeit, denn globale Kalibrierung garantiert keine lokale. Die Korrektur besteht darin, nur in der selektierten Region zu kalibrieren, mit lokaler Isotonie oder bayesianischem Shrinkage, und den Parameter mit wenigen Daten per Kreuzvalidierung pro Ereignis zu schätzen.

## Die Feed-Verzögerung, die wie Information aussieht

Die Referenzquelle reagiert mit Verzögerung auf Sprünge: Nach einer abrupten Bewegung bewegt sich der nächste Tick noch **2,3-mal** stärker als üblich. Das kann aussehen, als sähe das Modell Information, die der Markt noch nicht eingepreist hat – tatsächlich nutzt es aber die Verzögerung eines Feeds aus, der im Ausführungsmarkt nicht mehr existiert. Das Minimalexperiment: Preise des Feeds und des Ausführungsbuchs über einen ausreichenden Zeitraum gleichzeitig aufzeichnen und messen, ob die prädiktive Signalfunktion des Modells mit den realen Preisen überlebt. Verschwindet sie, war es Latenz, keine Information.

## Was tun mit 16 Tagen und 3.800 Ereignissen

Wenig. Mit dieser Stichprobe und dieser Frequenz ist jeder Backtest mit einem Sharpe von 6,7 per Konstruktion verdächtig. Ehrliche Validierung verlangt, die Preise des Ausführungsmarktes vom ersten Tag an zu speichern, mit realer Verzögerung und Gebühr Papier-Trading zu betreiben und den konditionierten Log-Loss der Selektion zu vergleichen. Solange das nicht geschieht, hat das System keinen nachgewiesenen Vorteil. Und mit echtem Geld ist Vorsicht keine Option: Dies ist keine Anlageberatung.

Auch verfügbar auf: English

Zusammenfassung einer Diskussion auf Burbuja.info - Foro de economía, actualidad y política., aus dem Spanischen übersetzt und vor der Veröffentlichung geprüft. Die ganze Diskussion lesen (7 Antworten).

Weitere Zusammenfassungen

Alle Zusammenfassungen auf Deutsch →

-
Volver