Hay un momento incómodo en cualquier proyecto de trading cuantitativo: descubres que tu backtest no mide lo que crees que mide.
El nuestro llegó así.
Los dos números
Misma configuración. Mismos datos históricos. Misma ventana temporal. Lo único que cambiamos fue el modelo de ejecución del simulador de MetaTrader:
| Modelo | Resultado | Factor |
|---|---|---|
| Precios de apertura M1 | +34.496 | 1,47 |
| Cada tick | −93.797 | 0,38 |
No es una diferencia de magnitud. Es una diferencia de signo. Un modelo dice que el sistema gana un 47 % más de lo que pierde; el otro dice que pierde casi tres veces lo que gana.
Por qué pasa
Un backtest no simula el mercado. Simula tu modelo de cómo se rellenan las órdenes.
El modelo de precios de apertura asume que dentro de cada vela sólo pasan cuatro cosas: apertura, máximo, mínimo, cierre, en un orden que el simulador inventa. El modelo de cada tick reconstruye el recorrido intravela con mucho más detalle.
Si tu estrategia es indiferente a lo que pasa dentro de la vela, ambos modelos coinciden. Si tu estrategia depende del recorrido intravela, divergen — y cuanto más dependa, más divergen.
La nuestra depende. El objetivo móvil del lado del servidor se arma cuando el precio alcanza cierto nivel y luego sigue al máximo, cortando sólo en un retroceso. Ese comportamiento es puro recorrido intravela. Con velas de apertura, el simulador se inventa un recorrido benévolo. Con cada tick, tiene que enfrentarse a los tirones reales.
Es revelador que la pieza que aporta la mayor parte del resultado modelado sea exactamente la que no sobrevive al modelo estricto: sin el objetivo móvil el neto cae de 40.675 a 9.389. Es decir, el grueso de la ganancia modelada está concentrado justo donde está el riesgo de modelo.
Qué hacer con esto
Lo primero, no es «usar siempre cada tick». Cada tick también es un modelo, con sus propios supuestos sobre spread, deslizamiento y latencia. Cambiar de modelo no te da la verdad, te da otra aproximación.
Lo que hacemos:
1. Correr los dos modelos siempre. Si coinciden en signo, tienes algo. Si no coinciden, el backtest no es evidencia — es una hipótesis.
2. Tratar la divergencia como el dato. No es ruido a promediar. Te está señalando exactamente qué parte de tu estrategia depende de supuestos que no puedes verificar.
3. Medir la ejecución real. Ningún simulador te da el deslizamiento de tu bróker con tu latencia. Registramos precio pedido contra precio ejecutado en cada orden. Primera sesión real, 62 ejecuciones en oro: deslizamiento medio de +0,0274 $ por orden, dejando el 92 % de la expectativa modelada. Es una sola sesión y en demo, donde las ejecuciones son optimistas — pero es el único número que no sale de una simulación.
4. No publicar el número bonito solo. Cuando el signo depende del simulador, enseñar únicamente el positivo no es optimismo. Es omitir la mitad del experimento.
La conclusión aburrida
Un backtest cuyo signo depende del simulador no puede sostener una decisión de despliegue. No importa lo bueno que sea el número bueno.
Un barrido de 65 configuraciones más validación fuera de muestra no nos produjo ninguna que cumpliera factor superior a 1,2 con caída inferior al 3 %. Eso también es un resultado, y también lo publicamos.
De la construcción de Cerberus, Tuurt Labs. Instrumento de alto riesgo: operar CFDs apalancados puede provocar la pérdida total del capital. Esto no es asesoría de inversión.