METHOD
怎么证明它不是过拟合
一个漂亮的回测曲线,最可能的解释是运气。这一页是排除运气的六个动作。
STEP 1
先定过关线,再跑策略
六条全部满足才叫「候选」,而且候选也只允许模拟盘。
| 过关线 | 门槛 | 为什么是它 |
|---|---|---|
| 样本外成交笔数 | ≥ 50 笔 | 少于 50 笔的统计量没有意义,赚了也是运气 |
| DSR(紧缩夏普) | ≥ 0.90 | 扣掉「试了很多次」带来的选择偏差后,夏普还站得住 |
| 样本外 vs 基准 | 跑赢 BTC 买入持有 | 跑不赢就买 BTC,没必要付手续费和心力 |
| 最大回撤 | ≤ 15% | 超过这条线会触发熔断,策略实际已经被停掉 |
| 成本翻倍 | 收益仍为正 | 真实滑点会比假设更差,成本敏感的策略活不久 |
| 参数邻域 | 中位夏普 > 0 | 参数一动就崩,说明拟合的是噪声 |
STEP 2
滚动前推:每一格都是真样本外
共 24 个窗口,最近 12 个如下。训练期只用来选参数,测试期只用来打分,两段不重叠。
| # | 训练期 | 测试期 | 笔数 | 收益 | 夏普 | 选中参数 |
|---|---|---|---|---|---|---|
| 13 | 2023-01-01 → 2023-12-31 | 2024-01-01 → 2024-03-31 | 7 | +9.1% | 2.73 | atr 2.0 · 突破 20 |
| 14 | 2023-04-01 → 2024-03-31 | 2024-04-01 → 2024-06-30 | 4 | -0.6% | -0.56 | atr 2.0 · 突破 20 |
| 15 | 2023-07-01 → 2024-06-30 | 2024-07-01 → 2024-09-30 | 5 | -0.2% | -0.28 | atr 2.0 · 突破 20 |
| 16 | 2023-10-01 → 2024-09-30 | 2024-10-01 → 2024-12-31 | 4 | +10.6% | 3.10 | atr 2.0 · 突破 20 |
| 17 | 2024-01-01 → 2024-12-31 | 2025-01-01 → 2025-03-31 | 0 | +0.0% | 0.00 | atr 2.0 · 突破 20 |
| 18 | 2024-04-01 → 2025-03-31 | 2025-04-01 → 2025-06-30 | 6 | -2.6% | -2.02 | atr 2.0 · 突破 20 |
| 19 | 2024-07-01 → 2025-06-30 | 2025-07-01 → 2025-09-30 | 3 | -0.4% | -0.39 | atr 2.0 · 突破 40 |
| 20 | 2024-10-01 → 2025-09-30 | 2025-10-01 → 2025-12-31 | 0 | +0.0% | 0.00 | atr 2.0 · 突破 40 |
| 21 | 2025-01-01 → 2025-12-31 | 2026-01-01 → 2026-03-31 | 4 | -1.5% | -1.13 | atr 2.0 · 突破 20 |
| 22 | 2025-04-01 → 2026-03-31 | 2026-04-01 → 2026-06-30 | 4 | -0.8% | -0.90 | atr 2.0 · 突破 20 |
| 23 | 2025-07-01 → 2026-06-30 | 2026-07-01 → 2026-09-30 | 4 | +5.0% | 2.18 | atr 2.0 · 突破 20 |
| 24 | 2025-10-01 → 2026-09-30 | 2026-10-01 → 2026-11-20 | 0 | +0.0% | 0.00 | atr 2.0 · 突破 20 |
#13+9.1%
测试 2024-01-01 → 2024-03-31 · 7 笔 · 夏普 2.73
训练 2023-01-01 → 2023-12-31 · atr 2.0 · 突破 20
#14-0.6%
测试 2024-04-01 → 2024-06-30 · 4 笔 · 夏普 -0.56
训练 2023-04-01 → 2024-03-31 · atr 2.0 · 突破 20
#15-0.2%
测试 2024-07-01 → 2024-09-30 · 5 笔 · 夏普 -0.28
训练 2023-07-01 → 2024-06-30 · atr 2.0 · 突破 20
#16+10.6%
测试 2024-10-01 → 2024-12-31 · 4 笔 · 夏普 3.10
训练 2023-10-01 → 2024-09-30 · atr 2.0 · 突破 20
#17+0.0%
测试 2025-01-01 → 2025-03-31 · 0 笔 · 夏普 0.00
训练 2024-01-01 → 2024-12-31 · atr 2.0 · 突破 20
#18-2.6%
测试 2025-04-01 → 2025-06-30 · 6 笔 · 夏普 -2.02
训练 2024-04-01 → 2025-03-31 · atr 2.0 · 突破 20
#19-0.4%
测试 2025-07-01 → 2025-09-30 · 3 笔 · 夏普 -0.39
训练 2024-07-01 → 2025-06-30 · atr 2.0 · 突破 40
#20+0.0%
测试 2025-10-01 → 2025-12-31 · 0 笔 · 夏普 0.00
训练 2024-10-01 → 2025-09-30 · atr 2.0 · 突破 40
#21-1.5%
测试 2026-01-01 → 2026-03-31 · 4 笔 · 夏普 -1.13
训练 2025-01-01 → 2025-12-31 · atr 2.0 · 突破 20
#22-0.8%
测试 2026-04-01 → 2026-06-30 · 4 笔 · 夏普 -0.90
训练 2025-04-01 → 2026-03-31 · atr 2.0 · 突破 20
#23+5.0%
测试 2026-07-01 → 2026-09-30 · 4 笔 · 夏普 2.18
训练 2025-07-01 → 2026-06-30 · atr 2.0 · 突破 20
#24+0.0%
测试 2026-10-01 → 2026-11-20 · 0 笔 · 夏普 0.00
训练 2025-10-01 → 2026-09-30 · atr 2.0 · 突破 20
STEP 3
DSR:先把「试错次数」的账算掉
观测夏普(年化)0.55
紧缩基准 SR00.46
累计试验次数6
DSR0.59
DSR 回答的是:在试了 6 组参数之后,这个夏普有多大概率不是运气。 0.59 的意思不是「有 59% 概率赚钱」,而是「有 59% 把握这个夏普真实存在」——离 0.90 的过关线还差得远。
STEP 4
换了基准,还剩下什么
随机进场的 5%~95% 区间是 8.6% ~ 79.7%,策略落在第 100 百分位。
| 对照 | 收益 | 最大回撤 | 夏普 |
|---|---|---|---|
| 策略(全区间) | +151.9% | -12.5% | 1.20 |
| BTC 买入持有(全区间) | +760.8% | -76.6% | 0.83 |
| 策略(样本外) | +22.8% | -14.0% | 0.55 |
| BTC 买入持有(同段样本外) | +111.3% | -76.6% | 0.51 |
| 随机进场、同样出场(中位) | +35.2% | — | — |
STEP 5
蒙特卡洛与逐年表现
打乱成交顺序 1000 次
收益 5%~95%:45.8% ~ 451.0%, 中位 150.9%;最差 5% 分位的最大回撤 -8.1%。 如果这个区间宽得离谱,说明结果高度依赖「成交恰好按这个顺序发生」。
逐年收益
2020+28.8%
2021+59.6%
2022-6.9%
2023+11.9%
2024+17.8%
2025-0.6%
2026+0.5%
STEP 6
数据与成本,先把地板铺平
每一步都能在 data/sources.md 里查到下载时间与文件哈希。
| 项目 | 设定 |
|---|---|
| 行情来源 | Binance 公共 K 线镜像 data-api.binance.vision |
| 标的 | BTC / ETH / SOL / BNB / XRP / ADA / DOGE / LINK(USDT 现货) |
| 周期 | 1 天,UTC 零点对齐,含 2020-01 至今 |
| 完整性检查 | 缺口、重复、零成交、错价(高低价倒挂 / 单根 > 60%) |
| 手续费 | 单边 10bp |
| 滑点 | 单边 5bp |
| 成交价 | 信号后下一根开盘价成交,跳空按开盘价 |
| 资金费 | 现货为 0;接永续前该字段不可信 |