一份回测审计会查什么、怎么下结论。下面三个案例都是我们自己的策略:一个被审计拦下,一个有条件放行,一个标题数字被撤回。
| 案例 | 报出来的数字 | 审计后的读数 | 结论 |
|---|---|---|---|
| A 美股多空组合 | 回测夏普 2.92 | 按真实试验次数校正后与零技能无法区分;模拟盘 91 天夏普 0.63,实际贝塔 0.52 | ✕不能上实盘 |
| B 商品期货组合 | 两个时代都过 0.50 | 近段只高出 0.0038,63% 的收益来自 2024–25 两年 | ◐有条件,只做前向检验 |
| C 动量加刹车 | 两时代较低者 0.5589 | 换个调仓起点,63 种里排第 8,中位数 0.3876 | ↓标题数字撤回 |
这个组合 2026 年 6 月由研究循环自动选出:四个价格类因子、线性模型、多空各取两端。导出时的回测记录很漂亮,随后进入模拟盘。
| 检查 | 读数 | 判断 |
|---|---|---|
| 收益口径 | 回测把 5 天的预测标签当作每天的收益记账(2026-06-25 之前的旧口径)。持有期 h 大于 1 时,这会把夏普放大约 √h 倍;按经验折算,2.92 约等于 1.30。这是折算,没有重跑。 | 不可信 |
| 试验次数 | 导出时只按 2 次试验校正,概率 0.998。到这一轮为止,系统累计试过 2,688 个模型 × 策略组合。按 2,688 次重新校正:零技能下最好的一个也会印出 2.93,概率降到 0.495,和抛硬币一样。 | 与运气无法区分 |
| 前向表现 | 模拟盘 2026-07-13 至 11-18,91 个收益日:夏普 0.63,年化波动 9.2%,最大回撤 −5.5%。只有回测的 22%,低于 25% 的防过拟合线。按折算的 1.30 算约为 48%(折算,没有重跑)。上线只有 91 天,这条线误判很多,所以只作提示,不单独作为理由。 | 需注意 |
| 序贯检验 | 按 63、84、105……252 天分段看,边界随样本变长而降低。第 84 天 t 值 0.57,边界 1.95;下一次看点在第 105 天。 | 未通过 |
| 市场暴露 | 账面净敞口平均只有 2%,看上去是市场中性;但对 SPY 的实际贝塔是 0.52(相关 0.79)。同期 SPY 跌 4.85%,剔除市场后夏普 2.22,t 值 1.34,91 天里不显著。 | 不中性 |
回测数字有两处系统性偏高(记账口径和选择次数),校正后剩下的和零技能没有区别。模拟盘表现还说明不了什么,而且实际贝塔远超市场中性的设计(我们后来定的研究门槛是 |贝塔| ≤ 0.3)。我们自己的晋级检查把它停在了“未就绪”,没有进入实盘。
三个文献里已有的商品信号(套保压力、基差动量、偏度)等权合成一本书,按整张合约和 100 万美元设计资金计价,对冲掉等权市场。规则和数据在运行前冻结,只跑了一次。
| 年份 | 收益 |
|---|
| 检查 | 读数 | 判断 |
|---|---|---|
| 预登记 | 计划和判决规则在运行前冻结(2026-11-02 03:01 UTC),数据快照带校验码,03:30 UTC 跑一次,10 条有效性条款全部成立。 | 合格 |
| 两个时代 | 两段都过 0.50,也都比最好的单条腿高出 0.10 以上。近段只高出门槛 0.0038。 | 通过,余量很薄 |
| 时间集中 | 2013–2022 年夏普 −0.09。最大回撤 −30%,2014-09 见顶,2021-12 见底,2024-06 才修复。 | 主要风险 |
| 成本与合约 | 成本翻倍 0.41;只用标准合约(不用微型合约)0.40;去掉最好的 5 天 0.43。三项都低于门槛。 | 经不起加压 |
| 分散 | 三条腿日收益的平均两两相关 0.08(近段),合成确实高于最好的一条腿(0.35)。 | 合格 |
| 选择偏差 | 两个时代都是当初挑出这三个信号的时代,严格说还没有样本外证据。 | 未解决 |
| 调仓相位 | 每天建一批、重叠持有 5 天,没有固定调仓日,不存在相位问题。 | 不适用 |
| 前向记录 | 读数规则在第一笔前向收益之前冻结。截至 11-16 只有 11 个收益日,第 63 天才第一次读数。按模拟,即使真实夏普是 0.50,一年内读出“有效”的概率也只有 35%。 | 进行中 |
流程上无可挑剔,数字上很脆弱。可以继续做前向检验,但对外不能说成“夏普 0.50 的策略”,应该说成“近段刚好过线、主要靠 2024–25 两年、样本外证据还在积累”。任何资金决定都要等前向读数。
这本书每 63 个交易日调一次仓。回测默认从第 0 天开始调仓,但第 1 天、第 2 天……第 62 天开始同样合理。只报其中一种起点,就等于从 63 个结果里挑了一个。
| 调仓起点(第几天) | 结果 | 排名 |
|---|
| 检查 | 读数 | 判断 |
|---|---|---|
| 报出的数字 | 两个时代取较低者 0.5589,过 0.50 门槛,按预登记规则判为通过。 | 规则内通过 |
| 调仓相位 | 第 0 相位在 63 种里排第 8;中位数 0.3876;只有 24% 的起点能过门槛。 | 水平撤回 |
| 机制 | 刹车本身在每个起点、每个时代都起作用,这一部分保留。 | 保留 |
| 后续试验 | 把同一个刹车放到一本每天建仓、重叠持有、没有相位问题的书上,预登记后再跑:0.4946,没过门槛。 | 该系列关闭 |
原判决不改(规则就是规则),但“这是一本 0.56 的书”这句话撤回。调仓周期大于 1 天的策略,标题数字应该报所有起点的中位数,而不是默认的那一个。很多公开的因子指数也有同样的问题,业内叫“调仓时点运气”。
以上方法我们先用在自己身上。研究注册表里一共登记了 63 个假设:49 个已按事先定好的规则关闭,4 个保留,4 个搁置,6 个还在候选或建设中。3 次“通过”里,有 2 次后来经过更严格的检查没有撑住:一次在留出期转负,一次就是上面的案例 C。