准绳 · 独立回测审计 · 样例

回测审计样例

一份回测审计会查什么、怎么下结论。下面三个案例都是我们自己的策略:一个被审计拦下,一个有条件放行,一个标题数字被撤回。

数据截至 2026-11-18 报告日期 2026-11-19 每个数字都注明出处(各案例末尾) English
这是方法演示,不是投资建议。三个案例的数据、代码和结论都来自我们自己的研究记录;客户的审计用客户自己提供的收益或持仓数据。

三个案例一览

案例报出来的数字审计后的读数结论
A 美股多空组合回测夏普 2.92按真实试验次数校正后与零技能无法区分;模拟盘 91 天夏普 0.63,实际贝塔 0.52✕不能上实盘
B 商品期货组合两个时代都过 0.50近段只高出 0.0038,63% 的收益来自 2024–25 两年◐有条件,只做前向检验
C 动量加刹车两时代较低者 0.5589换个调仓起点,63 种里排第 8,中位数 0.3876↓标题数字撤回

这份审计查什么

收益口径回测怎么记账,和实盘记账方式是否一致
未来信息回测是否用了当时还不可能知道的信息;只用权重和收益,不看代码
试验次数一共试了多少种才挑出这一个;按真实次数校正夏普(Deflated Sharpe)
两个时代在没有参与挑选的时间段上是否还成立
调仓相位换一个调仓起点,结果变多少
时间集中收益是不是靠一两年撑着;去掉最好的几天还剩多少
成本与容量成本翻倍、按整股或整张合约成交后还剩多少
市场暴露实际贝塔多大;剔除市场之后还剩多少
预登记判决标准是不是在看到结果之前定下的
前向记录上线后的证据有多少,检验力够不够下结论
案例 A · 美股多空组合(标普 500 成分股,日调仓)

回测夏普 2.92,拿到真实条件下只剩运气

✕不能上实盘

这个组合 2026 年 6 月由研究循环自动选出:四个价格类因子、线性模型、多空各取两端。导出时的回测记录很漂亮,随后进入模拟盘。

回测夏普(导出记录)2.92年化收益 110.9%,最大回撤 −36.4%
零技能下,2,688 次里最好的一次2.93按真实试验次数算出的门槛
模拟盘夏普(91 个收益日)0.63t 值 0.38,累计 +1.97%
检查读数判断
收益口径回测把 5 天的预测标签当作每天的收益记账(2026-06-25 之前的旧口径)。持有期 h 大于 1 时,这会把夏普放大约 √h 倍;按经验折算,2.92 约等于 1.30。这是折算,没有重跑。不可信
试验次数导出时只按 2 次试验校正,概率 0.998。到这一轮为止,系统累计试过 2,688 个模型 × 策略组合。按 2,688 次重新校正:零技能下最好的一个也会印出 2.93,概率降到 0.495,和抛硬币一样。与运气无法区分
前向表现模拟盘 2026-07-13 至 11-18,91 个收益日:夏普 0.63,年化波动 9.2%,最大回撤 −5.5%。只有回测的 22%,低于 25% 的防过拟合线。按折算的 1.30 算约为 48%(折算,没有重跑)。上线只有 91 天,这条线误判很多,所以只作提示,不单独作为理由。需注意
序贯检验按 63、84、105……252 天分段看,边界随样本变长而降低。第 84 天 t 值 0.57,边界 1.95;下一次看点在第 105 天。未通过
市场暴露账面净敞口平均只有 2%,看上去是市场中性;但对 SPY 的实际贝塔是 0.52(相关 0.79)。同期 SPY 跌 4.85%,剔除市场后夏普 2.22,t 值 1.34,91 天里不显著。不中性

结论

回测数字有两处系统性偏高(记账口径和选择次数),校正后剩下的和零技能没有区别。模拟盘表现还说明不了什么,而且实际贝塔远超市场中性的设计(我们后来定的研究门槛是 |贝塔| ≤ 0.3)。我们自己的晋级检查把它停在了“未就绪”,没有进入实盘。

出处
导出记录:storage/paper_trading/ready/PB_0610_E289BD19.json(2026-06-10,第 422 轮) 口径变更:提交 138525f,2026-06-25,默认收益口径改为 one_period 累计试验次数:storage/state/dsr_trial_counter.json,第 422 轮及之前 2,688 重新校正:evaluation/deflated_sharpe.redeflate_with_trials(闭式回推,N 2 → 2,688) 模拟盘净值:storage/paper_trading/nav/PB_0610_E289BD19_29454fdbc222_nav.csv,2026-07-10 之后 序贯检验:storage/live_trading/candidates/latest_live_promotion_candidates.json(2026-11-18T01:53Z) SPY:USEquityDaily.daily_bars,价格收益,不含分红
案例 B · 商品期货横截面组合(23 个市场,5 天持有)

按规矩过了线,但过得很薄

◐有条件,只做前向检验

三个文献里已有的商品信号(套保压力、基差动量、偏度)等权合成一本书,按整张合约和 100 万美元设计资金计价,对冲掉等权市场。规则和数据在运行前冻结,只跑了一次。

近段 2008–2026 净夏普(对冲后)0.5038t 值 2.17,门槛 0.50
早段 1992–2007 净夏普(对冲后)0.9466t 值 3.78
去掉 2024–25 两年0.21近段收益的 63% 来自这两年
近段每年的收益(当年日收益之和,扣成本、对冲后)。2026 年截至 9 月 30 日。
表格查看
年份收益
检查读数判断
预登记计划和判决规则在运行前冻结(2026-11-02 03:01 UTC),数据快照带校验码,03:30 UTC 跑一次,10 条有效性条款全部成立。合格
两个时代两段都过 0.50,也都比最好的单条腿高出 0.10 以上。近段只高出门槛 0.0038。通过,余量很薄
时间集中2013–2022 年夏普 −0.09。最大回撤 −30%,2014-09 见顶,2021-12 见底,2024-06 才修复。主要风险
成本与合约成本翻倍 0.41;只用标准合约(不用微型合约)0.40;去掉最好的 5 天 0.43。三项都低于门槛。经不起加压
分散三条腿日收益的平均两两相关 0.08(近段),合成确实高于最好的一条腿(0.35)。合格
选择偏差两个时代都是当初挑出这三个信号的时代,严格说还没有样本外证据。未解决
调仓相位每天建一批、重叠持有 5 天,没有固定调仓日,不存在相位问题。不适用
前向记录读数规则在第一笔前向收益之前冻结。截至 11-16 只有 11 个收益日,第 63 天才第一次读数。按模拟,即使真实夏普是 0.50,一年内读出“有效”的概率也只有 35%。进行中

结论

流程上无可挑剔,数字上很脆弱。可以继续做前向检验,但对外不能说成“夏普 0.50 的策略”,应该说成“近段刚好过线、主要靠 2024–25 两年、样本外证据还在积累”。任何资金决定都要等前向读数。

出处
计划(冻结):docs/plans/ai_quant_lab_commodity_futures_combo_h5_v1_plan.md,锚点提交 0946cb4 判决结果:storage/research/futures_combo_h5_v1/result.json(快照 sha256 eef5cb10…) 解读:storage/diagnostics/futures_combo_h5_v1_readout.json(分年、集中度、回撤) 前向规则:docs/plans/ai_quant_lab_futures_paper_book_plan.md,冻结提交 d6b54a3;检验力见其 §5 前向读数:storage/futures_paper/readings/reading_20261118.json(11 个收益日)
案例 C · 63 天动量 + 外生市场刹车

0.5589 是 63 种调仓起点里比较幸运的一种

↓标题数字撤回

这本书每 63 个交易日调一次仓。回测默认从第 0 天开始调仓,但第 1 天、第 2 天……第 62 天开始同样合理。只报其中一种起点,就等于从 63 个结果里挑了一个。

63 种调仓起点各自的结果(两个时代取较低者的净夏普),从高到低排列。蓝色是原来报出的第 0 相位。
表格查看
调仓起点(第几天)结果排名
检查读数判断
报出的数字两个时代取较低者 0.5589,过 0.50 门槛,按预登记规则判为通过。规则内通过
调仓相位第 0 相位在 63 种里排第 8;中位数 0.3876;只有 24% 的起点能过门槛。水平撤回
机制刹车本身在每个起点、每个时代都起作用,这一部分保留。保留
后续试验把同一个刹车放到一本每天建仓、重叠持有、没有相位问题的书上,预登记后再跑:0.4946,没过门槛。该系列关闭

结论

原判决不改(规则就是规则),但“这是一本 0.56 的书”这句话撤回。调仓周期大于 1 天的策略,标题数字应该报所有起点的中位数,而不是默认的那一个。很多公开的因子指数也有同样的问题,业内叫“调仓时点运气”。

出处
相位带结果:storage/diagnostics/regime_overlay_momentum_v2_phase_band.json(2026-09-16,规则提交 ef36408,结论 withdrawn) 后续试验:注册表 regime-overlay-overlap-momentum-v3,2026-09-17,no_gain,两时代较低者 0.4946

这份审计能做什么、不能做什么

客户需要提供什么

我们自己的记录

以上方法我们先用在自己身上。研究注册表里一共登记了 63 个假设:49 个已按事先定好的规则关闭,4 个保留,4 个搁置,6 个还在候选或建设中。3 次“通过”里,有 2 次后来经过更严格的检查没有撑住:一次在留出期转负,一次就是上面的案例 C。