审稿人问我：你怎么知道不是随机种子？

我做了一组漂亮的模拟，新方法的预测误差比旧方法低了不少。审稿意见回来，只有一句话：“你怎么知道这不是随机种子或者参数设置造成的？”

这句话很扎心，但也很常见。对照实验不是为了凑图，而是为了排除其它解释。

一个原则：只改一个变量

对照实验的核心是控制。实验组和对照组之间只能有一个变量不同，其它全部保持一致。如果你同时改了三处设计，就算结果再好，也说不清楚是谁的功劳。

例子一：基线

无论你提出的是新力场、新描述符还是新采样策略，都要和领域内公认的方法比一比。这个基线不用多 fancy，但必须是读者认可的参照。用 SLMat 做浏览器端计算时，先跑一个标准结构的小算例作为基线，确保环境不会系统性偏高或偏低。

例子二：消融

把组件逐个拿掉，看性能怎么变。也许你会惊讶地发现，80% 的提升其实只来自一个不起眼的小改动。我观察到别人常犯的错误是，同时加了好几个模块，最后却声称每个都有贡献——这种结论站不住脚。

在 LAMMPS Assistant 里生成多组脚本时，保持其它条件完全一致，只替换一个模块，这种 controlled 的对比最有说服力。

例子三：收敛性

训练步数、模拟时长、网格密度……这些参数如果没收敛，你的结论可能只是瞬态现象。我曾经因此吃亏：只报了最终值，审稿人让补收敛曲线，结果我重跑了一周。做对照实验时顺手画一条收敛曲线，比只报最终值诚实得多。

• 对照组和实验组只改一个变量。
• 至少做三次独立运行，报平均值和方差。
• 把失败的实验也记录下来，它们往往比成功的更有启发。

对照实验不是为了证明你对了，而是为了让你确信，自己不是碰巧对了。

设计下一组实验前，先画一张表：要回答什么问题？对照是什么？变量是什么？收敛标准是什么？