Equivariance theory predicts that an architectural symmetry prior reduces sample complexity by a factor of |G|; this is widely cited but rarely measured as a scaling law with controls that separate the prior from its confounds. On a controlled C_n-symmetric task, we report three findings. First, a wrong-group control with identical orbit size and matched compute is worse than no constraint (joint pairwise CI [+0.79, +3.26] excludes zero, robust across estimators); misaligned constraint is actively harmful, not merely unhelpful. Second, an augmentation baseline equipped with test-time orbit averaging matches the equivariant model exactly -- bit-identical per-epoch validation curves across matched cells -- so the architecture-vs-augmentation gap is conditional on asymmetric test-time computation, not unconditional. Third, the relative exchange rate beta_diff = 1.28 is consistent in sign and order of magnitude with the theoretical 1.0 (single-level CI [+0.92, +2.05]); the more conservative two-level bootstrap (seeds x group sizes) widens this to [-0.63, +1.72], including zero, and a finer-N replication on a sqrt(2)-spaced grid is inconclusive (point estimate -0.82). The methodological contributions -- the relative-rate estimator that cancels the shared-difficulty confound, the wrong-group control, and a pre-specified failure taxonomy -- transfer to any inductive bias whose strength can be parameterised. Honest scoping: the primary estimator beta_diff was adopted post-hoc after the initial analysis revealed a positive-slope identifiability problem; the design was never externally pre-registered; and the headline number rests on an OLS slope over seven group sizes on a coarse N grid. This is an exploratory study, not a confirmatory measurement; the wrong-group result is the cleanest finding and the one we report with the most confidence. A registered replication on fresh seeds is future work.


翻译:等变性理论预测,架构对称性先验可将样本复杂度降低|G|倍;这一结论被广泛引用,但鲜少在控制混杂因素的缩放律中通过分离先验效应进行测量。在受控的C_n对称任务中,我们报告三项发现。第一,在轨道大小相等且计算量匹配条件下,错误群组控制的性能低于无约束基线(联合成对CI [+0.79, +3.26]排除了零,在不同估计器间表现稳健);错位约束不仅无益,反而具有实际危害。第二,配备测试时轨道平均的数据增强基线可与等变模型精确匹配——在匹配单元上逐周期验证曲线达到比特级一致——因此架构与增强方法的差距条件性地取决于非对称测试时计算,而非无条件存在。第三,相对交换率beta_diff = 1.28在符号和量级上与理论值1.0一致(单层CI [+0.92, +2.05]);更保守的双层自举法(种子×群组大小)将区间扩大至[-0.63, +1.72](包含零),而采用sqrt(2)间距精细N网格的复现结果不具决定性(点估计-0.82)。方法论贡献——可消解共享难度混杂效应的相对交换率估计器、错误群组控制方法及预定义失败分类体系——可迁移至任何强度可参数化的归纳偏置。诚实声明:初始分析揭示正斜率可辨识性问题后,主估计量beta_diff系事后采用;设计从未经过外部预注册;核心数值基于粗粒度N网格上七个群组大小的OLS斜率。本研究属探索性分析而非验证性测量;错误群组结果最为清晰,也是我们报告时最具信心的发现。基于新种子的注册复现留待后续工作。

0
下载
关闭预览

相关内容

【阿姆斯特丹博士论文】具有广义对称性的机器学习
专知会员服务
13+阅读 · 2025年6月6日
【牛津大学博士论文】机器学习中的对称性与泛化
专知会员服务
22+阅读 · 2025年1月8日
【纽约大学博士论文】对称神经网络理论,148页pdf
专知会员服务
41+阅读 · 2024年4月4日
【康奈尔大学】度量数据粒度,Measuring Dataset Granularity
专知会员服务
13+阅读 · 2019年12月27日
用深度学习揭示数据的因果关系
专知
28+阅读 · 2019年5月18日
你的算法可靠吗? 神经网络不确定性度量
专知
40+阅读 · 2019年4月27日
换个角度看GAN:另一种损失函数
机器之心
16+阅读 · 2019年1月1日
【直观详解】信息熵、交叉熵和相对熵
机器学习研究会
10+阅读 · 2017年11月7日
各种相似性度量及Python实现
机器学习算法与Python学习
11+阅读 · 2017年7月6日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Arxiv
0+阅读 · 6月3日
VIP会员
最新内容
学习数据的几何:形状空间分析数学综述
专知会员服务
4+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
7+阅读 · 6月17日
从燃煤战舰到算法战争:水面指挥的永恒要求
专知会员服务
4+阅读 · 6月17日
相关基金
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员