A self-corrector for a function $f$ takes a black-box oracle computing $f$ that is correct on most inputs and turns it into one that is correct on every input with high probability. Self-correctors exist for any function that is randomly self-reducible (RSR), where the value $f$ at a given point $x$ can be recovered by computing $f$ on random correlated points. While RSRs enable powerful self-correction capabilities and have applications in complexity theory and cryptography, their discovery has traditionally required manual derivation by experts. We present Bitween, a method and tool for automated learning of randomized self-reductions for mathematical functions. We make two key contributions: First, we demonstrate that our learning framework based on linear regression outperforms sophisticated methods including genetic algorithms, symbolic regression, and mixed-integer linear programming for discovering RSRs from correlated samples. Second, we introduce Agentic Bitween, a neuro-symbolic approach where large language models dynamically discover novel query functions for RSR property discovery, leveraging vanilla Bitween as a tool for inference and verification, moving beyond the fixed query functions ($x+r$, $x-r$, $x \cdot r$, $x$, $r$) previously used in the literature. On RSR-Bench, our benchmark suite of 80 scientific and machine learning functions, vanilla Bitween surpasses existing symbolic methods, while Agentic Bitween discovers new RSR properties using frontier models to uncover query functions.


翻译:函数$f$的自校正器接收一个在大多数输入上正确计算$f$的黑盒预言机,并将其转化为一个以高概率在每个输入上都正确的预言机。自校正器存在于任何随机自可归约的函数中,其中给定点$x$处的值$f$可以通过计算$f$在随机相关点上的值来恢复。尽管随机自可归约能够实现强大的自校正能力,并在复杂性理论和密码学中有应用,但它们的发现传统上需要专家进行手动推导。我们提出了Bitween,一种用于自动学习数学函数随机自可归约的方法和工具。我们做出了两个关键贡献:首先,我们证明了基于线性回归的学习框架在从相关样本中发现随机自可归约方面,优于包括遗传算法、符号回归和混合整数线性规划在内的复杂方法。其次,我们引入了Agentic Bitween,一种神经符号方法,其中大型语言模型动态发现用于随机自可归约属性发现的新查询函数,利用原始Bitween作为推理和验证的工具,超越了文献中先前使用的固定查询函数($x+r$, $x-r$, $x \cdot r$, $x$, $r$)。在RSR-Bench(我们包含80个科学和机器学习函数的基准测试套件)上,原始Bitween超越了现有的符号方法,而Agentic Bitween则利用前沿模型发现新的查询函数,从而揭示了新的随机自可归约属性。

0
下载
关闭预览

相关内容

【斯坦福博士论文】概率机器学习中的不确定性原理
专知会员服务
27+阅读 · 2025年8月4日
【2022新书】机器学习中的概率数值计算,412页pdf
专知会员服务
93+阅读 · 2022年7月7日
【干货书】面向工程师的随机过程,448页pdf
专知会员服务
80+阅读 · 2021年11月3日
【MIT】反偏差对比学习,Debiased Contrastive Learning
专知会员服务
91+阅读 · 2020年7月4日
因果关联学习,Causal Relational Learning
专知会员服务
185+阅读 · 2020年4月21日
自动结构变分推理,Automatic structured variational inference
专知会员服务
41+阅读 · 2020年2月10日
浅谈主动学习(Active Learning)
凡人机器学习
32+阅读 · 2020年6月18日
强化学习扫盲贴:从Q-learning到DQN
夕小瑶的卖萌屋
52+阅读 · 2019年10月13日
概述自动机器学习(AutoML)
人工智能学家
19+阅读 · 2019年8月11日
逆强化学习-学习人先验的动机
CreateAMind
16+阅读 · 2019年1月18日
图上的归纳表示学习
科技创新与创业
23+阅读 · 2017年11月9日
从点到线:逻辑回归到条件随机场
夕小瑶的卖萌屋
15+阅读 · 2017年7月22日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
16+阅读 · 2013年12月31日
Arxiv
0+阅读 · 2月3日
Arxiv
0+阅读 · 2月3日
Arxiv
0+阅读 · 1月29日
Arxiv
0+阅读 · 1月23日
VIP会员
相关资讯
浅谈主动学习(Active Learning)
凡人机器学习
32+阅读 · 2020年6月18日
强化学习扫盲贴:从Q-learning到DQN
夕小瑶的卖萌屋
52+阅读 · 2019年10月13日
概述自动机器学习(AutoML)
人工智能学家
19+阅读 · 2019年8月11日
逆强化学习-学习人先验的动机
CreateAMind
16+阅读 · 2019年1月18日
图上的归纳表示学习
科技创新与创业
23+阅读 · 2017年11月9日
从点到线:逻辑回归到条件随机场
夕小瑶的卖萌屋
15+阅读 · 2017年7月22日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
16+阅读 · 2013年12月31日
Top
微信扫码咨询专知VIP会员