Can AI make progress on important, unsolved mathematical problems? Large language models are now capable of sophisticated mathematical and scientific reasoning, but whether they can perform novel research is still widely debated and underexplored. We introduce HorizonMath, a benchmark of over 100 predominantly unsolved problems spanning 8 domains in computational and applied mathematics, paired with an open-source evaluation framework for automated verification. Our benchmark targets a class of problems where discovery is hard, requiring meaningful mathematical insight, but verification is computationally efficient and simple. Because these solutions are unknown, HorizonMath is immune to data contamination, and most state-of-the-art models score near 0%. Existing research-level benchmarks instead rely on formal proof verification or manual review, both of which are expensive to scale. Using this platform, we find two problems for which GPT 5.4 Pro proposes solutions that improve on the best-known published results, representing potential novel contributions (pending expert review). We release HorizonMath as an open challenge and a growing community resource, where correct solutions to problems in the unsolved problem classes could constitute novel results in the mathematical literature.


翻译:人工智能能否在重要且未解决的数学问题上取得进展?当前的大型语言模型已具备复杂的数学与科学推理能力,但其能否开展新颖的研究仍存在广泛争议且探索不足。我们提出了HorizonMath,这是一个包含计算数学与应用数学8个领域中超过100个以未解决问题为主的基准测试集,并配套开源了用于自动验证的评估框架。我们的基准针对一类发现困难(需要实质性的数学洞察力)但验证计算高效且简单的问题。由于这些问题的解决方案尚未可知,HorizonMath能够避免数据污染的影响,目前最先进的模型在该基准上的得分大多接近0%。现有的研究级基准则依赖于形式化证明验证或人工评审,这两种方法均难以规模化扩展。利用该平台,我们发现GPT 5.4 Pro针对两个问题提出的解决方案优于已发表的最佳结果,可能代表了新颖的贡献(有待专家评审)。我们将HorizonMath作为一项开放性挑战和不断增长的社区资源公开发布,其中未解问题类中正确解决方案的提出,可能构成数学文献中的新成果。

0
下载
关闭预览

相关内容

数学是关于数量、结构、变化等主题的探索。
人工智能与数学前沿综述:如何借助 AI 发现数学规律?
深度学习在数学推理中的应用综述
专知会员服务
48+阅读 · 2022年12月25日
Nature论文: DeepMind用AI引导直觉解决数学猜想难题
专知会员服务
31+阅读 · 2021年12月2日
可解释强化学习,Explainable Reinforcement Learning: A Survey
专知会员服务
132+阅读 · 2020年5月14日
深度学习时代的图模型,清华发文综述图网络
GAN生成式对抗网络
13+阅读 · 2018年12月23日
【知识图谱】知识图谱怎么与深度学习结合?
产业智能官
160+阅读 · 2018年12月18日
展望:模型驱动的深度学习
人工智能学家
12+阅读 · 2018年1月23日
NLP中自动生产文摘(auto text summarization)
机器学习研究会
14+阅读 · 2017年10月10日
【强化学习】强化学习+深度学习=人工智能
产业智能官
55+阅读 · 2017年8月11日
国家自然科学基金
9+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2017年12月31日
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
25+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2012年12月31日
Arxiv
1+阅读 · 3月7日
Arxiv
0+阅读 · 3月6日
Arxiv
27+阅读 · 2023年3月17日
VIP会员
最新内容
综述 | 3D场景图:开放挑战与未来方向
专知会员服务
4+阅读 · 6月22日
21世纪的无人机战争
专知会员服务
4+阅读 · 6月22日
《量子技术的军事任务技术适配与利用》
专知会员服务
4+阅读 · 6月22日
美国从乌克兰无人机战争中学习经验
专知会员服务
7+阅读 · 6月21日
ICML 2026 | 面向视觉语言模型的语义鲁棒性认证
专知会员服务
5+阅读 · 6月21日
相关基金
国家自然科学基金
9+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2017年12月31日
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
25+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2012年12月31日
Top
微信扫码咨询专知VIP会员