Recent theoretical results in quantum machine learning have demonstrated a general trade-off between the expressive power of quantum neural networks (QNNs) and their trainability; as a corollary of these results, practical exponential separations in expressive power over classical machine learning models are believed to be infeasible as such QNNs take a time to train that is exponential in the model size. We here circumvent these negative results by constructing a hierarchy of efficiently trainable QNNs that exhibit unconditionally provable, polynomial memory separations of arbitrary constant degree over classical neural networks -- including state-of-the-art models, such as Transformers -- in performing a classical sequence modeling task. This construction is also computationally efficient, as each unit cell of the introduced class of QNNs only has constant gate complexity. We show that contextuality -- informally, a quantitative notion of semantic ambiguity -- is the source of the expressivity separation, suggesting that other learning tasks with this property may be a natural setting for the use of quantum learning algorithms.


翻译:近期量子机器学习的理论结果表明,量子神经网络(QNNs)的表达能力与其可训练性之间存在普遍权衡关系;作为这些结果的推论,人们认为相对于经典机器学习模型实现实用的指数级表达能力分离是不可行的,因为此类QNNs的训练时间会随模型规模呈指数增长。本文通过构建一个高效可训练的QNN层次结构,规避了这些负面结论——该结构在执行经典序列建模任务时,能够无条件地证明其相对于经典神经网络(包括Transformer等前沿模型)具有任意常数阶的多项式记忆分离能力。该构造在计算上也是高效的,因为所引入QNN类别的每个单元单元仅具有常数门复杂度。我们证明上下文性——一种语义模糊性的量化概念——是表达能力分离的根源,这表明具有此性质的其他学习任务可能成为量子学习算法应用的天然场景。

0
下载
关闭预览

相关内容

量子机器学习综述
专知会员服务
55+阅读 · 2024年2月18日
专知会员服务
19+阅读 · 2021年4月3日
机器学习的可解释性
专知会员服务
69+阅读 · 2020年12月18日
【GNN】深度学习之上,图神经网络(GNN )崛起
产业智能官
16+阅读 · 2019年8月15日
可解释的机器学习
平均机器
25+阅读 · 2019年2月25日
国家自然科学基金
21+阅读 · 2015年12月31日
国家自然科学基金
17+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
11+阅读 · 2008年12月31日
VIP会员
相关基金
国家自然科学基金
21+阅读 · 2015年12月31日
国家自然科学基金
17+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
11+阅读 · 2008年12月31日
Top
微信扫码咨询专知VIP会员