Fermi-Dirac machines were proposed recently as an approach to solving semidefinite optimization problems on quantum computers. Here, we reinterpret them as canonical quantizations of classical neurons. By viewing a classical neuron as an activation function applied to a parameterized classical Hamiltonian, we quantize this model by replacing classical variables with operators whose eigenvalues encode their possible values. This follows the standard approach to canonical quantization in quantum mechanics. Crucially, when the Hamiltonian consists of commuting operators, our construction reduces exactly to a classical neuron. More generally, our approach yields an activation observable, defined as an activation function applied to a parameterized quantum Hamiltonian. The output of this quantized neuron is a random variable with expectation value equal to that of the activation observable with respect to an input state. We develop efficient hybrid quantum-classical algorithms for evaluating outputs and gradients of our quantized neurons, enabling evaluation and training. These algorithms rely on basic primitives that include random sampling, Hamiltonian simulation, and the Hadamard test. We also quantize a whole host of other activation functions, including the smooth rectified linear unit (ReLU), sigmoid linear unit, Gaussian-smoothed ReLU, and Gaussian error linear unit (GeLU), which are known to be useful for deep learning applications. Numerical experiments indicate that neurons based on quantum Hamiltonians can learn functions that classical neurons cannot. We further define a computational decision problem based on Fermi-Dirac neurons and prove that it is BQP-complete, providing complexity-theoretic evidence against efficient classical simulation. Finally, we generalize our approach to continuous quantum variables and sketch two different ways of composing these neurons into networks.


翻译:费米-狄拉克机近期被提出,作为在量子计算机上解决半定优化问题的一种方法。在此,我们将其重新诠释为经典神经元的正则量子化。通过将经典神经元视为作用于参数化经典哈密顿量的激活函数,我们用量子化模型替代经典变量,其中算符的特征值编码了变量的可能取值,从而实现了对该模型的量子化。这遵循了量子力学中正则量子化的标准方法。关键在于,当哈密顿量由对易算符构成时,我们的构造精确地退化为经典神经元。更一般地,我们的方法产生一个激活观测量,定义为作用于参数化量子哈密顿量的激活函数。该量子化神经元的输出是一个随机变量,其期望值等于激活观测量关于输入状态的期望值。我们开发了高效的混合量子-经典算法来评估量子化神经元的输出和梯度,从而支持评估与训练。这些算法依赖于包括随机采样、哈密顿量模拟和Hadamard测试在内的基础原语。我们还量子化了一系列其他激活函数,包括平滑整流线性单元、Sigmoid线性单元、高斯平滑ReLU和高斯误差线性单元,这些函数已知对深度学习应用有重要作用。数值实验表明,基于量子哈密顿量的神经元能够学习经典神经元无法学习的函数。我们进一步定义了一个基于费米-狄拉克神经元的计算决策问题,并证明其是BQP完全的,从而从复杂性理论角度提供了反对有效经典模拟的证据。最后,我们将方法推广到连续量子变量,并概述了将这些神经元组成网络的两种不同方式。

0
下载
关闭预览

相关内容

量子机器学习综述
专知会员服务
55+阅读 · 2024年2月18日
《量子机器学习》最新综述
专知会员服务
40+阅读 · 2023年8月24日
【MIT博士论文】量子计算中的人工智能前景, 253页pdf
专知会员服务
44+阅读 · 2023年8月23日
量子机器学习的基础和应用:一个简明文献综述
专知会员服务
39+阅读 · 2022年6月28日
【2022新书】给工程师的量子机器学习简介,204页pdf
专知会员服务
55+阅读 · 2022年5月22日
专知会员服务
37+阅读 · 2021年9月12日
元学习—Meta Learning的兴起
专知
44+阅读 · 2019年10月19日
深度学习的下一步:Transformer和注意力机制
云头条
56+阅读 · 2019年9月14日
超全总结:神经网络加速之量化模型 | 附带代码
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
最新内容
《通过小型无人机系统将情报能力“作战化”》
消耗优势:美军的“精确规模化”概念
专知会员服务
8+阅读 · 6月15日
《离线语言支持系统:面向空战战术决策》
专知会员服务
8+阅读 · 6月15日
相关VIP内容
量子机器学习综述
专知会员服务
55+阅读 · 2024年2月18日
《量子机器学习》最新综述
专知会员服务
40+阅读 · 2023年8月24日
【MIT博士论文】量子计算中的人工智能前景, 253页pdf
专知会员服务
44+阅读 · 2023年8月23日
量子机器学习的基础和应用:一个简明文献综述
专知会员服务
39+阅读 · 2022年6月28日
【2022新书】给工程师的量子机器学习简介,204页pdf
专知会员服务
55+阅读 · 2022年5月22日
专知会员服务
37+阅读 · 2021年9月12日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员