While quantum annealing (QA) has been developed for combinatorial optimization, practical QA devices operate at finite temperature and under noise, and their outputs can be regarded as stochastic samples close to a Gibbs--Boltzmann distribution. In this study, we propose a QA-in-the-loop kernel learning framework that integrates QA not merely as a substitute for Markov-chain Monte Carlo sampling but as a component that directly determines the learned kernel for regression. Based on Bochner's theorem, a shift-invariant kernel is represented as an expectation over a spectral distribution, and random Fourier features (RFF) approximate the kernel by sampling frequencies. We model the spectral distribution with a (multi-layer) restricted Boltzmann machine (RBM), generate discrete RBM samples using QA, and map them to continuous frequencies via a Gaussian--Bernoulli transformation. Using the resulting RFF, we construct a data-adaptive kernel and perform Nadaraya--Watson (NW) regression. Because the RFF approximation based on $\cos(\bmω^{\top}Δ\bm{x})$ can yield small negative values and cancellation across neighbors, the Nadaraya--Watson denominator $\sum_j k_{ij}$ may become close to zero. We therefore employ nonnegative squared-kernel weights $w_{ij}=k(\bm{x}_i,\bm{x}_j)^2$, which also enhances the contrast of kernel weights. The kernel parameters are trained by minimizing the leave-one-out NW mean squared error, and we additionally evaluate local linear regression with the same squared-kernel weights at inference. Experiments on multiple benchmark regression datasets demonstrate a decrease in training loss, accompanied by structural changes in the kernel matrix, and show that the learned kernel tends to improve $R^2$ and RMSE over the baseline Gaussian-kernel NW. Increasing the number of random features at inference further enhances accuracy.


翻译:尽管量子退火(QA)最初是为组合优化问题而发展,但实际运行的量子退火设备在有限温度和噪声环境下工作,其输出可视为接近吉布斯-玻尔兹曼分布的随机样本。本研究提出一种"QA在环"核学习框架,该框架不仅将QA作为马尔可夫链蒙特卡洛采样的替代方案,更将其作为直接决定回归任务所学核函数的组成部分。基于Bochner定理,平移不变核可表示为对谱分布的期望,而随机傅里叶特征(RFF)通过频率采样来近似该核函数。我们使用(多层)受限玻尔兹曼机(RBM)对谱分布进行建模,通过QA生成离散的RBM样本,并借助高斯-伯努利变换将其映射为连续频率。利用生成的RFF,我们构建数据自适应的核函数并执行Nadaraya-Watson(NW)回归。由于基于$\cos(\bmω^{\top}Δ\bm{x})$的RFF近似可能产生微小负值及相邻样本间的抵消效应,Nadaraya-Watson分母$\sum_j k_{ij}$可能趋近于零。因此我们采用非负平方核权重$w_{ij}=k(\bm{x}_i,\bm{x}_j)^2$,这同时增强了核权重的对比度。通过最小化留一法NW均方误差来训练核参数,并在推理阶段额外评估采用相同平方核权重的局部线性回归。在多个基准回归数据集上的实验表明:训练损失降低的同时伴随核矩阵的结构性变化,所学核函数在$R^2$和RMSE指标上均优于基线高斯核NW方法。在推理阶段增加随机特征数量可进一步提升精度。

0
下载
关闭预览

相关内容

《量子优势评估框架》13页slides,卡内基梅隆大学
专知会员服务
27+阅读 · 2022年10月11日
【2022新书】给工程师的量子机器学习简介,204页pdf
专知会员服务
55+阅读 · 2022年5月22日
专知会员服务
37+阅读 · 2021年9月12日
专知会员服务
32+阅读 · 2021年7月15日
最新|深度离散哈希算法,可用于图像检索!
全球人工智能
14+阅读 · 2017年12月15日
论文动态 | 基于知识图谱的问答系统关键技术研究 #02
开放知识图谱
10+阅读 · 2017年8月6日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Arxiv
0+阅读 · 1月14日
VIP会员
相关VIP内容
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员