Physical computing systems provide a promising route toward hardware-native machine learning, but their computational capabilities remain difficult to characterize in a principled, task-independent, and data-efficient way. We extend the Information Processing Capacity (IPC) framework to stationary physical computing systems and establish several fundamental results: individual capacities are bounded between zero and one, their sum over a complete basis is bounded by the number of readouts, and noise strictly reduces this bound. We address the finite-sample estimation of IPC and derive the asymptotic form of the systematic positive bias affecting naive estimators. Building on these results, we introduce data-efficient estimation methods based on Richardson extrapolation and Sobol quasi-random sampling. We validate the framework experimentally using a photonic computing system based on picosecond laser pulses propagating through a nonlinear optical fibre. By varying the laser power and fibre length, we observe systematic shifts of the IPC distribution toward higher-order nonlinear capacities induced by the Kerr effect. Finally, we demonstrate that the total IPC strongly correlates with performance on benchmark machine-learning tasks and provides a reliable estimate of the effective dimensionality of the system. These results establish IPC as a practical bridge between the intrinsic dynamics of physical computing systems and their machine-learning performance.


翻译:物理计算系统为硬件原生机器学习提供了一条有前景的路径,但其计算能力在原则性、任务无关且数据高效的刻画方面仍然困难。我们将在固定物理计算系统中扩展信息处理容量框架,并建立若干基础性结论:各容量介于零与一之间,其在完备基上的总和受读出处数量约束,噪声严格降低该总和。针对有限样本下信息处理容量的估计问题,我们推导了朴素估计器系统正向偏差的渐近形式。基于这些结果,引入基于理查森外推和索博尔拟随机采样的数据高效估计方法。通过基于皮秒激光脉冲在非线性光纤中传播的光子计算系统进行实验验证,通过调节激光功率和光纤长度,观察到克尔效应诱导的信息处理容量分布向高阶非线性容量系统性转移。最后证明总信息处理容量与基准机器学习任务性能强相关,并能可靠估计系统的有效维度。这些成果确立了信息处理容量作为连接物理计算系统内在动力学与机器学习性能的实用桥梁。

0
下载
关闭预览

相关内容

物理引导的深度学习研究综述:进展、挑战和展望
专知会员服务
30+阅读 · 2025年5月11日
【硬核书】信息物理系统理论、方法和应用,291页pdf
专知会员服务
105+阅读 · 2022年9月23日
专知会员服务
141+阅读 · 2021年11月21日
专知会员服务
50+阅读 · 2021年8月4日
专知会员服务
128+阅读 · 2021年8月4日
推荐系统原理、工程、大厂(Youtube、BAT、TMB)架构干活分享
从信息瓶颈理论一瞥机器学习的“大一统理论”
【CPS】社会物理信息系统(CPSS)及其典型应用
产业智能官
16+阅读 · 2018年9月18日
286页PDF教你如何搞明白深度学习的算法、理论与计算系统!(可下载)
机器学习算法与Python学习
13+阅读 · 2018年8月6日
基于信息理论的机器学习
专知
22+阅读 · 2017年11月23日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
VIP会员
最新内容
学习数据的几何:形状空间分析数学综述
专知会员服务
7+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
7+阅读 · 6月17日
从燃煤战舰到算法战争:水面指挥的永恒要求
专知会员服务
5+阅读 · 6月17日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员