Physical computing systems provide a promising route toward hardware-native machine learning, but their computational capabilities remain difficult to characterize in a principled, task-independent, and data-efficient way. We extend the Information Processing Capacity (IPC) framework to stationary physical computing systems and establish several fundamental results: individual capacities are bounded between zero and one, their sum over a complete basis is bounded by the number of readouts, and noise strictly reduces this bound. We address the finite-sample estimation of IPC and derive the asymptotic form of the systematic positive bias affecting naive estimators. Building on these results, we introduce data-efficient estimation methods based on Richardson extrapolation and Sobol quasi-random sampling. We validate the framework experimentally using a photonic computing system based on picosecond laser pulses propagating through a nonlinear optical fibre. By varying the laser power and fibre length, we observe systematic shifts of the IPC distribution toward higher-order nonlinear capacities induced by the Kerr effect. Finally, we demonstrate that the total IPC strongly correlates with performance on benchmark machine-learning tasks and provides a reliable estimate of the effective dimensionality of the system. These results establish IPC as a practical bridge between the intrinsic dynamics of physical computing systems and their machine-learning performance.


翻译:物理计算系统为硬件原生机器学习提供了一条有前景的路径,但其计算能力仍难以在原则性、任务无关且数据高效的方式下进行表征。我们将信息处理容量(IPC)框架扩展至静态物理计算系统,并建立了若干基础性结果:单个容量值介于0与1之间,其在完备基上的总和受读出数量限制,而噪声会严格降低这一总和。我们解决了IPC的有限样本估计问题,推导了影响朴素估计器的系统正偏差的渐近形式。基于这些结果,我们引入了基于理查森外推法和Sobol准随机抽样的数据高效估计方法。我们利用基于皮秒激光脉冲在非线性光纤中传播的光子计算系统,对框架进行了实验验证。通过改变激光功率和光纤长度,我们观察到由克尔效应引发的IPC分布向高阶非线性容量的系统性迁移。最后,我们证明了总IPC与基准机器学习任务的表现强相关,并为系统有效维度提供了可靠估计。这些结果确立了IPC作为连接物理计算系统内在动力学与机器学习性能之间的实用桥梁。

0
下载
关闭预览

相关内容

【硬核书】信息物理系统理论、方法和应用,291页pdf
专知会员服务
105+阅读 · 2022年9月23日
信息物理融合系统 (CPS)研究综述
专知会员服务
47+阅读 · 2022年3月14日
专知会员服务
141+阅读 · 2021年11月21日
专知会员服务
32+阅读 · 2021年10月12日
专知会员服务
128+阅读 · 2021年8月4日
推荐系统原理、工程、大厂(Youtube、BAT、TMB)架构干活分享
从信息瓶颈理论一瞥机器学习的“大一统理论”
【学科发展报告】生物信息学
中国自动化学会
11+阅读 · 2018年10月22日
【CPS】社会物理信息系统(CPSS)及其典型应用
产业智能官
16+阅读 · 2018年9月18日
286页PDF教你如何搞明白深度学习的算法、理论与计算系统!(可下载)
机器学习算法与Python学习
13+阅读 · 2018年8月6日
基于信息理论的机器学习
专知
22+阅读 · 2017年11月23日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
最新内容
学习数据的几何:形状空间分析数学综述
专知会员服务
4+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
7+阅读 · 6月17日
从燃煤战舰到算法战争:水面指挥的永恒要求
专知会员服务
4+阅读 · 6月17日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员