The rapid growth of digital devices and IoT has intensified the demand for collaborative learning. Since these devices generate sensitive and high-dimensional data, centralized transmission is often impractical, while local learning suffers from slow convergence. Collaborative approaches can alleviate these issues by allowing agents to use information from one another to improve estimation. Each agent faces a personalized learning problem, and collaboration is beneficial among agents whose data are generated from the same distributions. This paper studies the problem of personalized online mean estimation in heterogeneous environments, where each agent observes data from its own sigma-sub-Gaussian distribution. Collaborative algorithms enable agents to identify similarity classes in real time and exploit information from agents belonging to the the same class to improve convergence and accuracy. The work builds on existing approaches: the collaborative mean estimation (colME) and its graph-based extensions (C-colME and B-colME), which improve scalability and robustness. Since the variance estimation plays a crucial role in the above mentioned algorithms, a method for accurate, local and real-time estimation of variance is proposed. Estimation of sample kurtosis is also incorporated. We derive the CI estimators for the sample standard deviation and sample kurtosis. These results are combined with sample colME methods to design a unified procedure for constructing multifold CI based jointly on the sample mean, sample variance, and sample kurtosis. This framework enables colME in challenging scenarios, such as when classes share similar means but differ in variances, or when both means and variances are alike while the underlying distributions diverge in higher-order characteristics.


翻译:数字设备和物联网的快速发展加剧了对协作学习的需求。由于这些设备生成敏感且高维的数据,集中式传输通常不切实际,而本地学习则面临收敛缓慢的问题。协作方法通过允许智能体利用彼此信息改进估计,能够缓解这些问题。每个智能体面临个性化的学习问题,且数据生成自相同分布的智能体间的协作具有益处。本文研究异构环境中的个性化在线均值估计问题,其中每个智能体观测来自其自身σ次高斯分布的数据。协作算法使智能体能够实时识别相似类别,并利用属于同一类别的智能体信息以提高收敛速度和精度。本工作基于现有方法:协作均值估计(colME)及其基于图的扩展(C-colME和B-colME),这些方法提升了可扩展性和鲁棒性。由于方差估计在上述算法中起着关键作用,本文提出了一种精确、本地化且实时的方差估计方法,同时引入了样本峰度的估计。我们推导了样本标准差和样本峰度的置信区间估计量。这些结果与样本colME方法相结合,设计了一个基于样本均值、样本方差和样本峰度联合构建多重置信区间的统一流程。该框架使得colME能够在具有挑战性的场景中实现,例如当类别均值相似但方差不同,或当均值和方差均相似而底层分布在高阶特征上存在差异时。

0
下载
关闭预览

相关内容

多智能体协作机制
专知会员服务
23+阅读 · 4月25日
面向关系建模的合作多智能体深度强化学习综述
专知会员服务
41+阅读 · 2025年4月18日
《多智能体合作强化学习中的通信》139页
专知会员服务
45+阅读 · 2025年2月17日
多智能体协同决策方法研究
专知会员服务
134+阅读 · 2022年12月15日
专知会员服务
29+阅读 · 2021年6月7日
数据受限条件下的多模态处理技术综述
专知
22+阅读 · 2022年7月16日
最新《多任务学习》综述,39页pdf
专知
28+阅读 · 2020年7月10日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
16+阅读 · 2013年12月31日
国家自然科学基金
18+阅读 · 2009年12月31日
VIP会员
最新内容
BES:让语言模型通过双向进化搜索自我改进
专知会员服务
3+阅读 · 5月30日
以色列-美国-伊朗战争中的无人机:关键要点
专知会员服务
4+阅读 · 5月30日
《Palantir任务保障性软件安全标准(MA-S2)》
专知会员服务
10+阅读 · 5月30日
基于声学的无人机检测技术综述
专知会员服务
7+阅读 · 5月30日
《当代混合战争分析框架:俄乌战争经验教训》
战略前沿人工智能的再思考(中文)
专知会员服务
8+阅读 · 5月29日
《量化地基防空系统间接效应的博弈论方法》
专知会员服务
6+阅读 · 5月29日
相关VIP内容
多智能体协作机制
专知会员服务
23+阅读 · 4月25日
面向关系建模的合作多智能体深度强化学习综述
专知会员服务
41+阅读 · 2025年4月18日
《多智能体合作强化学习中的通信》139页
专知会员服务
45+阅读 · 2025年2月17日
多智能体协同决策方法研究
专知会员服务
134+阅读 · 2022年12月15日
专知会员服务
29+阅读 · 2021年6月7日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
16+阅读 · 2013年12月31日
国家自然科学基金
18+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员