Streaming data, characterized by high volume, rapid arrival rates, and evolving distributions, have become increasingly prevalent in modern applications. Developing efficient and reliable estimation procedures is therefore essential for real-time statistical analysis. However, most existing online estimation methods rely on the assumption of batch homogeneity, which can be violated in practice due to abnormal batches, distributional shifts, or other forms of batch heterogeneity. To address this challenge, we develop renewable online expectile regression procedures for heterogeneous streaming data. Specifically, we propose two complementary strategies for handling abnormal batches: (1) a detection-based approach that employs a sequential monitoring mechanism based on score test statistics to identify and remove potentially abnormal batches; and (2) an adaptive-weighting approach that assigns data-driven weights to incoming batches, reducing the influence of abnormal or drifting batches while retaining information from reliable observations. Both strategies rely solely on score test statistics and can be seamlessly integrated into existing renewable estimation and inference frameworks without requiring additional structural assumptions. Furthermore, to enhance robustness against heavy-tailed errors and outliers, we replace the conventional l2 loss with the Huber loss and develop a robust extension of renew?able online expectile regression. Extensive simulation studies and analyses of clinical datasets demonstrate that the proposed methods achieve improved estimation accuracy and robustness in the presence of batch heterogeneity. Overall, the proposed framework provides a flexible and effective solution for renewable expectile regression in complex streaming data environments.


翻译:暂无翻译

0
下载
关闭预览

相关内容

2023中国数据要素生态研究报告
专知会员服务
49+阅读 · 2024年1月3日
专知会员服务
41+阅读 · 2021年5月30日
Stabilizing Transformers for Reinforcement Learning
专知会员服务
61+阅读 · 2019年10月17日
《2021—2022中国大数据产业发展报告》
专知
13+阅读 · 2022年1月23日
【Flink】基于 Flink 的流式数据实时去重
AINLP
14+阅读 · 2020年9月29日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
【大数据】StreamSets:一个大数据采集工具
产业智能官
40+阅读 · 2018年12月5日
【大数据】海量数据分析能力形成和大数据关键技术
产业智能官
17+阅读 · 2018年10月29日
Network Embedding 指南
专知
22+阅读 · 2018年8月13日
论文浅尝 | 利用 RNN 和 CNN 构建基于 FreeBase 的问答系统
开放知识图谱
11+阅读 · 2018年4月25日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
VIP会员
相关主题
最新内容
软件定义无人机蜂群给防空带来全新压力
专知会员服务
6+阅读 · 10月13日
《半自主无人地面战车的互操作性》66页
专知会员服务
6+阅读 · 10月13日
迈向更智慧的军事情报
专知会员服务
6+阅读 · 10月12日
《美国陆军2026年野战手册 2-0 情报》
专知会员服务
5+阅读 · 10月12日
《基于启发式算法求解武器-目标分配问题》
专知会员服务
7+阅读 · 10月12日
《美陆军最新条令出版物 2-0 情报》
专知会员服务
8+阅读 · 10月10日
电子战测试与训练靶场:战前验证战备状态
专知会员服务
3+阅读 · 10月10日
《美国陆军如何作战》46页最新报告
专知会员服务
10+阅读 · 10月10日
相关VIP内容
2023中国数据要素生态研究报告
专知会员服务
49+阅读 · 2024年1月3日
专知会员服务
41+阅读 · 2021年5月30日
Stabilizing Transformers for Reinforcement Learning
专知会员服务
61+阅读 · 2019年10月17日
相关资讯
《2021—2022中国大数据产业发展报告》
专知
13+阅读 · 2022年1月23日
【Flink】基于 Flink 的流式数据实时去重
AINLP
14+阅读 · 2020年9月29日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
【大数据】StreamSets:一个大数据采集工具
产业智能官
40+阅读 · 2018年12月5日
【大数据】海量数据分析能力形成和大数据关键技术
产业智能官
17+阅读 · 2018年10月29日
Network Embedding 指南
专知
22+阅读 · 2018年8月13日
论文浅尝 | 利用 RNN 和 CNN 构建基于 FreeBase 的问答系统
开放知识图谱
11+阅读 · 2018年4月25日
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员