Adaptive 360° video streaming for teleoperation faces dual challenges: viewport prediction under uncertain gaze patterns and bitrate adaptation over volatile wireless channels. While data-driven and Deep Reinforcement Learning (DRL) methods achieve high Quality of Experience (QoE), their "black-box" nature and reliance on training data can limit deployment in safety-critical systems. To address this, we propose OrbitStream, a training-free framework that combines semantic scene understanding with robust control theory. We formulate viewport prediction as a Gravitational Viewport Prediction (GVP) problem, where semantic objects generate potential fields that attract user gaze. Furthermore, we employ a Saturation-Based Proportional-Derivative (PD) Controller for buffer regulation. On object-rich teleoperation traces, OrbitStream achieves a 94.7\% zero-shot viewport prediction accuracy without user-specific profiling, approaching trajectory-extrapolation baselines ($\sim$98.5\%). Across 3,600 Monte Carlo simulations on diverse network traces, OrbitStream yields a mean QoE of 2.71. It ranks second among 12 evaluated algorithms, close to the top-performing BOLA-E (2.80) while outperforming FastMPC (1.84). The system exhibits an average decision latency of 1.01 ms with minimal rebuffering events. By providing competitive QoE with interpretability and zero training overhead, OrbitStream demonstrates that physics-based control, combined with semantic modeling, offers a practical solution for 360° streaming in teleoperation.


翻译:远程操作中自适应360度视频流传输面临双重挑战:在不确定的注视模式下进行视口预测,以及在易变的无线信道上进行码率自适应。尽管数据驱动和深度强化学习方法能实现高体验质量,但其"黑箱"特性及对训练数据的依赖会限制其在安全关键系统中的部署。为此,我们提出OrbitStream这一无训练框架,将语义场景理解与鲁棒控制理论相结合。我们将视口预测形式化为引力视口预测问题,其中语义对象生成吸引用户注视的势场。此外,我们采用基于饱和的PD控制器进行缓冲区调节。在富含物体的远程操作轨迹数据上,OrbitStream无需用户特定建模即实现94.7%的零样本视口预测准确率,接近轨迹外推基线方法(约98.5%)。在多样化网络轨迹的3600次蒙特卡洛仿真中,OrbitStream的平均体验质量为2.71,在12种评估算法中位列第二,接近最优性能的BOLA-E(2.80),同时优于FastMPC(1.84)。该系统平均决策延迟为1.01毫秒,且极少发生缓冲事件。通过提供具有可解释性与零训练开销的竞争性体验质量,OrbitStream证明了基于物理的鲁棒控制与语义建模相结合,为远程操作中的360度视频流传输提供了实用解决方案。

0
下载
关闭预览

相关内容

中国领先的互联网安全服务与软件公司,主营以360安全卫士、360浏览器等为代表的网络安全产品。主要依靠在线广告、互联网增值服务创收。目前,公司PC端产品和服务的月活跃用户为4.42亿,市场渗透率为95%。

2012年8月,公司推出「360 搜索」业务,正式进军搜索引擎市场。作为中国互联网界最受争议的公司,奇虎360先后与腾讯、百度等互联网巨头产生过激烈的产品竞争。

2011年3月,公司以「QIHU」为代码正式登陆纽约证券交易所。

面向实时视频流分析的边缘计算技术
专知会员服务
79+阅读 · 2022年6月5日
【Google】多模态Transformer视频检索,Multi-modal Transformer
专知会员服务
103+阅读 · 2020年7月22日
【资源】领域自适应相关论文、代码分享
专知
32+阅读 · 2019年10月12日
极市分享|王晋东 迁移学习中的领域自适应方法
极市平台
10+阅读 · 2017年12月11日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
VIP会员
最新内容
美国从乌克兰无人机战争中学习经验
专知会员服务
6+阅读 · 6月21日
ICML 2026 | 面向视觉语言模型的语义鲁棒性认证
专知会员服务
2+阅读 · 6月21日
学习数据的几何:形状空间分析数学综述
专知会员服务
9+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
11+阅读 · 6月17日
相关VIP内容
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员