Conventional adaptive bitrate (ABR) streaming systems typically rely on static bitrate ladders to optimize Quality of Experience (QoE). While operationally simple, this "one-size-fits-all" approach neglects content-specific characteristics, often compromising streaming efficiency. Per-title optimization methods address this by predicting the rate-distortion convex hull directly from the source content, but their reliance on pre-encoding source analysis can limit their applicability to live streaming. Moreover, the objective video quality metrics (VQMs) they rely on are optimized for overall correlation with subjective scores rather than cross-over accuracy, often yielding inaccurate cross-over predictions and suboptimal ladder construction. To overcome both limitations, we introduce a Dynamic Resolution Switching (DRS) framework for live streaming that remains fully compatible with existing streaming protocols. Our approach augments static ladders with strategically selected representations guided by user bandwidth distributions and cross-over regions. The quality of these representations is then analyzed in real time to construct dynamic ladders. Central to this framework is a lightweight, bitstream-based VQM that ensures computational efficiency while maximizing the accuracy of subjective resolution cross-over prediction through training on Pairwise Comparison (PC) datasets. At each bitrate, the VQM evaluates all candidate representations to identify the resolution maximizing the quality score. This decision process, operating at a configurable granularity (e.g., per segment), drives the dynamic resolution switching mechanism specifically optimized for the metric. Experimental results validate the approach, demonstrating a significant performance gain (approximately 9% BD-rate reduction under the proposed VQM) while maintaining practical feasibility for live streaming.


翻译:传统自适应比特率(ABR)流传输系统通常依赖静态码率阶梯来优化体验质量(QoE)。尽管操作简单,但这种“一刀切”的方法忽略了内容特定特征,往往损害流传输效率。每片内容优化方法通过直接从源内容预测率失真凸包来解决这一问题,但其对源内容预编码分析的依赖限制了其在直播流传输中的适用性。此外,这些方法所依赖的客观视频质量指标(VQM)针对与主观评分的整体相关性进行了优化,而非交叉准确性,通常导致不准确的交叉预测和欠优的阶梯构建。为克服这两点限制,我们提出了一种用于直播流传输的动态分辨率切换(DRS)框架,该框架与现有流传输协议完全兼容。我们的方法通过用户带宽分布和交叉区域引导的策略性选择表示来增强静态阶梯。随后实时分析这些表示的质量,以构建动态阶梯。该框架的核心是一种轻量级的基于比特流的VQM,通过成对比较(PC)数据集的训练,在确保计算效率的同时最大化主观分辨率交叉预测的准确性。在每个比特率下,VQM评估所有候选表示,以确定最大化质量分数的分辨率。这一决策过程以可配置的粒度(例如,每段)运行,驱动针对该指标优化的动态分辨率切换机制。实验结果验证了该方法,在保持直播流传输实际可行性的同时,展示了显著的性能提升(在所提出的VQM下约9%的BD-rate降低)。

0
下载
关闭预览

相关内容

【Yoshua Bengio】生成式流网络,Generative Flow Networks
专知会员服务
32+阅读 · 2022年3月19日
【CVPR2021】基于Transformer的视频分割领域
专知会员服务
38+阅读 · 2021年4月16日
【ACM Multimedia 2020】双时间存储网络有效的视频对象分割
专知会员服务
10+阅读 · 2020年8月13日
【Google】多模态Transformer视频检索,Multi-modal Transformer
专知会员服务
103+阅读 · 2020年7月22日
【大数据】StreamSets:一个大数据采集工具
产业智能官
40+阅读 · 2018年12月5日
BiSeNet:双向分割网络进行实时语义分割
统计学习与视觉计算组
22+阅读 · 2018年8月23日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
Arxiv
0+阅读 · 6月2日
VIP会员
最新内容
学习数据的几何:形状空间分析数学综述
专知会员服务
6+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
7+阅读 · 6月17日
从燃煤战舰到算法战争:水面指挥的永恒要求
专知会员服务
4+阅读 · 6月17日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
Top
微信扫码咨询专知VIP会员