This paper studies whether audio, images, and video can share a common wavelet token schema rather than relying on separate modality-specific latent grids. It introduces a preliminary continuous-token model built around a one-level Haar DWT/IDWT frontend, a shared coefficient-token layout, optional structural metadata, lightweight modality value adapters, and a shared token-wise encoder-decoder trunk. On Speech Commands, EuroSAT RGB, and DAVIS 2017 data, a dense shared model reaches 39.92 dB audio, 29.37 dB image, and 23.93 dB video PSNR. A matched-rate sweep under continuous latent scalar budgets indicates that the visual gains are not explained solely by latent capacity, while also showing that additive metadata embeddings are not a universal source of improvement. Finally, fixed-rate energy selection provides a strong non-parametric baseline: energy_global improves average PSNR over uniform selection by 16.73 dB for audio, 16.90 dB for images, and 15.86 dB for video under compressed keep ratios. Masked sparse training reaches 34.45 dB video PSNR with 50% of dense tokens. The results support a unified wavelet token schema and sparse token interface, while stopping short of establishing a universal discrete vocabulary.


翻译:本文研究音频、图像和视频是否可以共享一种通用的小波标记模式,而非依赖各自模态特有的潜在网格。我们介绍了一种初步的连续令牌模型,其核心组件包括:单级Haar DWT/IDWT前端、共享系数令牌布局、可选的结构元数据、轻量级模态值适配器,以及共享的令牌级编解码主干。在Speech Commands、EuroSAT RGB和DAVIS 2017数据集上,密集共享模型分别达到39.92 dB(音频)、29.37 dB(图像)和23.93 dB(视频)的PSNR。在连续潜在标量预算下的匹配速率扫描表明,视觉增益并非仅由潜在容量解释,同时显示加性元数据嵌入并非普遍的改进来源。最后,固定速率能量选择提供了一个强大的非参数基线:在压缩保留比下,energy_global相比均匀选择将音频、图像和视频的平均PSNR分别提升了16.73 dB、16.90 dB和15.86 dB。掩码稀疏训练在50%密集令牌比例下达34.45 dB视频PSNR。这些结果支持了统一的小波令牌模式和稀疏令牌接口,但尚不足以建立通用的离散词汇表。

0
下载
关闭预览

相关内容

专知会员服务
51+阅读 · 2021年5月19日
使用 FastAI 和即时频率变换进行音频分类
AI研习社
11+阅读 · 2019年5月9日
大讲堂 | 基于小波变换的图卷积神经网络
AI研习社
12+阅读 · 2019年1月3日
【干货】一文读懂什么是变分自编码器
专知
12+阅读 · 2018年2月11日
详述DeepMind wavenet原理及其TensorFlow实现
深度学习每日摘要
12+阅读 · 2017年6月26日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
VIP会员
最新内容
反制无人机:乌克兰提供的五点启示
专知会员服务
4+阅读 · 9月23日
《各指挥层级均亟需红队能力》报告
专知会员服务
5+阅读 · 9月23日
《航电任务系统框架(FAMOS)》50页报告
专知会员服务
4+阅读 · 9月22日
《对抗行动中的人工智能与自主性》智库报告
专知会员服务
7+阅读 · 9月22日
《从数据到胜利:战争中的分析优势之争》
专知会员服务
9+阅读 · 9月22日
战争不仅需要机器人:人类仍不可或缺
专知会员服务
5+阅读 · 9月21日
《描绘美国防部创新基础设施的未来蓝图》100页
专知会员服务
10+阅读 · 9月21日
相关VIP内容
专知会员服务
51+阅读 · 2021年5月19日
相关基金
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
Top
微信扫码咨询专知VIP会员