Always-on edge cameras generate continuous video streams where redundant frames degrade cross-modal retrieval by crowding correct results out of top-k search. This paper presents a streaming retrieval architecture: an on-device epsilon-net filter retains only semantically novel frames, building a denoised embedding index; a cross-modal adapter and cloud re-ranker compensate for the compact encoder's weak alignment. A single-pass streaming filter outperforms offline alternatives (k-means, farthest-point, uniform, random) across eight vision-language models (8M-632M) on two egocentric datasets (AEA, EPIC-KITCHENS). Combined, the architecture reaches 45.6% Hit@5 on held-out data using an 8M on-device encoder at an estimated 2.7 mW.


翻译:持续运行的边缘摄像头生成连续视频流,其中冗余帧通过将正确结果挤出top-k搜索来降低跨模态检索性能。本文提出一种流式检索架构:设备端epsilon-净过滤器仅保留语义新颖的帧,构建去噪嵌入索引;跨模态适配器与云端重排序器弥补紧凑编码器对齐能力不足。单次流式过滤器在两项自我中心数据集(AEA、EPIC-KITCHENS)上,与离线替代方案(k均值、最远点、均匀采样、随机)相比,在八个视觉语言模型(8M-632M)上均表现更优。结合该架构,在设备端使用8M参数的编码器时,对保留数据的Hit@5达到45.6%,估计功耗为2.7毫瓦。

0
下载
关闭预览

相关内容

《边缘云异常检测的机器学习》最新博士论文
专知会员服务
28+阅读 · 2024年8月8日
《跨模态检索》最新2023综述
专知会员服务
49+阅读 · 2023年9月5日
面向实时视频流分析的边缘计算技术
专知会员服务
79+阅读 · 2022年6月5日
【ICCV2021】多层次对比学习的跨模态检索方法
专知会员服务
23+阅读 · 2021年10月24日
专知会员服务
53+阅读 · 2021年8月13日
专知会员服务
63+阅读 · 2021年3月25日
【Google】多模态Transformer视频检索,Multi-modal Transformer
专知会员服务
103+阅读 · 2020年7月22日
【CVPR2021】跨模态检索的概率嵌入
专知
17+阅读 · 2021年3月2日
实战|手把手教你实现图象边缘检测!
全球人工智能
10+阅读 · 2018年1月19日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
VIP会员
最新内容
非对称防御中的自组织临界性:俄乌战争
专知会员服务
1+阅读 · 56分钟前
《战争中的大语言模型监管》
专知会员服务
1+阅读 · 今天14:26
边缘计算的军事应用
专知会员服务
7+阅读 · 8月9日
一种考虑资源机动性的武器目标分配混合算法
专知会员服务
9+阅读 · 8月8日
相关VIP内容
《边缘云异常检测的机器学习》最新博士论文
专知会员服务
28+阅读 · 2024年8月8日
《跨模态检索》最新2023综述
专知会员服务
49+阅读 · 2023年9月5日
面向实时视频流分析的边缘计算技术
专知会员服务
79+阅读 · 2022年6月5日
【ICCV2021】多层次对比学习的跨模态检索方法
专知会员服务
23+阅读 · 2021年10月24日
专知会员服务
53+阅读 · 2021年8月13日
专知会员服务
63+阅读 · 2021年3月25日
【Google】多模态Transformer视频检索,Multi-modal Transformer
专知会员服务
103+阅读 · 2020年7月22日
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
Top
微信扫码咨询专知VIP会员