Task-oriented object detection (TOOD) atop CLIP offers open-vocabulary, prompt-driven semantics, yet dense per-window computation and heavy memory traffic hinder real-time, power-limited edge deployment. We present \emph{TorR}, a brain-inspired \textbf{algorithm--architecture co-design} that \textbf{replaces CLIP-style dense alignment with a hyperdimensional (HDC) associative reasoner} and turns temporal coherence into reuse. On the \emph{algorithm} side, TorR reformulates alignment as HDC similarity and graph composition, introducing \emph{partial-similarity reuse} via (i) query caching with per-class score accumulation, (ii) exact $δ$-updates when only a small set of hypervector bits change, and (iii) similarity/load-gated bypass under high system load. On the \emph{architecture} side, TorR instantiates a lane-scalable, bit-sliced item memory with bank/precision gating and a lightweight controller that schedules bypass/$δ$/full paths to meet RT-30/RT-60 targets as object counts vary. Synthesized in a TSMC 28\,nm process and exercised with a cycle-accurate simulator, TorR sustains real-time throughput with millijoule-scale energy per window ($\approx$50\,mJ at 60\,FPS; $\approx$113\,mJ at 30\,FPS) and low latency jitter, while delivering competitive [email protected] across five task prompts (mean 44.27\%) within a bounded margin to strong VLM baselines, but at orders-of-magnitude lower energy. The design exposes deployment-time configurability (effective dimension $D'$, thresholds, precision) to trade accuracy, latency, and energy for edge budgets.


翻译:任务导向目标检测(TOOD)基于CLIP模型可实现开放词汇与提示驱动语义理解,但密集的逐窗口计算与大量内存访问阻碍了实时、低功耗边缘部署。本文提出**TorR**——一种受脑启发的**算法-架构协同设计**,通过**超维度(HDC)关联推理器替代CLIP式密集对齐**,并将时序相关性转化为计算复用。在**算法层面**,TorR将对齐重构为HDC相似度计算与图组合操作,引入**部分相似度复用机制**:通过(i)带有逐类分数累积的查询缓存,(ii)当超向量中仅有少量比特变化时执行精确的$δ$更新,以及(iii)在高系统负载下基于相似度/负载门控的旁路机制。在**架构层面**,TorR实现了面向通道的可扩展位切片式条目存储器(配备bank/精度门控),并通过轻量级控制器根据目标数量动态调度旁路/$δ$/全计算路径,以满足RT-30/RT-60实时约束。基于TSMC 28nm工艺综合验证,结合周期精确仿真器测试显示,TorR可在毫焦级功耗下(60FPS时约50mJ,30FPS时约113mJ)维持实时吞吐量,兼具低延迟抖动,同时在五项任务提示中(平均[email protected]为44.27%)以有限精度损失与强视觉语言模型基线竞争,但能耗降低数个数量级。该设计提供部署时可配置性(有效维度$D'$、阈值、精度),支持在边缘预算约束下权衡精度、延迟与能耗。

0
下载
关闭预览

相关内容

【CMU博士论文】面向目标的自主智能体推理
专知会员服务
27+阅读 · 2025年9月11日
模仿、探索与自我提升:慢思考推理系统的复现之路
专知会员服务
29+阅读 · 2024年12月14日
专知会员服务
58+阅读 · 2021年5月17日
基于RASA的task-orient对话系统解析(一)
AINLP
16+阅读 · 2019年8月27日
推荐系统BAT面试题:说说协同过滤的原理
七月在线实验室
50+阅读 · 2019年1月30日
类脑计算的前沿论文,看我们推荐的这7篇
人工智能前沿讲习班
21+阅读 · 2019年1月7日
推荐系统算法合集,满满都是干货(建议收藏)
七月在线实验室
17+阅读 · 2018年7月23日
一文读懂目标检测:R-CNN、Fast R-CNN、Faster R-CNN、YOLO、SSD
七月在线实验室
11+阅读 · 2018年7月18日
今日头条推荐系统架构演进之路
QCon
32+阅读 · 2017年6月21日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
36+阅读 · 2013年12月31日
VIP会员
相关主题
最新内容
面向2027年及未来的海军情报改革
专知会员服务
0+阅读 · 今天15:49
综述 | Self-Evolving Coding Agents:自进化编程智能体
专知会员服务
0+阅读 · 今天13:16
美海军陆战队将三型无人机整合入统一战场网络
专知会员服务
2+阅读 · 今天9:39
《无人机蜂群:释放人类-蜂群编队的潜能》
专知会员服务
4+阅读 · 今天9:12
《战略战术化:一项综合性述评》
专知会员服务
2+阅读 · 今天9:08
相关VIP内容
【CMU博士论文】面向目标的自主智能体推理
专知会员服务
27+阅读 · 2025年9月11日
模仿、探索与自我提升:慢思考推理系统的复现之路
专知会员服务
29+阅读 · 2024年12月14日
专知会员服务
58+阅读 · 2021年5月17日
相关基金
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
36+阅读 · 2013年12月31日
Top
微信扫码咨询专知VIP会员