Accurate counting of surgical instruments in Operating Rooms (OR) is a critical prerequisite for ensuring patient safety during surgery. Despite recent progress of large visual-language models and agentic AI, accurately counting such instruments remains highly challenging, particularly in dense scenarios where instruments are tightly clustered. To address this problem, we introduce Chain-of-Look, a novel visual reasoning framework that mimics the sequential human counting process by enforcing a structured visual chain, rather than relying on classic object detection which is unordered. This visual chain guides the model to count along a coherent spatial trajectory, improving accuracy in complex scenes. To further enforce the physical plausibility of the visual chain, we introduce the neighboring loss function, which explicitly models the spatial constraints inherent to densely packed surgical instruments. We also present SurgCount-HD, a new dataset comprising 1,464 high-density surgical instrument images. Extensive experiments demonstrate that our method outperforms state-of-the-art approaches for counting (e.g., CountGD, REC) as well as Multimodality Large Language Models (e.g., Qwen, ChatGPT) in the challenging task of dense surgical instrument counting.


翻译:手术室中手术器械的精确计数是确保手术期间患者安全的关键前提。尽管大型视觉语言模型和智能体人工智能近期取得了进展,但准确计数此类器械仍然极具挑战性,尤其是在器械紧密聚集的密集场景中。为解决此问题,我们提出了链式观察,一种新颖的视觉推理框架,它通过强制执行结构化的视觉链来模拟人类顺序计数过程,而非依赖经典的无序目标检测方法。该视觉链引导模型沿着连贯的空间轨迹进行计数,从而提高了复杂场景下的准确性。为进一步增强视觉链的物理合理性,我们引入了邻域损失函数,该函数显式地建模了密集排列手术器械固有的空间约束。我们还提出了SurgCount-HD,一个包含1,464张高密度手术器械图像的新数据集。大量实验表明,在密集手术器械计数这一挑战性任务中,我们的方法在计数性能上超越了最先进的方法(例如CountGD、REC)以及多模态大语言模型(例如Qwen、ChatGPT)。

0
下载
关闭预览

相关内容

《用于军事杀伤链的概率模型》
专知会员服务
44+阅读 · 1月31日
AI进入推理模型时代,一文带你读懂思维链
专知会员服务
39+阅读 · 2025年3月17日
军用数据链:武器装备神经,联合作战基石,31页pdf
专知会员服务
61+阅读 · 2024年11月21日
杀伤链视角下算法战制胜机理分析∗
专知会员服务
103+阅读 · 2024年11月4日
综述:军事应用中使用的一些重要算法
专知
12+阅读 · 2022年7月3日
【深度】行人检测算法
GAN生成式对抗网络
29+阅读 · 2018年6月3日
报名 | 让机器读懂你的意图——人体姿态估计入门
人工智能头条
10+阅读 · 2017年9月19日
【前沿】凌空手势识别综述
科技导报
12+阅读 · 2017年8月17日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
10+阅读 · 2012年12月31日
VIP会员
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
10+阅读 · 2012年12月31日
Top
微信扫码咨询专知VIP会员