The development of effective training and evaluation strategies is critical. Conventional methods for assessing surgical proficiency typically rely on expert supervision, either through onsite observation or retrospective analysis of recorded procedures. However, these approaches are inherently subjective, susceptible to inter-rater variability, and require substantial time and effort from expert surgeons. These demands are often impractical in low- and middle-income countries, thereby limiting the scalability and consistency of such methods across training programs. To address these limitations, we propose a novel AI-driven framework for the automated assessment of microanastomosis performance. The system integrates a video transformer architecture based on TimeSformer, improved with hierarchical temporal attention and weighted spatial attention mechanisms, to achieve accurate action recognition within surgical videos. Fine-grained motion features are then extracted using a YOLO-based object detection and tracking method, allowing for detailed analysis of instrument kinematics. Performance is evaluated along five aspects of microanastomosis skill, including overall action execution, motion quality during procedure-critical actions, and general instrument handling. Experimental validation using a dataset of 58 expert-annotated videos demonstrates the effectiveness of the system, achieving 87.7% frame-level accuracy in action segmentation that increased to 93.62% with post-processing, and an average classification accuracy of 76% in replicating expert assessments across all skill aspects. These findings highlight the system's potential to provide objective, consistent, and interpretable feedback, thereby enabling more standardized, data-driven training and evaluation in surgical education.


翻译:开发有效的培训与评估策略至关重要。评估手术熟练度的传统方法通常依赖于专家监督,无论是通过现场观察还是对录制手术过程的回顾性分析。然而,这些方法本质上具有主观性,易受评估者间差异的影响,并且需要专家外科医生投入大量时间和精力。这些要求在低收入和中等收入国家往往不切实际,从而限制了此类方法在培训项目中的可扩展性和一致性。为了应对这些局限性,我们提出了一种新颖的AI驱动框架,用于自动评估显微血管吻合术的表现。该系统集成了基于TimeSformer的视频Transformer架构,并通过分层时间注意力和加权空间注意力机制进行改进,以实现手术视频中准确的动作识别。随后,使用基于YOLO的目标检测与跟踪方法提取细粒度的运动特征,从而实现对器械运动学的详细分析。性能评估围绕显微血管吻合术技能的五个方面展开,包括整体动作执行、关键手术步骤中的运动质量以及一般器械操作。使用包含58个专家标注视频的数据集进行的实验验证证明了该系统的有效性,在动作分割方面达到了87.7%的帧级准确率,经过后处理提升至93.62%,并且在所有技能方面复现专家评估的平均分类准确率达到76%。这些发现凸显了该系统在提供客观、一致且可解释的反馈方面的潜力,从而能够在手术教育中实现更标准化、数据驱动的培训与评估。

0
下载
关闭预览

相关内容

《模拟军事单元的多目标优化策略》美陆军DEVCOM SC
专知会员服务
46+阅读 · 2023年11月13日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
16+阅读 · 2013年12月31日
VIP会员
相关基金
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
16+阅读 · 2013年12月31日
Top
微信扫码咨询专知VIP会员