Automated analysis of mouse behaviours is crucial for many applications in neuroscience. However, quantifying mouse behaviours from videos or images remains a challenging problem, where pose estimation plays an important role in describing mouse behaviours. Although deep learning based methods have made promising advances in human pose estimation, they cannot be directly applied to pose estimation of mice due to different physiological natures. Particularly, since mouse body is highly deformable, it is a challenge to accurately locate different keypoints on the mouse body. In this paper, we propose a novel Hourglass network based model, namely Graphical Model based Structured Context Enhancement Network (GM-SCENet) where two effective modules, i.e., Structured Context Mixer (SCM) and Cascaded Multi-Level Supervision (CMLS) are subsequently implemented. SCM can adaptively learn and enhance the proposed structured context information of each mouse part by a novel graphical model that takes into account the motion difference between body parts. Then, the CMLS module is designed to jointly train the proposed SCM and the Hourglass network by generating multi-level information, increasing the robustness of the whole network.Using the multi-level prediction information from SCM and CMLS, we develop an inference method to ensure the accuracy of the localisation results. Finally, we evaluate our proposed approach against several baselines...


翻译:对鼠标行为进行自动化分析对于神经科学的许多应用至关重要。然而,从视频或图像中量化鼠标行为仍是一个具有挑战性的问题,在描述鼠标行为方面,估计可能具有重要作用。虽然深层次学习方法在人造图示方面取得了有希望的进展,但由于生理性质不同,这些方法不能直接用于估计小鼠。特别是,由于鼠体高度变形,精确定位鼠体上不同的关键点是一项挑战。在本文件中,我们提议建立一个基于新颖的沙漏网络模型,即基于图形模型的基于结构化环境增强网络(GM-SCENet),在这个模型中,有两个有效的模块,即结构化背景混合和累加多级监督(CMLS),在描述鼠体外行为方面都取得了可喜的进展。由于鼠标体体的体格高度变,因此很难准确定位鼠标体上不同的关键点。然后,CMLS模块旨在联合培训拟议的SCM和Hyleclas网络,通过生成多层次的信息,提高整个网络的稳性,随后实施。UCMLS最后评估我们提出的多层次基线方法。

0
下载
关闭预览

相关内容

专知会员服务
111+阅读 · 2020年3月12日
Stabilizing Transformers for Reinforcement Learning
专知会员服务
60+阅读 · 2019年10月17日
[综述]深度学习下的场景文本检测与识别
专知会员服务
78+阅读 · 2019年10月10日
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
已删除
德先生
53+阅读 · 2019年4月28日
语义分割 | context relation
极市平台
8+阅读 · 2019年2月9日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
Arxiv
3+阅读 · 2018年3月5日
Arxiv
4+阅读 · 2017年11月4日
Arxiv
3+阅读 · 2017年10月1日
VIP会员
最新内容
ICML 2026 | 自回归Boltzmann生成器重塑分子采样
专知会员服务
1+阅读 · 6月26日
GNN跨域综述:从消息传递到图基础模型
专知会员服务
0+阅读 · 6月26日
无人机自主控制与人工智能:系统性综述
专知会员服务
11+阅读 · 6月26日
巡飞弹与反无人机系统——现代战场的两大支柱
《打造“黄金舰队”》57页报告
专知会员服务
3+阅读 · 6月26日
《北约数字教官网络发展路径》128页报告
专知会员服务
2+阅读 · 6月26日
ECCV 2026 | MIMFlow:MIM与归一化流统一图像生成
专知会员服务
7+阅读 · 6月25日
网状网络及其在军事领域的运用
专知会员服务
8+阅读 · 6月25日
无美国参与的欧洲战争方式(万字长文)
专知会员服务
8+阅读 · 6月25日
《国防领域敏感性分析白皮书》
专知会员服务
9+阅读 · 6月25日
相关资讯
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
已删除
德先生
53+阅读 · 2019年4月28日
语义分割 | context relation
极市平台
8+阅读 · 2019年2月9日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
Top
微信扫码咨询专知VIP会员