Automated pain assessment from facial expressions is crucial for non-communicative patients, such as those with dementia. Progress has been limited by two challenges: (i) existing datasets exhibit severe demographic and label imbalance due to ethical constraints, and (ii) current generative models cannot precisely control facial action units (AUs), facial structure, or clinically validated pain levels. We present 3DPain, a large-scale synthetic dataset specifically designed for automated pain assessment, featuring unprecedented annotation richness and demographic diversity. Our three-stage framework generates diverse 3D meshes, textures them with diffusion models, and applies AU-driven face rigging to synthesize multi-view faces with paired neutral and pain images, AU configurations, PSPI scores, and the first dataset-level annotations of pain-region heatmaps. The dataset comprises 82,500 samples across 25,000 pain expression heatmaps and 2,500 synthetic identities balanced by age, gender, and ethnicity. We further introduce ViTPain, a Vision Transformer based cross-modal distillation framework in which a heatmap-trained teacher guides a student trained on RGB images, enhancing accuracy, interpretability, and clinical reliability. Together, 3DPain and ViTPain establish a controllable, diverse, and clinically grounded foundation for generalizable automated pain assessment.


翻译:基于面部表情的自动疼痛评估对于非交流性患者(如痴呆症患者)至关重要。该领域进展主要受限于两大挑战:(i) 由于伦理限制,现有数据集存在严重的人口统计学与标签不平衡问题;(ii) 当前生成模型无法精确控制面部动作单元、面部结构或经临床验证的疼痛程度。本文提出3DPain——一个专为自动疼痛评估设计的大规模合成数据集,具备前所未有的标注丰富度与人口统计学多样性。我们的三阶段框架首先生成多样化三维网格,通过扩散模型进行纹理贴图,再应用动作单元驱动的面部绑定技术,合成具有配对中性/疼痛图像、动作单元配置、PSPI评分及首个数据集级疼痛区域热力图标注的多视角面部数据。该数据集包含82,500个样本,涵盖25,000个疼痛表情热力图和2,500个按年龄、性别与种族均衡分布的合成身份。我们进一步提出ViTPain——基于Vision Transformer的跨模态蒸馏框架,通过热力图训练的教师模型指导RGB图像训练的学生模型,从而提升准确性、可解释性与临床可靠性。3DPain与ViTPain共同为可泛化的自动疼痛评估建立了可控、多样且临床基础扎实的研究基础。

0
下载
关闭预览

相关内容

【ICML2023】SEGA:结构熵引导的图对比学习锚视图
专知会员服务
24+阅读 · 2023年5月10日
使用CNN生成图像先验实现场景的盲图像去模糊
统计学习与视觉计算组
10+阅读 · 2018年6月14日
论文浅尝 | Know-Evolve: Deep Temporal Reasoning for Dynamic KG
开放知识图谱
36+阅读 · 2018年3月30日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员