Foundation models pretrained on physiological data such as photoplethysmography (PPG) signals are increasingly used to improve heart rate (HR) prediction across diverse settings. Fine-tuning these models for local deployment is often seen as a practical and scalable strategy. However, its impact on demographic fairness particularly under domain shifts remains underexplored. We fine-tune PPG-GPT a transformer-based foundation model pretrained on intensive care unit (ICU) data across three heterogeneous datasets (ICU, wearable, smartphone) and systematically evaluate the effects on HR prediction accuracy and gender fairness. While fine-tuning substantially reduces mean absolute error (up to 80%), it can simultaneously widen fairness gaps, especially in larger models and under significant distributional characteristics shifts. To address this, we introduce FairTune, a bias-aware fine-tuning framework in which we benchmark three mitigation strategies: class weighting based on inverse group frequency (IF), Group Distributionally Robust Optimization (GroupDRO), and adversarial debiasing (ADV). We find that IF and GroupDRO significantly reduce fairness gaps without compromising accuracy, with effectiveness varying by deployment domain. Representation analyses further reveal that mitigation techniques reshape internal embeddings to reduce demographic clustering. Our findings highlight that fairness does not emerge as a natural byproduct of fine-tuning and that explicit mitigation is essential for equitable deployment of physiological foundation models.


翻译:基于光电容积描记法(PPG)等生理数据预训练的基础模型正被日益广泛地应用于提升不同场景下的心率(HR)预测性能。针对本地部署需求对这些模型进行微调,通常被视为一种实用且可扩展的策略。然而,微调对人口统计学公平性的影响,尤其是在领域偏移下的表现,仍未得到充分探究。本研究以在重症监护室(ICU)数据上预训练的基于Transformer的基础模型PPG-GPT为对象,在三个异构数据集(ICU、可穿戴设备、智能手机)上进行微调,并系统评估其对心率预测准确性与性别公平性的影响。研究发现,尽管微调能显著降低平均绝对误差(降幅最高达80%),但它也可能同时扩大公平性差距,这种现象在较大模型及面临显著分布特征偏移时尤为突出。为解决此问题,我们提出了FairTune——一个偏置感知的微调框架,并在其中对三种缓解策略进行了基准测试:基于逆群体频率的类别加权(IF)、群体分布鲁棒优化(GroupDRO)以及对抗性去偏(ADV)。实验表明,IF与GroupDRO能在不损害准确性的前提下显著缩小公平性差距,其有效性因部署领域而异。表征分析进一步揭示,这些缓解技术通过重塑内部嵌入表示来减少人口统计学特征的聚类效应。我们的研究结果强调,公平性并非微调的自然副产品,明确的缓解措施对于生理基础模型的公平部署至关重要。

0
下载
关闭预览

相关内容

FlowQA: Grasping Flow in History for Conversational Machine Comprehension
专知会员服务
34+阅读 · 2019年10月18日
Keras François Chollet 《Deep Learning with Python 》, 386页pdf
专知会员服务
163+阅读 · 2019年10月12日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
Unsupervised Learning via Meta-Learning
CreateAMind
44+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
STRCF for Visual Object Tracking
统计学习与视觉计算组
15+阅读 · 2018年5月29日
Focal Loss for Dense Object Detection
统计学习与视觉计算组
12+阅读 · 2018年3月15日
国家自然科学基金
13+阅读 · 2017年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关资讯
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
Unsupervised Learning via Meta-Learning
CreateAMind
44+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
STRCF for Visual Object Tracking
统计学习与视觉计算组
15+阅读 · 2018年5月29日
Focal Loss for Dense Object Detection
统计学习与视觉计算组
12+阅读 · 2018年3月15日
相关基金
国家自然科学基金
13+阅读 · 2017年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员