Deep learning has significantly advanced image analysis across diverse domains but often depends on large, annotated datasets for success. Transfer learning addresses this challenge by utilizing pre-trained models to tackle new tasks with limited labeled data. However, discrepancies between source and target domains can hinder effective transfer learning. We introduce BioTune, a novel adaptive fine-tuning technique utilizing evolutionary optimization. BioTune enhances transfer learning by optimally choosing which layers to freeze and adjusting learning rates for unfrozen layers. Through extensive evaluation on nine image classification datasets, spanning natural and specialized domains such as medical imaging, BioTune demonstrates superior accuracy and efficiency over state-of-the-art fine-tuning methods, including AutoRGN and LoRA, highlighting its adaptability to various data characteristics and distribution changes. Additionally, BioTune consistently achieves top performance across four different CNN architectures, underscoring its flexibility. Ablation studies provide valuable insights into the impact of BioTune's key components on overall performance. The source code is available at https://github.com/davilac/BioTune.


翻译:深度学习显著推动了图像分析在多个领域的进展,但其成功往往依赖于大规模标注数据集。迁移学习通过利用预训练模型来处理标注数据有限的新任务,从而应对这一挑战。然而,源域与目标域之间的差异可能阻碍有效的迁移学习。本文提出BioTune,一种利用进化优化的新型自适应微调技术。BioTune通过优化选择冻结哪些层并调整未冻结层的学习率,从而增强迁移学习效果。通过在九个图像分类数据集(涵盖自然图像及医学影像等专业领域)上进行广泛评估,BioTune在准确性和效率上均优于包括AutoRGN和LoRA在内的先进微调方法,突显了其适应不同数据特征与分布变化的能力。此外,BioTune在四种不同的CNN架构上均能稳定取得最优性能,证明了其灵活性。消融研究为理解BioTune关键组件对整体性能的影响提供了重要见解。源代码发布于https://github.com/davilac/BioTune。

0
下载
关闭预览

相关内容

【牛津大学博士论文】序列决策中的迁移学习
专知会员服务
24+阅读 · 2024年11月10日
资源受限的大模型高效迁移学习算法研究
专知会员服务
27+阅读 · 2024年11月8日
基于主动学习的图像分类技术:现状与未来
专知会员服务
37+阅读 · 2024年1月8日
迁移学习方法在医学图像领域的应用综述
专知会员服务
61+阅读 · 2022年1月6日
贝叶斯迁移学习: 迁移学习的概率图模型概述
专知会员服务
70+阅读 · 2021年10月17日
迁移自适应学习最新综述,附21页论文下载
一文了解迁移学习经典算法
AI100
11+阅读 · 2018年8月4日
迁移学习之Domain Adaptation
全球人工智能
18+阅读 · 2018年4月11日
【迁移学习】简述迁移学习在深度学习中的应用
产业智能官
15+阅读 · 2018年1月9日
【迁移学习】迁移学习在图像分类中的简单应用策略
迁移学习在深度学习中的应用
专知
24+阅读 · 2017年12月24日
国家自然科学基金
0+阅读 · 2016年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
31+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
VIP会员
相关资讯
相关基金
国家自然科学基金
0+阅读 · 2016年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
31+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
Top
微信扫码咨询专知VIP会员