Automated machine learning (AutoML) frameworks can lower technical barriers for predictive and prognostic model development in radiomics by enabling researchers without programming expertise to build models. However, their effectiveness in addressing radiomics-specific challenges remains unclear. This study evaluates the performance, efficiency, and accessibility of general-purpose and radiomics-specific AutoML frameworks on diverse radiomics classification tasks, thereby highlighting development needs for radiomics. Ten public/private radiomics datasets with varied imaging modalities (CT/MRI), sizes, anatomies and endpoints were used. Six general-purpose and five radiomics-specific frameworks were tested with predefined parameters using standardized cross-validation. Evaluation metrics included AUC, runtime, together with qualitative aspects related to software status, accessibility, and interpretability. Simplatab, a radiomics-specific tool with a no-code interface, achieved the highest average test AUC (81.81%) with a moderate runtime (~1 hour). LightAutoML, a general-purpose framework, showed the fastest execution with competitive performance (78.74% mean AUC in six minutes). Most radiomics-specific frameworks were excluded from the performance analysis due to obsolescence, extensive programming requirements, or computational inefficiency. Conversely, general-purpose frameworks demonstrated higher accessibility and ease of implementation. Simplatab provides an effective balance of performance, efficiency, and accessibility for radiomics classification problems. However, significant gaps remain, including the lack of accessible survival analysis support and the limited integration of feature reproducibility and harmonization within current AutoML frameworks. Future research should focus on adapting AutoML solutions to better address these radiomics-specific challenges.


翻译:自动化机器学习(AutoML)框架能够降低影像组学中预测和预后模型开发的技术门槛,使不具备编程专业知识的研究者也能构建模型。然而,这些框架在应对影像组学特有挑战方面的有效性仍不明确。本研究评估了通用型与影像组学专用AutoML框架在多种影像组学分类任务上的性能、效率和可访问性,从而揭示了影像组学领域的发展需求。研究使用了十个公开/私有的影像组学数据集,涵盖不同成像模态(CT/MRI)、数据规模、解剖部位和临床终点。在标准化交叉验证设置下,以预设参数测试了六个通用框架和五个影像组学专用框架。评估指标包括AUC、运行时间,以及与软件状态、可访问性和可解释性相关的定性方面。Simplatab——一款具备无代码界面的影像组学专用工具——取得了最高的平均测试AUC(81.81%),同时运行时间适中(约1小时)。通用框架LightAutoML则表现出最快的执行速度,且性能具有竞争力(平均AUC为78.74%,耗时六分钟)。大多数影像组学专用框架因过时、需要大量编程或计算效率低下而被排除在性能分析之外。相反,通用框架展现出更高的可访问性和更易实施的特点。对于影像组学分类问题,Simplatab在性能、效率和可访问性之间提供了有效的平衡。然而,显著差距依然存在,包括缺乏可访问的生存分析支持,以及当前AutoML框架中对特征可重复性与协调性的整合有限。未来的研究应着重于调整AutoML解决方案,以更好地应对这些影像组学特有的挑战。

0
下载
关闭预览

相关内容

【慕尼黑大学博士论文】可解释自动化机器学习,200页pdf
专知会员服务
41+阅读 · 2023年12月17日
【CMU博士论文】迈向高效自动机器学习,184页pdf
专知会员服务
34+阅读 · 2023年2月24日
【XAUTOML】可解释自动机器学习,27页ppt
专知会员服务
65+阅读 · 2021年4月23日
专知会员服务
50+阅读 · 2021年3月5日
自动机器学习:最新进展综述
专知会员服务
124+阅读 · 2019年10月13日
概述自动机器学习(AutoML)
人工智能学家
19+阅读 · 2019年8月11日
AutoML研究综述:让AI学习设计AI
机器之心
15+阅读 · 2019年5月7日
【综述】自动机器学习AutoML最新65页综述,带你了解最新进展
中国人工智能学会
48+阅读 · 2019年5月3日
【机器学习】机器学习工业领域应用
产业智能官
11+阅读 · 2018年10月23日
推荐|机器学习中的模型评价、模型选择和算法选择!
全球人工智能
10+阅读 · 2018年2月5日
国家自然科学基金
21+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2013年12月31日
国家自然科学基金
11+阅读 · 2013年12月31日
国家自然科学基金
23+阅读 · 2009年12月31日
VIP会员
相关VIP内容
【慕尼黑大学博士论文】可解释自动化机器学习,200页pdf
专知会员服务
41+阅读 · 2023年12月17日
【CMU博士论文】迈向高效自动机器学习,184页pdf
专知会员服务
34+阅读 · 2023年2月24日
【XAUTOML】可解释自动机器学习,27页ppt
专知会员服务
65+阅读 · 2021年4月23日
专知会员服务
50+阅读 · 2021年3月5日
自动机器学习:最新进展综述
专知会员服务
124+阅读 · 2019年10月13日
相关基金
国家自然科学基金
21+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2013年12月31日
国家自然科学基金
11+阅读 · 2013年12月31日
国家自然科学基金
23+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员