Industrial Prognostics and Health Management (PHM) provides a representative case study for a broader challenge in applied machine learning: translating published papers into executable, benchmark-ready implementations. Reproducing under-specified methods in PHM is particularly difficult due to restricted access to industrial datasets, incomplete reporting of preprocessing and evaluation protocols, and implicit design choices (e.g., windowing, target construction, data splits) that critically affect performance. Existing paper-to-code systems generate implementations for individual papers, but these artifacts are often not directly comparable due to inconsistencies in assumptions and evaluation settings. We introduce \emph{agentic, framework-based PHM paper reproduction}, where an agent translates a paper into a shared PHM benchmark framework via a \emph{slot-binding interface}. This interface maps equations and protocol descriptions into structured components (task definitions, dataset adapters, windowing, targets, models, and evaluators), while explicitly recording unresolved assumptions. The resulting implementations are validated against standardized task contracts and evaluation hooks, enabling consistent and comparable benchmarking. We evaluate this approach on 16 PHM papers, comparing framework-enhanced, skill-based and prompt-based agentic reproduction against a recent framework-free paper-reproduction agent. We assess reproduction success, model-based code evaluation, framework binding of paper assumptions, and cross-paper benchmark comparability under standardized protocols. Our results show that coupling agentic generation with a shared framework transforms paper reproduction from isolated code synthesis into executable, assumption-aware, and systematically comparable benchmark implementations.


翻译:工业预测与健康管理(PHM)为应用机器学习中的一个广泛挑战提供了典型案例:将发表的论文转化为可执行且具备基准测试能力的实现。由于工业数据集获取受限、预处理与评估协议报告不完整,以及隐含的设计选择(例如窗口化、目标构建、数据划分)对性能产生关键影响,复现PHM中的欠规范方法尤为困难。现有的“论文到代码”系统可为单篇论文生成实现,但这些产物常因假设和评估设置的不一致而无法直接比较。我们提出了一种**基于主体与框架的PHM论文复现**方法,其中主体通过**槽位绑定接口**将论文转化为共享的PHM基准测试框架。该接口将公式和协议描述映射为结构化组件(任务定义、数据集适配器、窗口化、目标、模型和评估器),同时明确记录未解决的假设。所得实现通过标准化任务契约和评估钩子进行验证,从而实现一致且可比较的基准测试。我们在16篇PHM论文上评估了该方法,比较了框架增强型、基于技能型和基于提示型的主体复现与近期无框架论文复现主体。我们评估了复现成功率、基于模型的代码评价、论文假设的框架绑定以及标准化协议下的跨论文基准可比较性。结果表明,将主体生成与共享框架相结合,可将论文复现从孤立的代码合成转化为可执行、感知假设且可系统比较的基准测试实现。

0
下载
关闭预览

相关内容

论文(Paper)是专知网站核心资料文档,包括全球顶级期刊、顶级会议论文,及全球顶尖高校博士硕士学位论文。重点关注中国计算机学会推荐的国际学术会议和期刊,CCF-A、B、C三类。通过人机协作方式,汇编、挖掘后呈现于专知网站。
可解释的机器学习模型和架构
专知会员服务
93+阅读 · 2023年9月17日
【AI与医学】多模态机器学习精准医疗健康
【PHM】NIST:PHM制造工艺流程技术和指标路线图
产业智能官
11+阅读 · 2019年1月13日
国家自然科学基金
23+阅读 · 2016年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
21+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
22+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
最新内容
俄乌无人机战争的六大启示
专知会员服务
9+阅读 · 8月3日
《无人机空中监控:通信实验洞察》
专知会员服务
6+阅读 · 8月3日
从采集到决策:美军视角下的战术情报范式重构
《履带式无人地面战车技术发展现状》
专知会员服务
6+阅读 · 8月2日
《无人机脆弱性利用:网络空间力量的新域》
专知会员服务
9+阅读 · 8月1日
美空军如何将人工智能从战场部署至后方机关
专知会员服务
14+阅读 · 7月31日
相关VIP内容
可解释的机器学习模型和架构
专知会员服务
93+阅读 · 2023年9月17日
相关基金
国家自然科学基金
23+阅读 · 2016年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
21+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
22+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员