Managing the data and metadata during the active development phase of an experimental project presents a significant challenge, particularly in collaborative research. This phase is frequently overlooked in Data Management Plans included in project proposals, despite its important role in ensuring reproducibility and preventing the need for retroactive reconstruction at the time of publication. Here we present Altar, a lightweight, domain-agnostic framework for structuring experimental data from the onset of a project without imposing rigid data models. Altar is built around the Sacred experiment-tracking model and captures experimental (meta)data and structures them. Parameters, metadata, curves and small files are stored in a flexible NoSQL database, while large raw data are maintained in dedicated storage and linked through unique identifiers, ensuring efficiency and traceability. This integration is composable with exiting workflows, allowing integration with minimial disruption of work habits. We document different pathways to use Altar based on users skillset (PhD students, Post-docs, Principal Investigators, Laboratory administrators, System administrators). While getting started with Altar does not require a specialized infrastructure, the framework can be easily deployed on a server and made publicly accessible when scaling up or preparing data for publication. By addressing the dynamic phase of research, Altar provides a practical bridge between exploratory experimentation and FAIR-aligned data sharing.


翻译:在实验项目的活跃开发阶段管理数据与元数据是一项重大挑战,尤其在协作研究中。尽管这一阶段对确保可复现性及避免发表时进行追溯性重构具有重要作用,却常被项目提案中的数据管理计划所忽视。本文提出Altar——一个轻量级、领域无关的框架,可在项目启动时即对实验数据进行结构化处理,且不强制采用僵化的数据模型。Altar围绕Sacred实验追踪模型构建,捕获实验(元)数据并对其进行结构化处理。参数、元数据、曲线及小型文件存储于灵活的NoSQL数据库中,大型原始数据则保存在专用存储中并通过唯一标识符进行关联,从而确保效率与可追溯性。该框架可与现有工作流组合使用,在最小化干扰工作习惯的前提下实现集成。我们根据用户技能背景(博士生、博士后、首席研究员、实验室管理员、系统管理员)记录了使用Altar的不同路径。虽然开始使用Altar无需专用基础设施,但在扩大规模或准备发表数据时,该框架可轻松部署于服务器并公开访问。通过应对研究的动态阶段,Altar为探索性实验与符合FAIR原则的数据共享提供了实用桥梁。

0
下载
关闭预览

相关内容

《复杂系统数据驱动预测建模的数值框架》报告
专知会员服务
17+阅读 · 4月28日
《可解释性强化学习模型》
专知会员服务
26+阅读 · 2月24日
【新书】使用Altair和人工智能进行数据讲述
专知会员服务
44+阅读 · 2024年9月18日
ExBert — 可视化分析Transformer学到的表示
专知会员服务
32+阅读 · 2019年10月16日
元学习(Meta Learning)最全论文、视频、书籍资源整理
深度学习与NLP
22+阅读 · 2019年6月20日
强化学习的Unsupervised Meta-Learning
CreateAMind
18+阅读 · 2019年1月7日
TextInfoExp:自然语言处理相关实验(基于sougou数据集)
全球人工智能
12+阅读 · 2017年11月12日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
11+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
8+阅读 · 2014年12月31日
Arxiv
0+阅读 · 3月2日
VIP会员
最新内容
印度精确打击与指挥架构的断层
专知会员服务
4+阅读 · 7月20日
美空军AI完成F-16战斗机自主空战历史性试飞
专知会员服务
6+阅读 · 7月20日
深入Project Maven:为何人工智能在战场上依然失灵
锻造未来士兵:外骨骼、基因工程与赛博格
专知会员服务
7+阅读 · 7月19日
《无人机蜂群通信技术研究》50页
专知会员服务
10+阅读 · 7月19日
相关VIP内容
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
11+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
8+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员