Many questions in computational social science rely on datasets assembled from heterogeneous online sources, a process that is often labor-intensive, costly, and difficult to reproduce. Recent advances in large language models enable agentic search and structured extraction from the web, but existing systems are frequently opaque, inflexible, or poorly suited to scientific data curation. Here we introduce DataParasite, an open-source, modular pipeline for scalable online data collection. DataParasite decomposes tabular curation tasks into independent, entity-level searches defined through lightweight configuration files and executed through a shared, task-agnostic python script. Crucially, the same pipeline can be repurposed to new tasks, including those without predefined entity lists, using only natural-language instructions. We evaluate the pipeline on multiple canonical tasks in computational social science, including faculty hiring histories, elite death events, and political career trajectories. Across tasks, DataParasite achieves high accuracy while reducing data-collection costs by an order of magnitude relative to manual curation. By lowering the technical and labor barriers to online data assembly, DataParasite provides a practical foundation for scalable, transparent, and reusable data curation in computational social science and beyond.


翻译:计算社会科学中的许多研究问题依赖于从异构在线来源汇集而成的数据集,而这一过程通常劳动密集、成本高昂且难以复现。大型语言模型的最新进展使得基于智能体的网络搜索与结构化信息提取成为可能,但现有系统往往不透明、灵活性差,或不适用于科学数据整理。本文介绍DataParasite——一个用于可扩展在线数据采集的开源模块化流程。DataParasite将表格化数据整理任务分解为独立的实体级搜索,这些搜索通过轻量级配置文件定义,并通过一个共享的、任务无关的Python脚本执行。关键在于,该流程仅需自然语言指令即可复用于新任务,包括那些没有预定义实体列表的任务。我们在计算社会科学的多个经典任务上评估该流程,包括高校教师聘用历史、精英死亡事件与政治生涯轨迹分析。在所有任务中,DataParasite在实现高准确率的同时,将数据采集成本相较于人工整理降低了一个数量级。通过降低在线数据汇集的技术与人力门槛,DataParasite为计算社会科学及其他领域提供了可扩展、透明且可复用的数据整理实践基础。

0
下载
关闭预览

相关内容

干货书《数据融合:理论、方法和应用》289页
专知会员服务
130+阅读 · 2023年4月2日
最全中文自然语言处理数据集、平台和工具整理
深度学习与NLP
34+阅读 · 2019年6月22日
20个安全可靠的免费数据源,各领域数据任你挑
机器学习算法与Python学习
13+阅读 · 2019年5月9日
使用 Canal 实现数据异构
性能与架构
20+阅读 · 2019年3月4日
最全数据科学学习资源:Python、线性代数、机器学习...
人工智能头条
12+阅读 · 2018年5月14日
不要担心没数据!史上最全数据集网站汇总
关于数据挖掘,有几本书推荐给你......
图灵教育
16+阅读 · 2017年10月11日
福利 | 最全面超大规模数据集下载链接汇总
AI研习社
26+阅读 · 2017年9月7日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Arxiv
0+阅读 · 1月20日
VIP会员
相关VIP内容
干货书《数据融合:理论、方法和应用》289页
专知会员服务
130+阅读 · 2023年4月2日
相关资讯
最全中文自然语言处理数据集、平台和工具整理
深度学习与NLP
34+阅读 · 2019年6月22日
20个安全可靠的免费数据源,各领域数据任你挑
机器学习算法与Python学习
13+阅读 · 2019年5月9日
使用 Canal 实现数据异构
性能与架构
20+阅读 · 2019年3月4日
最全数据科学学习资源:Python、线性代数、机器学习...
人工智能头条
12+阅读 · 2018年5月14日
不要担心没数据!史上最全数据集网站汇总
关于数据挖掘,有几本书推荐给你......
图灵教育
16+阅读 · 2017年10月11日
福利 | 最全面超大规模数据集下载链接汇总
AI研习社
26+阅读 · 2017年9月7日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员