Public consultations generate large volumes of data in the form of stakeholder submissions that are practically unfeasible to analyse manually. We present an end-to-end LLM-based pipeline and interactive dashboard for structured topic extraction from regulatory consultation submissions, demonstrated on the European Commission's Digital Fairness Act (DFA) public call for evidence as a case study. The system processes raw PDF attachments and web-form responses, extracts topic annotations, and grounds every extraction in a verbatim quote from the source text. Applied to 4,322 DFA submissions, the pipeline produced 15,368 topic annotations supported by 20,951 verbatim evidence quotes. Three principles govern the proposed design: verbatim grounding, full traceability, and transparency by design. The dashboard exposes the full extraction dataset through five analytical views, from dataset-level topic overviews to individual paragraph drill-downs, with every result traceable to its source. Beyond the predefined DFA topic categories, the pipeline generated certain stakeholder concerns, such as Age Verification, Payment Processor Censorship, and Digital Ownership, that a fixed-taxonomy approach would have missed. The pipeline is domain-generic; adapting it to a new consultation requires only a prompt update and a new dataset. A live demo is available at https://dfa-dashboard.thalesbertaglia.com/. The code and processed data are publicly available at https://github.com/thalesbertaglia/dfa-dashboard.


翻译:公共咨询会产生大量利益相关方提交的数据,这些数据手动分析几乎不可行。我们提出了一套端到端的基于大语言模型的流水线和交互式仪表盘,用于从监管咨询提交中提取结构化主题,并以欧盟委员会《数字公平法案》公开征集证据作为案例研究进行演示。该系统处理原始PDF附件和网页表单回复,提取主题注释,并将每次提取结果定位到源文本中的逐字引用。应用于4,322份DFA提交后,该流水线生成了15,368条主题注释,并辅以20,951条逐字证据引用。所提出的设计遵循三项原则:逐字定位、完全可追溯性和透明性设计。仪表盘通过五个分析视图展示完整的提取数据集,从数据集级别的主题概览到单个段落细节钻取,每个结果均可追溯至其来源。除了预定义的DFA主题类别外,该流水线还生成了某些利益相关方关注点,例如年龄验证、支付处理器审查和数字所有权,这些是固定分类方法无法捕捉的。该流水线是领域通用的;将其应用于新的咨询只需更新提示词并输入新数据集。实时演示可在 https://dfa-dashboard.thalesbertaglia.com/ 获取。代码和处理后的数据已在 https://github.com/thalesbertaglia/dfa-dashboard 公开。

0
下载
关闭预览

相关内容

设计是对现有状的一种重新认识和打破重组的过程,设计让一切变得更美。
博士论文 | 把LLM推理看作统计决策
专知会员服务
15+阅读 · 7月13日
LLM/智能体作为数据分析师:综述
专知会员服务
38+阅读 · 2025年9月30日
推荐系统主流召回方法综述
AINLP
10+阅读 · 2020年7月16日
论文浅尝 | Global Relation Embedding for Relation Extraction
开放知识图谱
12+阅读 · 2019年3月3日
动态可视化指南:一步步拆解LSTM和GRU
论智
17+阅读 · 2018年10月25日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
7+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
VIP会员
最新内容
《无人地面战车(UGV)的崛起》报告
专知会员服务
5+阅读 · 7月16日
美陆军任务式指挥人工智能解决方案
专知会员服务
7+阅读 · 7月16日
相关VIP内容
博士论文 | 把LLM推理看作统计决策
专知会员服务
15+阅读 · 7月13日
LLM/智能体作为数据分析师:综述
专知会员服务
38+阅读 · 2025年9月30日
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
7+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员