Economic narrative indices are predominantly English-centric; 84% of sentiment-based forecasting research focuses on developed economies. We present BENI Global 10, the first multilingual economic news corpus spanning 10 languages across 7 language families and 5 economic regions: Bangla (Bangladesh), Hindi (India), Turkish (Turkey), Indonesian (Indonesia), Portuguese (Brazil), Arabic (Egypt), Vietnamese (Vietnam), Filipino (Philippines), Swahili (Kenya), and Urdu (Pakistan). The corpus contains 522,397 economically relevant articles filtered from 2.8M raw documents using 25-32 translated keywords per language. We provide: (1) a reproducible streaming pipeline with checkpoint-resume for low-resource environments, (2) per-language schema-normalized Parquet files with economic relevance labels, (3) a temporally synced cross-lingual index covering 2018-2024, and (4) comparative analysis revealing systematic differences in how economic narratives are framed across Global South regions. Inter-annotator agreement reaches kappa > 0.70 across all languages. The complete dataset, code, and annotation guidelines are publicly released for research use.


翻译:经济叙事指数主要集中于英语,84%基于情感预测的研究聚焦于发达经济体。我们提出BENI Global 10,这是首个覆盖7个语系、5个经济区域中10种语言的多语言经济新闻语料库:孟加拉语(孟加拉国)、印地语(印度)、土耳其语(土耳其)、印度尼西亚语(印度尼西亚)、葡萄牙语(巴西)、阿拉伯语(埃及)、越南语(越南)、菲律宾语(菲律宾)、斯瓦希里语(肯尼亚)和乌尔都语(巴基斯坦)。该语料库从280万份原始文档中通过每语言25-32个翻译关键词筛选出522,397篇经济相关文章。我们提供:(1)面向低资源环境的带断点续传的可复制流式处理管线;(2)含经济相关性标签的每语言模式归一化Parquet文件;(3)覆盖2018-2024年的时间同步跨语言索引;(4)揭示南半球地区经济叙事框架系统性差异的对比分析。所有语言的标注者间一致性均达到kappa>0.70。完整数据集、代码及标注指南已公开供研究使用。

0
下载
关闭预览

相关内容

《大语言模型与经济学》宾夕法尼亚大学Jesus ,113页ppt
专知会员服务
32+阅读 · 2023年9月6日
专知会员服务
41+阅读 · 2021年9月17日
【综述论文】2020年最新深度学习自然语言处理进展综述论文!!!
深度学习自然语言处理
13+阅读 · 2020年4月6日
金融领域自然语言处理研究资源大列表
专知
13+阅读 · 2020年2月27日
中文NLP福利!大规模中文自然语言处理语料
新智元
37+阅读 · 2019年2月13日
一份超全的NLP语料资源集合及其构建现状
七月在线实验室
33+阅读 · 2019年1月16日
资源 | 中文NLP资源库
机器学习算法与Python学习
21+阅读 · 2018年11月22日
NLP圣经《自然语言处理综述》2018最新版推荐
深度学习与NLP
16+阅读 · 2018年9月26日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
8+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
VIP会员
最新内容
学习数据的几何:形状空间分析数学综述
专知会员服务
7+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
7+阅读 · 6月17日
从燃煤战舰到算法战争:水面指挥的永恒要求
专知会员服务
5+阅读 · 6月17日
相关VIP内容
相关资讯
【综述论文】2020年最新深度学习自然语言处理进展综述论文!!!
深度学习自然语言处理
13+阅读 · 2020年4月6日
金融领域自然语言处理研究资源大列表
专知
13+阅读 · 2020年2月27日
中文NLP福利!大规模中文自然语言处理语料
新智元
37+阅读 · 2019年2月13日
一份超全的NLP语料资源集合及其构建现状
七月在线实验室
33+阅读 · 2019年1月16日
资源 | 中文NLP资源库
机器学习算法与Python学习
21+阅读 · 2018年11月22日
NLP圣经《自然语言处理综述》2018最新版推荐
深度学习与NLP
16+阅读 · 2018年9月26日
相关基金
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
8+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员