Multilingual topic models enable document analysis across languages through coherent multilingual summaries of the data. However, there is no standard and effective metric to evaluate the quality of multilingual topics. We introduce a new intrinsic evaluation of multilingual topic models that correlates well with human judgments of multilingual topic coherence as well as performance in downstream applications. Importantly, we also study evaluation for low-resource languages. Because standard metrics fail to accurately measure topic quality when robust external resources are unavailable, we propose an adaptation model that improves the accuracy and reliability of these metrics in low-resource settings.


翻译:多语文专题模型能够通过连贯的多语种数据摘要进行不同语文的文件分析,然而,没有标准和有效的衡量标准来评价多语种专题的质量。我们引入了对多语种专题模型的新的内在评价,这种评价与人类对多语种专题一致性的判断以及下游应用的绩效密切相关。重要的是,我们还研究低资源语言的评价。由于标准指标在缺乏强有力的外部资源时无法准确衡量专题质量,我们提出了一个适应模型,以提高这些指标在低资源环境中的准确性和可靠性。

4
下载
关闭预览

相关内容

100+篇《自监督学习(Self-Supervised Learning)》论文最新合集
专知会员服务
167+阅读 · 2020年3月18日
强化学习最新教程,17页pdf
专知会员服务
182+阅读 · 2019年10月11日
机器学习入门的经验与建议
专知会员服务
94+阅读 · 2019年10月10日
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
Unsupervised Learning via Meta-Learning
CreateAMind
44+阅读 · 2019年1月3日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
Arxiv
4+阅读 · 2019年9月26日
Arxiv
7+阅读 · 2018年3月21日
Arxiv
3+阅读 · 2017年12月18日
VIP会员
相关VIP内容
100+篇《自监督学习(Self-Supervised Learning)》论文最新合集
专知会员服务
167+阅读 · 2020年3月18日
强化学习最新教程,17页pdf
专知会员服务
182+阅读 · 2019年10月11日
机器学习入门的经验与建议
专知会员服务
94+阅读 · 2019年10月10日
相关论文
Arxiv
4+阅读 · 2019年9月26日
Arxiv
7+阅读 · 2018年3月21日
Arxiv
3+阅读 · 2017年12月18日
Top
微信扫码咨询专知VIP会员