Rhyme is deceptively intuitive: what is or is not a rhyme is constructed historically, scholars struggle with rhyme classification, and people disagree on whether two words are rhymed or not. This complicates automated rhymed recognition and evaluation, especially in multilingual context. This article investigates how much training data is needed for reliable unsupervised rhyme recognition using RhymeTagger, a language-independent tool that identifies rhymes based on repeating patterns in poetry corpora. We evaluate its performance across seven languages (Czech, German, English, French, Italian, Russian, and Slovene), examining how training size and language differences affect accuracy. To set a realistic performance benchmark, we assess inter-annotator agreement on a manually annotated subset of poems and analyze factors contributing to disagreement in expert annotations: phonetic similarity between rhyming words and their distance from each other in a poem. We also compare RhymeTagger to three large language models using a one-shot learning strategy. Our findings show that, once provided with sufficient training data, RhymeTagger consistently outperforms human agreement, while LLMs lacking phonetic representation significantly struggle with the task.


翻译:押韵具有一种令人迷惑的直觉性:什么构成押韵或不构成押韵是历史建构的结果,学者们对押韵分类存在分歧,而人们对于两个词是否押韵也常有不同看法。这给自动化押韵识别和评估带来了复杂性,尤其是在多语言语境下。本文探究了使用RhymeTagger(一种基于诗歌语料库中重复模式识别押韵的语言无关工具)进行可靠的无监督押韵识别需要多少训练数据。我们评估了该工具在七种语言(捷克语、德语、英语、法语、意大利语、俄语和斯洛文尼亚语)上的表现,考察了训练数据规模与语言差异对准确性的影响。为设定一个实际的性能基准,我们在一个手工标注的诗歌子集上评估了标注者之间的一致性,并分析了导致专家标注不一致的因素:押韵词之间的语音相似性以及它们在诗歌中的相互距离。我们还采用单样本学习策略,将RhymeTagger与三种大型语言模型进行了比较。研究结果表明,一旦提供足够的训练数据,RhymeTagger的表现始终优于人类一致性,而缺乏语音表征的大型语言模型在这一任务上则明显表现不佳。

0
下载
关闭预览

相关内容

大语言模型训练数据
专知会员服务
72+阅读 · 2024年11月22日
中文预训练模型研究进展
专知会员服务
79+阅读 · 2022年7月21日
视觉识别的无监督域适应研究综述
专知会员服务
32+阅读 · 2021年12月17日
TextCNN大牛Kim《深度无监督学习句法结构分析》,88页ppt
专知会员服务
29+阅读 · 2021年1月13日
小样本学习(Few-shot Learning)综述
云栖社区
22+阅读 · 2019年4月6日
实战经验分享-少量数据NLP场景下进行深度学习训练的建议
论文浅尝 | Zero-Shot Transfer Learning for Event Extraction
开放知识图谱
26+阅读 · 2018年11月1日
《pyramid Attention Network for Semantic Segmentation》
统计学习与视觉计算组
44+阅读 · 2018年8月30日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
11+阅读 · 2012年12月31日
VIP会员
最新内容
超越网格:作战环境对炮兵的影响
专知会员服务
2+阅读 · 5月31日
BES:让语言模型通过双向进化搜索自我改进
专知会员服务
6+阅读 · 5月30日
以色列-美国-伊朗战争中的无人机:关键要点
专知会员服务
7+阅读 · 5月30日
《Palantir任务保障性软件安全标准(MA-S2)》
专知会员服务
19+阅读 · 5月30日
基于声学的无人机检测技术综述
专知会员服务
11+阅读 · 5月30日
《当代混合战争分析框架:俄乌战争经验教训》
专知会员服务
10+阅读 · 5月30日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
11+阅读 · 2012年12月31日
Top
微信扫码咨询专知VIP会员