Detection of semantic contradictory sentences is one of the most challenging and fundamental issues for NLP applications such as recognition of textual entailments. Contradiction in this study includes different types of semantic confrontation, such as conflict and antonymy. Due to lack of sufficient data to apply precise machine learning and specifically deep learning methods to Persian and other low resource languages, rule-based approaches that can function similarly to these systems will be of a great interest. Also recently, emergence of new methods such as transfer learning, has opened up the possibility of deep learning for low-resource languages. Considering two above points, in this study, along with a simple rule-base baseline, a novel rule-base system for identifying semantic contradiction along with a Bert base deep contradiction detection system for Persian texts have been introduced. The rule base system has used frequent rule mining method to extract appropriate contradiction rules using a development set. Extracted rules are tested for different categories of contradictory sentences. In this system the maximum f-measure among contradiction categories is obtained for negation about 90% and the average F-measure of system for all classes is about 76% which outperforms other algorithms on Persian texts. On the other hand, because of medium performance of rule base system for some categories of contradiction, we use a Bert base deep learning system using our translated dataset; with average F-measure of 73. Our hybrid system has f-measure of about 80.


翻译:检测语义自相矛盾的句子,是NLP应用中最具有挑战性和根本性的问题之一,例如承认文本的必然结果。本研究的矛盾包括不同类型的语义对抗,例如冲突和反调。由于缺乏足够的数据,无法对波斯语和其他低资源语言应用精确的机器学习,特别是深层次的学习方法,因此,与这些体系相似的基于规则的方法将引起极大的兴趣。此外,最近出现了新的方法,例如转移学习,为低资源语言的深层次学习开辟了可能性。考虑到以上两点,本研究中的上述两点,加上简单的规则基线,采用了一种新的规则基础系统,用以识别语义上的矛盾,同时对波斯文本采用伯特基础的深刻矛盾探测系统。由于规则基础系统经常使用规则采矿方法,利用一套开发集来找出适当的矛盾规则。抽取的规则为不同类别的自相矛盾的句子进行了测试。在这个系统中,为否定大约90%的自相矛盾的类别规定了最高法度,而所有类别的系统的平均F度测量法度是大约76 %,这种系统超越了我们平均波斯文本的系统,而我们用普通的法底的法系,因为我们用了一个基础学习了我们的标准。

0
下载
关闭预览

相关内容

专知会员服务
90+阅读 · 2021年6月29日
【Google】监督对比学习,Supervised Contrastive Learning
专知会员服务
75+阅读 · 2020年4月24日
[综述]深度学习下的场景文本检测与识别
专知会员服务
78+阅读 · 2019年10月10日
【SIGGRAPH2019】TensorFlow 2.0深度学习计算机图形学应用
专知会员服务
41+阅读 · 2019年10月9日
已删除
将门创投
6+阅读 · 2019年4月10日
Arxiv
0+阅读 · 2021年9月6日
Arxiv
0+阅读 · 2021年9月6日
Arxiv
20+阅读 · 2020年6月8日
Zero-Shot Object Detection
Arxiv
9+阅读 · 2018年7月27日
VIP会员
最新内容
2025年大语言模型进展报告
专知会员服务
1+阅读 · 今天13:30
多智能体协作机制
专知会员服务
1+阅读 · 今天13:26
非对称优势:美海军开发低成本反无人机技术
专知会员服务
4+阅读 · 今天4:39
《美战争部小企业创新研究(SBIR)计划》
专知会员服务
6+阅读 · 今天2:48
《军事模拟:将军事条令与目标融入AI智能体》
专知会员服务
9+阅读 · 今天2:43
【NTU博士论文】3D人体动作生成
专知会员服务
7+阅读 · 4月24日
以色列军事技术对美国军力发展的持续性赋能
专知会员服务
8+阅读 · 4月24日
《深度强化学习在兵棋推演中的应用》40页报告
专知会员服务
14+阅读 · 4月24日
《多域作战面临复杂现实》
专知会员服务
10+阅读 · 4月24日
《印度的多域作战:条令与能力发展》报告
专知会员服务
5+阅读 · 4月24日
相关资讯
已删除
将门创投
6+阅读 · 2019年4月10日
Top
微信扫码咨询专知VIP会员