Extractive rationales (i.e., subsets of input features) and natural language explanations (NLEs) are two predominant types of explanations for machine learning models. While NLEs can be more comprehensive than extractive rationales, machine-generated NLEs have been shown to fall short in terms of commonsense knowledge. In this paper, we show that commonsense knowledge can act as a bridge between extractive rationales and NLEs, rendering both types of explanations better. We introduce a self-rationalizing framework, called RExC, that (1) extracts rationales as most responsible features for the predictions, (2) expands the extractive rationales using commonsense resources, and (3) selects the best-suited commonsense knowledge to generate NLEs and give the final prediction. Our framework surpasses by a large margin the previous state-of-the-art in generating NLEs across five tasks in both natural language and vision-language understanding. Self-rationalization with commonsense also strongly improves the quality of the extractive rationale and task performances over the previous best performing models that also produce explanations.


翻译:抽取理由(即投入特征的子集)和自然语言解释(NLEs)是机器学习模式的两大主要解释类型。虽然机器产生的NLE可以比采掘理由更加全面,但机器产生的NLE在常识方面却证明不足。在本文中,我们表明,常识知识可以作为采掘理由和国家 LES之间的桥梁,使这两种解释都更好。我们引入了自合理化框架,称为RExC, 该框架(1) 将采掘理由作为预测的最负责任的特征,(2) 利用普通资源扩大采掘理由,(3) 选择最适合的普通智慧知识来产生NLE和作出最后预测。我们的框架大大超越了先前在天然语言和视觉语言理解方面产生NLECs的状态。与共同的自我合理化还大大改进了采掘理由和任务业绩的质量,而以往的最佳执行模式也提供了解释。

0
下载
关闭预览

相关内容

【EMNLP2020】自然语言生成,Neural Language Generation
专知会员服务
39+阅读 · 2020年11月20日
Keras François Chollet 《Deep Learning with Python 》, 386页pdf
专知会员服务
164+阅读 · 2019年10月12日
最新BERT相关论文清单,BERT-related Papers
专知会员服务
53+阅读 · 2019年9月29日
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
基于PyTorch/TorchText的自然语言处理库
专知
28+阅读 · 2019年4月22日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
18+阅读 · 2018年12月24日
视觉机械臂 visual-pushing-grasping
CreateAMind
3+阅读 · 2018年5月25日
条件GAN重大改进!cGANs with Projection Discriminator
CreateAMind
8+阅读 · 2018年2月7日
Capsule Networks解析
机器学习研究会
11+阅读 · 2017年11月12日
VIP会员
最新内容
ICML 2026 | CFPO:用反事实策略优化提升多模态推理
专知会员服务
1+阅读 · 今天14:45
综述 | 世界动作模型:少做梦,多行动
专知会员服务
1+阅读 · 今天14:43
美以伊冲突:无人机与人工智能的运用
专知会员服务
3+阅读 · 今天14:31
《特种部队在透明战场中的生存力》最新报告
专知会员服务
2+阅读 · 今天14:11
《人工智能生成的零日漏洞:对未来作战的影响》
综述 | 3D场景图:开放挑战与未来方向
专知会员服务
8+阅读 · 6月22日
21世纪的无人机战争
专知会员服务
4+阅读 · 6月22日
《量子技术的军事任务技术适配与利用》
专知会员服务
5+阅读 · 6月22日
相关VIP内容
【EMNLP2020】自然语言生成,Neural Language Generation
专知会员服务
39+阅读 · 2020年11月20日
Keras François Chollet 《Deep Learning with Python 》, 386页pdf
专知会员服务
164+阅读 · 2019年10月12日
最新BERT相关论文清单,BERT-related Papers
专知会员服务
53+阅读 · 2019年9月29日
相关资讯
Top
微信扫码咨询专知VIP会员