Abductive reasoning starts from some observations and aims at finding the most plausible explanation for these observations. To perform abduction, humans often make use of temporal and causal inferences, and knowledge about how some hypothetical situation can result in different outcomes. This work offers the first study of how such knowledge impacts the Abductive NLI task -- which consists in choosing the more likely explanation for given observations. We train a specialized language model LMI that is tasked to generate what could happen next from a hypothetical scenario that evolves from a given event. We then propose a multi-task model MTL to solve the Abductive NLI task, which predicts a plausible explanation by a) considering different possible events emerging from candidate hypotheses -- events generated by LMI -- and b) selecting the one that is most similar to the observed outcome. We show that our MTL model improves over prior vanilla pre-trained LMs fine-tuned on Abductive NLI. Our manual evaluation and analysis suggest that learning about possible next events from different hypothetical scenarios supports abductive inference.


翻译:指向性推理从一些观察开始,目的是为这些观察找到最可信的解释。为了实施绑架,人类常常利用时间和因果推论,并了解某些假设情况如何会产生不同的结果。这项工作首次研究了这种知识如何影响Abdusing NLI的任务 -- -- 包括选择对特定观察的更可能的解释。我们训练了一个专门的语言模型LMI,任务是从从从某个特定事件演变的假设情景中产生接下来可能发生的情况。我们然后提出一个多任务MTL模型,以解决Abdusing NLI的任务,其中预测了一种合理的解释,即(a)考虑到从候选假设中产生的不同事件 -- -- LMI产生的事件 -- -- 和(b)选择与观察到的结果最相似的事件。我们显示我们的MTL模型比以前Villa 预先训练的LMS 微调了对Abdusing NLILI的VA改进。我们的人工评估和分析表明,从不同的假设情景中了解可能发生的下一个事件有助于诱拐性推断。

1
下载
关闭预览

相关内容

多任务学习(MTL)是机器学习的一个子领域,可以同时解决多个学习任务,同时利用各个任务之间的共性和差异。与单独训练模型相比,这可以提高特定任务模型的学习效率和预测准确性。多任务学习是归纳传递的一种方法,它通过将相关任务的训练信号中包含的域信息用作归纳偏差来提高泛化能力。通过使用共享表示形式并行学习任务来实现,每个任务所学的知识可以帮助更好地学习其它任务。
机器学习入门的经验与建议
专知会员服务
94+阅读 · 2019年10月10日
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
18+阅读 · 2019年1月7日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
Arxiv
18+阅读 · 2020年10月9日
Using Scene Graph Context to Improve Image Generation
Arxiv
4+阅读 · 2018年4月26日
Arxiv
3+阅读 · 2018年3月2日
VIP会员
相关资讯
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
18+阅读 · 2019年1月7日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
相关论文
Arxiv
18+阅读 · 2020年10月9日
Using Scene Graph Context to Improve Image Generation
Arxiv
4+阅读 · 2018年4月26日
Arxiv
3+阅读 · 2018年3月2日
Top
微信扫码咨询专知VIP会员