【伯克利】用于文本推理的神经模块网络,Neural Module Networks for Reasoning

2020 年 2 月 11 日 专知


简介:

回答需要针对文本进行推理的多个步骤的构想问题具有挑战性,尤其是当它们涉及离散的象征性操作时。神经模块网络(NMN)学习解析诸如由可学习模块组成的可执行程序之类的问题,它们在合成视觉质量检查域中表现良好。但是,我们发现在开放域文本中针对非合成问题学习这些模型具有挑战性,在这种模型中,模型需要处理自然语言的多样性并进行更广泛的推理。我们通过以下方式扩展NMN:(a)引入对一段文本进行推理的模块,以概率和可微分的方式对数字和日期执行符号推理(例如算术,排序,计数);(b)提出无监督的损失,以帮助提取与文本中的事件相关的参数。此外,我们显示出有限的启发式获得的问题程序和中间模块输出监督为准确学习提供了足够的归纳偏差。我们提出的模型大大优于DROP数据集的子集上的最新模型,后者构成了我们模块所涵盖的各种推理挑战。


地址:

https://www.zhuanzhi.ai/paper/563f99466769ca3ef66602432387ff7f



专知便捷查看

便捷下载,请关注专知公众号(点击上方蓝色专知关注)

  • 后台回复“NMNR” 就可以获取用于文本推理的神经模块网络,Neural Module Networks for Reasoning》专知下载链接

专知,专业可信的人工智能知识分发,让认知协作更快更好!欢迎注册登录专知www.zhuanzhi.ai,获取5000+AI主题干货知识资料!
欢迎微信扫一扫加入专知人工智能知识星球群,获取最新AI专业干货知识教程资料和与专家交流咨询
点击“ 阅读原文 ”,了解使用 专知 ,查看获取5000+AI主题知识资源
登录查看更多
6

相关内容

文本推理表示构造文本的某种表示,以便在这种表示之上,能够通过相应的计算获取句子的隐式涵义以及句间的隐式联系。在网络信息爆炸的今天,文本推理显得越来越重要,它已经成为文本理解、集聚分析、文摘生成、信息提取以及其他诸多自然语言处理应用的核心问题。
和积网络综述论文,Sum-product networks: A survey,24页pdf
专知会员服务
24+阅读 · 2020年4月3日
【初学者指南】神经网络中的数学
专知
33+阅读 · 2019年12月16日
新任务&数据集:视觉常识推理(VCR)
专知
50+阅读 · 2018年12月1日
论文浅尝 | 端到端神经视觉问答之上的显式推理
开放知识图谱
7+阅读 · 2018年6月28日
Neural Module Networks for Reasoning over Text
Arxiv
9+阅读 · 2019年12月10日
VIP会员
相关资讯
Top
微信扫码咨询专知VIP会员