We propose AutoQA, a methodology and toolkit to generate semantic parsers that answer questions on databases, with no manual effort. Given a database schema and its data, AutoQA automatically generates a large set of high-quality questions for training that covers different database operations. It uses automatic paraphrasing combined with template-based parsing to find alternative expressions of an attribute in different parts of speech. It also uses a novel filtered auto-paraphraser to generate correct paraphrases of entire sentences. We apply AutoQA to the Schema2QA dataset and obtain an average logical form accuracy of 62.9% when tested on natural questions, which is only 6.4% lower than a model trained with expert natural language annotations and paraphrase data collected from crowdworkers. To demonstrate the generality of AutoQA, we also apply it to the Overnight dataset. AutoQA achieves 69.8% answer accuracy, 16.4% higher than the state-of-the-art zero-shot models and only 5.2% lower than the same model trained with human data.


翻译:我们建议AutoQA, 这是一种方法和工具包, 用于生成解析器, 解答数据库中的问题, 无需人工操作。 根据数据库的系统图及其数据, AutoQA 自动生成一系列高质量的培训问题, 包括不同的数据库操作。 它与基于模板的解析相结合, 并使用自动解析, 在不同部分的语音中找到属性的替代表达方式 。 它还使用新颖的过滤式自动解析器, 来生成整个句子的正确解说 。 我们在Schema2QA 数据集中应用 AutoQA, 在对自然问题进行测试时, 获得62.9%的平均逻辑格式准确度为62.9%, 这比用专家自然语言说明和从众工那里收集的解说数据培训的模型低6.4% 。 为了显示 AutoQA 的一般性, 我们还将它应用到过夜数据集 。 自动QA 达到69.8% 的回答准确度, 比最新零发模型高16.4%, 仅比受人类数据培训的同一模型低5.2% 。

0
下载
关闭预览

相关内容

机器学习系统设计系统评估标准
专知会员服务
36+阅读 · 2020年11月29日
FlowQA: Grasping Flow in History for Conversational Machine Comprehension
专知会员服务
35+阅读 · 2019年10月18日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
条件GAN重大改进!cGANs with Projection Discriminator
CreateAMind
8+阅读 · 2018年2月7日
已删除
将门创投
9+阅读 · 2017年10月17日
揭开知识库问答KB-QA的面纱3·向量建模篇
PaperWeekly
8+阅读 · 2017年8月23日
揭开知识库问答KB-QA的面纱2·语义解析篇
PaperWeekly
4+阅读 · 2017年8月11日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
揭开知识库问答KB-QA的面纱1·简介篇
PaperWeekly
6+阅读 · 2017年8月3日
Arxiv
3+阅读 · 2019年3月1日
Symbolic Priors for RNN-based Semantic Parsing
Arxiv
3+阅读 · 2018年9月20日
VIP会员
最新内容
世界模型入门:从序贯决策到通用智能体
专知会员服务
0+阅读 · 今天15:30
军事域更好使用人工智能的实用指南
专知会员服务
8+阅读 · 10月22日
《衡量语言模型中的作战规划能力》
专知会员服务
13+阅读 · 10月20日
Maven智能系统:帕兰提尔军事人工智能平台详解
专知会员服务
15+阅读 · 10月20日
《测试自动化框架在敏捷软件开发中的角色》
专知会员服务
8+阅读 · 10月20日
俄罗斯如何拦截乌克兰无人机与巡航导弹
专知会员服务
12+阅读 · 10月15日
《武器-目标分配问题:精确与近似求解算法》
专知会员服务
16+阅读 · 10月15日
相关VIP内容
专知会员服务
36+阅读 · 2020年11月29日
FlowQA: Grasping Flow in History for Conversational Machine Comprehension
专知会员服务
35+阅读 · 2019年10月18日
相关资讯
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
条件GAN重大改进!cGANs with Projection Discriminator
CreateAMind
8+阅读 · 2018年2月7日
已删除
将门创投
9+阅读 · 2017年10月17日
揭开知识库问答KB-QA的面纱3·向量建模篇
PaperWeekly
8+阅读 · 2017年8月23日
揭开知识库问答KB-QA的面纱2·语义解析篇
PaperWeekly
4+阅读 · 2017年8月11日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
揭开知识库问答KB-QA的面纱1·简介篇
PaperWeekly
6+阅读 · 2017年8月3日
Top
微信扫码咨询专知VIP会员