Natural language understanding (NLU) is integral to task-oriented dialog systems, but demands a considerable amount of annotated training data to increase the coverage of diverse utterances. In this study, we report the construction of a linguistic resource named FIAD (Financial Annotated Dataset) and its use to generate a Korean annotated training data for NLU in the banking customer service (CS) domain. By an empirical examination of a corpus of banking app reviews, we identified three linguistic patterns occurring in Korean request utterances: TOPIC (ENTITY, FEATURE), EVENT, and DISCOURSE MARKER. We represented them in LGGs (Local Grammar Graphs) to generate annotated data covering diverse intents and entities. To assess the practicality of the resource, we evaluate the performances of DIET-only (Intent: 0.91 /Topic [entity+feature]: 0.83), DIET+ HANBERT (I:0.94/T:0.85), DIET+ KoBERT (I:0.94/T:0.86), and DIET+ KorBERT (I:0.95/T:0.84) models trained on FIAD-generated data to extract various types of semantic items.


翻译:自然语言理解(NLU)是任务导向型对话系统的核心组成部分,但需要大量标注训练数据以提升对多样化话语的覆盖度。本研究报告了名为FIAD(金融标注数据集)的语言资源构建过程,及其在银行客服(CS)领域韩语NLU标注训练数据生成中的应用。通过对银行应用评论语料库的实证分析,我们识别出韩语请求语句中出现的三种语言模式:主题(实体、特征)、事件和话语标记。我们将这些模式用局部语法图(LGGs)表示,以生成覆盖多样意图和实体的标注数据。为评估该资源的实用性,我们分别测试了基于FIAD生成数据训练的DIET-only(意图:0.91 /主题[实体+特征]:0.83)、DIET+HANBERT(意图:0.94/主题:0.85)、DIET+KoBERT(意图:0.94/主题:0.86)及DIET+KorBERT(意图:0.95/主题:0.84)模型在提取各类语义项时的性能表现。

0
下载
关闭预览

相关内容

【博士论文】面向数据的语言生成模型研究
专知会员服务
24+阅读 · 2025年1月19日
自然语言生成技术及其在军事领域应用
专知会员服务
83+阅读 · 2023年1月6日
【港科大博士论文】高效迁移学习的低资源自然语言理解
专知会员服务
65+阅读 · 2021年5月29日
金融领域自然语言处理研究资源大列表
专知
13+阅读 · 2020年2月27日
自然语言生成资源列表
专知
17+阅读 · 2020年1月4日
什么是自然语言理解(NLU)?及2019最新进展
产品100干货速递
17+阅读 · 2019年7月18日
一文看懂自然语言理解(NLU)
AINLP
26+阅读 · 2019年4月27日
基于 rasa 搭建中文对话系统 | 公开课
AI研习社
16+阅读 · 2018年1月12日
用Rasa NLU构建自己的中文NLU系统
待字闺中
18+阅读 · 2017年9月18日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
8+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
Arxiv
0+阅读 · 6月9日
VIP会员
最新内容
战争不仅需要机器人:人类仍不可或缺
专知会员服务
5+阅读 · 9月21日
《描绘美国防部创新基础设施的未来蓝图》100页
相关VIP内容
【博士论文】面向数据的语言生成模型研究
专知会员服务
24+阅读 · 2025年1月19日
自然语言生成技术及其在军事领域应用
专知会员服务
83+阅读 · 2023年1月6日
【港科大博士论文】高效迁移学习的低资源自然语言理解
专知会员服务
65+阅读 · 2021年5月29日
相关资讯
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
8+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员