会员服务
ACL2022 · 远程监督 · 降噪技术 · 层级对比学习 · 信息交互 ·
2022 年 3 月 24 日
【ACL2022】一个用于远距监督关系抽取的层级对比学习框架, HiCLRE: A Hierarchical Contrastive Learning Framework for Distantly Supervised Relation Extraction
专知会员服务
专知会员服务
专知，提供专业可信的知识分发服务，让认知协作更快更好！
  • 远程程监督关系抽取假设任何包含相同实体对的句子都有着相同关系，该技术在快速扩充语料数据的同时不可避免地引入了噪声。传统的远程监督关系抽取任务通常只关注于句子级或包级（如图1中灰色箭头和红色叉所示）的降噪技术，而忽略了跨级别数据之间的信息交互（如图1中虚线箭头所示）。

  • 本文提出了一个基于分层对比学习的远程监督关系提取框架 (HiCLRE) 去处理全局的结构信息和局部的细粒度信息，如图2所示。HiCLRE分为两个模块：其一是多粒度语境重构，另一是动态梯度对抗扰动。其中多粒度语境重构模块利用多头自注意力集成了三个层级的跨级别信息，来生成综合的上下文表示。同时，动态梯度对抗扰动模块在同层内部利用基于对抗扰动的数据增强技术构建了伪样本后，又通过对比学习进行了进一步的降噪。

  • 在多个数据集上进行的实验结果表明，HiCLRE的两个模块对提升任务表现有很大帮助。相较于其他模型，HiCLRE在文中的各个度量指标上都表现良好且收敛迅速。多个消融实验也进一步佐证了模型各个模块的合理性。
成为VIP会员查看完整内容
【ACL2022】一个用于远距监督关系抽取的层级对比学习框架, HiCLRE: A Hierarchical Contrastive Learning Framework for Distantly Supervised Relation Extraction
15

相关内容

【AAAI 2022】用于文本摘要任务的序列级对比学习模型
【AAAI 2022】用于文本摘要任务的序列级对比学习模型
专知会员服务
25+阅读 · 2022年1月11日
近期必读的六篇 ICML 2020【元学习（Meta Learning）】相关论文
近期必读的六篇 ICML 2020【元学习（Meta Learning）】相关论文
专知会员服务
45+阅读 · 2020年9月25日
【ICML2020】基于贝叶斯元学习在关系图上进行小样本关系抽取
【ICML2020】基于贝叶斯元学习在关系图上进行小样本关系抽取
专知会员服务
38+阅读 · 2020年9月5日
【WWW 2020 】基于关系对抗网络的低资源知识图谱补全，Relation Adversarial Network for Low Resource Knowledge Graph Completion
【WWW 2020 】基于关系对抗网络的低资源知识图谱补全，Relation Adversarial Network for Low Resource Knowledge Graph Completion
专知会员服务
37+阅读 · 2020年6月7日
【论文推荐】层次知识图谱，Hierarchical Knowledge Graphs: A Novel Information Representation for Exploratory Search Tasks
【论文推荐】层次知识图谱，Hierarchical Knowledge Graphs: A Novel Information Representation for Exploratory Search Tasks
专知会员服务
49+阅读 · 2020年5月26日
【google】监督对比学习，Supervised Contrastive Learning
【google】监督对比学习，Supervised Contrastive Learning
专知会员服务
33+阅读 · 2020年4月23日
【ICLR 2020】 基于组合的多关系图卷积网络 Composition-Based Multi-Relational Graph Convolutional Networks
【ICLR 2020】 基于组合的多关系图卷积网络 Composition-Based Multi-Relational Graph Convolutional Networks
专知会员服务
108+阅读 · 2020年3月29日
【ACL2019】基于学习注意力机制的知识图谱中关系预测的嵌入 Learning Attention-based Embeddings for Relation Prediction in Knowledge Graphs
【ACL2019】基于学习注意力机制的知识图谱中关系预测的嵌入 Learning Attention-based Embeddings for Relation Prediction in Knowledge Graphs
专知会员服务
122+阅读 · 2020年3月29日
【AAAI2020】知识图谱的生成式对抗零样本关系学习，Generative Adversarial Zero-Shot Relational Learning for Knowledge Graphs
【AAAI2020】知识图谱的生成式对抗零样本关系学习，Generative Adversarial Zero-Shot Relational Learning for Knowledge Graphs
专知会员服务
64+阅读 · 2020年1月11日
【表示学习(Representation Learning)】8篇 NeurIPS 2019论文选读
专知会员服务
54+阅读 · 2019年12月22日
论文浅尝 | KGQR: 用于交互式推荐的知识图谱增强Q-learning框架
论文浅尝 | KGQR: 用于交互式推荐的知识图谱增强Q-learning框架
开放知识图谱
2+阅读 · 2022年2月13日
远程监督在关系抽取中的应用
远程监督在关系抽取中的应用
深度学习自然语言处理
12+阅读 · 2020年10月26日
论文浅尝 - ICML2020 | 通过关系图上的贝叶斯元学习进行少样本关系提取
论文浅尝 - ICML2020 | 通过关系图上的贝叶斯元学习进行少样本关系提取
开放知识图谱
16+阅读 · 2020年9月11日
【论文】Awesome Relation Extraction Paper（关系抽取）（PART V）
【论文】Awesome Relation Extraction Paper（关系抽取）（PART V）
AINLP
38+阅读 · 2019年9月3日
【论文】Awesome Relation Extraction Paper（关系抽取）（PART IV）
【论文】Awesome Relation Extraction Paper（关系抽取）（PART IV）
AINLP
15+阅读 · 2019年8月26日
【论文】Awesome Relation Extraction Paper（关系抽取）（PART III）
【论文】Awesome Relation Extraction Paper（关系抽取）（PART III）
AINLP
25+阅读 · 2019年8月21日
AAAI 2019 | 基于分层强化学习的关系抽取
AAAI 2019 | 基于分层强化学习的关系抽取
PaperWeekly
20+阅读 · 2019年3月27日
论文浅尝 | Global Relation Embedding for Relation Extraction
论文浅尝 | Global Relation Embedding for Relation Extraction
开放知识图谱
12+阅读 · 2019年3月3日
DSGAN：使用生成式对抗网络进行远距离监督关系抽取
DSGAN：使用生成式对抗网络进行远距离监督关系抽取
微信AI
98+阅读 · 2018年12月28日
论文浅尝 | Zero-Shot Transfer Learning for Event Extraction
论文浅尝 | Zero-Shot Transfer Learning for Event Extraction
开放知识图谱
26+阅读 · 2018年11月1日
多标记文本数据流分类方法研究
国家自然科学基金
3+阅读 · 2015年12月31日
基于张量模式的DTI数据模式分类及其分布式算法研究
国家自然科学基金
2+阅读 · 2015年12月31日
大规模格结构数据管理关键技术研究
国家自然科学基金
1+阅读 · 2014年12月31日
复杂场景下非合作目标鲁棒识别方法研究
国家自然科学基金
1+阅读 · 2014年12月31日
基于四叉树直方图的空间关系描述理论与机器人问路导航方法研究
国家自然科学基金
0+阅读 · 2013年12月31日
稀疏张量学习理论
国家自然科学基金
1+阅读 · 2012年12月31日
文本多粒度关系抽取半监督自适应学习的研究
国家自然科学基金
4+阅读 · 2012年12月31日
基于稳健统计的SAR图像配准方法研究
国家自然科学基金
0+阅读 · 2012年12月31日
基于MUAV平台的ARGIS扩展技术
国家自然科学基金
1+阅读 · 2009年12月31日
基于Surfacelet多尺度积的三维SAR图像去噪与分割
国家自然科学基金
0+阅读 · 2009年12月31日
Multi-view Graph Contrastive Representation Learning for Drug-Drug Interaction Prediction
Arxiv
26+阅读 · 2020年12月29日
Contrastive Transformation for Self-supervised Correspondence Learning
Contrastive Transformation for Self-supervised Correspondence Learning
Arxiv
13+阅读 · 2020年12月9日
DPGN: Distribution Propagation Graph Network for Few-shot Learning
Arxiv
12+阅读 · 2020年3月31日
Few-shot Learning: A Survey
Few-shot Learning: A Survey
Arxiv
363+阅读 · 2019年4月10日
Learning to Propagate Labels: Transductive Propagation Network for Few-shot Learning
Arxiv
21+阅读 · 2018年12月25日
Learning Embedding Adaptation for Few-Shot Learning
Learning Embedding Adaptation for Few-Shot Learning
Arxiv
17+阅读 · 2018年12月10日
DSGAN: Generative Adversarial Training for Distant Supervision Relation Extraction
Arxiv
15+阅读 · 2018年5月24日
Global Relation Embedding for Relation Extraction
Arxiv
10+阅读 · 2018年4月19日
EARL: Joint Entity and Relation Linking for Question Answering over Knowledge Graphs
Arxiv
21+阅读 · 2018年1月16日
Zero-Shot Transfer Learning for Event Extraction
Arxiv
10+阅读 · 2017年7月4日
VIP会员
相关主题
ACL2022
远程监督
降噪技术
层级对比学习
信息交互
最新内容
博士论文 | 面向大模型推理的内存高效算法
博士论文 | 面向大模型推理的内存高效算法
专知会员服务
2+阅读 · 7月27日
论文解读 | 从预训练到后训练：理解大模型推理能力如何形成
论文解读 | 从预训练到后训练：理解大模型推理能力如何形成
专知会员服务
3+阅读 · 7月27日
《无人系统互操作性导论——无人系统联合架构（JAUS）》
《无人系统互操作性导论——无人系统联合架构（JAUS）》
专知会员服务
10+阅读 · 7月27日
美空军新型反无人机部队初探
美空军新型反无人机部队初探
专知会员服务
7+阅读 · 7月27日
《对抗性电磁环境下远程巡飞弹作战的安全指挥与控制数据链》
《对抗性电磁环境下远程巡飞弹作战的安全指挥与控制数据链》
专知会员服务
6+阅读 · 7月27日
《北约下一代建模与仿真（NexGen M&S）计划》2026年69页
《北约下一代建模与仿真（NexGen M&S）计划》2026年69页
专知会员服务
4+阅读 · 7月27日
《防空交战流程的概率建模研究》
《防空交战流程的概率建模研究》
专知会员服务
10+阅读 · 7月27日
ICML 2026 教程 | 数值优化理论还重要吗？
ICML 2026 教程 | 数值优化理论还重要吗？
专知会员服务
6+阅读 · 7月26日
ICM 2026 | 陶哲轩：人工智能时代的数学
ICM 2026 | 陶哲轩：人工智能时代的数学
专知会员服务
9+阅读 · 7月26日
《面向可扩展高韧性无人机集群网络的速度感知分层通信框架》
《面向可扩展高韧性无人机集群网络的速度感知分层通信框架》
专知会员服务
8+阅读 · 7月26日
《面向概率推理的可定制战术引擎及其在军事任务规划中的应用》
《面向概率推理的可定制战术引擎及其在军事任务规划中的应用》
专知会员服务
11+阅读 · 7月26日
《先进防空系统选型战略框架：基于巴基斯坦的实证启示》
《先进防空系统选型战略框架：基于巴基斯坦的实证启示》
专知会员服务
8+阅读 · 7月26日
《反无人机交战场景下的战斗归零研究》
《反无人机交战场景下的战斗归零研究》
专知会员服务
7+阅读 · 7月26日
霍尔木兹与不对称作战时代：水雷、无人系统与海军力量的重新定义
霍尔木兹与不对称作战时代：水雷、无人系统与海军力量的重新定义
专知会员服务
4+阅读 · 7月26日
博士论文 | 用代码结构感知方法推进代码大模型
博士论文 | 用代码结构感知方法推进代码大模型
专知会员服务
6+阅读 · 7月25日
相关VIP内容
【AAAI 2022】用于文本摘要任务的序列级对比学习模型
【AAAI 2022】用于文本摘要任务的序列级对比学习模型
专知会员服务
25+阅读 · 2022年1月11日
近期必读的六篇 ICML 2020【元学习（Meta Learning）】相关论文
近期必读的六篇 ICML 2020【元学习（Meta Learning）】相关论文
专知会员服务
45+阅读 · 2020年9月25日
【ICML2020】基于贝叶斯元学习在关系图上进行小样本关系抽取
【ICML2020】基于贝叶斯元学习在关系图上进行小样本关系抽取
专知会员服务
38+阅读 · 2020年9月5日
【WWW 2020 】基于关系对抗网络的低资源知识图谱补全，Relation Adversarial Network for Low Resource Knowledge Graph Completion
【WWW 2020 】基于关系对抗网络的低资源知识图谱补全，Relation Adversarial Network for Low Resource Knowledge Graph Completion
专知会员服务
37+阅读 · 2020年6月7日
【论文推荐】层次知识图谱，Hierarchical Knowledge Graphs: A Novel Information Representation for Exploratory Search Tasks
【论文推荐】层次知识图谱，Hierarchical Knowledge Graphs: A Novel Information Representation for Exploratory Search Tasks
专知会员服务
49+阅读 · 2020年5月26日
【google】监督对比学习，Supervised Contrastive Learning
【google】监督对比学习，Supervised Contrastive Learning
专知会员服务
33+阅读 · 2020年4月23日
【ICLR 2020】 基于组合的多关系图卷积网络 Composition-Based Multi-Relational Graph Convolutional Networks
【ICLR 2020】 基于组合的多关系图卷积网络 Composition-Based Multi-Relational Graph Convolutional Networks
专知会员服务
108+阅读 · 2020年3月29日
【ACL2019】基于学习注意力机制的知识图谱中关系预测的嵌入 Learning Attention-based Embeddings for Relation Prediction in Knowledge Graphs
【ACL2019】基于学习注意力机制的知识图谱中关系预测的嵌入 Learning Attention-based Embeddings for Relation Prediction in Knowledge Graphs
专知会员服务
122+阅读 · 2020年3月29日
【AAAI2020】知识图谱的生成式对抗零样本关系学习，Generative Adversarial Zero-Shot Relational Learning for Knowledge Graphs
【AAAI2020】知识图谱的生成式对抗零样本关系学习，Generative Adversarial Zero-Shot Relational Learning for Knowledge Graphs
专知会员服务
64+阅读 · 2020年1月11日
【表示学习(Representation Learning)】8篇 NeurIPS 2019论文选读
专知会员服务
54+阅读 · 2019年12月22日
热门VIP内容
相关资讯
论文浅尝 | KGQR: 用于交互式推荐的知识图谱增强Q-learning框架
论文浅尝 | KGQR: 用于交互式推荐的知识图谱增强Q-learning框架
开放知识图谱
2+阅读 · 2022年2月13日
远程监督在关系抽取中的应用
远程监督在关系抽取中的应用
深度学习自然语言处理
12+阅读 · 2020年10月26日
论文浅尝 - ICML2020 | 通过关系图上的贝叶斯元学习进行少样本关系提取
论文浅尝 - ICML2020 | 通过关系图上的贝叶斯元学习进行少样本关系提取
开放知识图谱
16+阅读 · 2020年9月11日
【论文】Awesome Relation Extraction Paper（关系抽取）（PART V）
【论文】Awesome Relation Extraction Paper（关系抽取）（PART V）
AINLP
38+阅读 · 2019年9月3日
【论文】Awesome Relation Extraction Paper（关系抽取）（PART IV）
【论文】Awesome Relation Extraction Paper（关系抽取）（PART IV）
AINLP
15+阅读 · 2019年8月26日
【论文】Awesome Relation Extraction Paper（关系抽取）（PART III）
【论文】Awesome Relation Extraction Paper（关系抽取）（PART III）
AINLP
25+阅读 · 2019年8月21日
AAAI 2019 | 基于分层强化学习的关系抽取
AAAI 2019 | 基于分层强化学习的关系抽取
PaperWeekly
20+阅读 · 2019年3月27日
论文浅尝 | Global Relation Embedding for Relation Extraction
论文浅尝 | Global Relation Embedding for Relation Extraction
开放知识图谱
12+阅读 · 2019年3月3日
DSGAN：使用生成式对抗网络进行远距离监督关系抽取
DSGAN：使用生成式对抗网络进行远距离监督关系抽取
微信AI
98+阅读 · 2018年12月28日
论文浅尝 | Zero-Shot Transfer Learning for Event Extraction
论文浅尝 | Zero-Shot Transfer Learning for Event Extraction
开放知识图谱
26+阅读 · 2018年11月1日
相关基金
多标记文本数据流分类方法研究
国家自然科学基金
3+阅读 · 2015年12月31日
基于张量模式的DTI数据模式分类及其分布式算法研究
国家自然科学基金
2+阅读 · 2015年12月31日
大规模格结构数据管理关键技术研究
国家自然科学基金
1+阅读 · 2014年12月31日
复杂场景下非合作目标鲁棒识别方法研究
国家自然科学基金
1+阅读 · 2014年12月31日
基于四叉树直方图的空间关系描述理论与机器人问路导航方法研究
国家自然科学基金
0+阅读 · 2013年12月31日
稀疏张量学习理论
国家自然科学基金
1+阅读 · 2012年12月31日
文本多粒度关系抽取半监督自适应学习的研究
国家自然科学基金
4+阅读 · 2012年12月31日
基于稳健统计的SAR图像配准方法研究
国家自然科学基金
0+阅读 · 2012年12月31日
基于MUAV平台的ARGIS扩展技术
国家自然科学基金
1+阅读 · 2009年12月31日
基于Surfacelet多尺度积的三维SAR图像去噪与分割
国家自然科学基金
0+阅读 · 2009年12月31日
相关论文
Multi-view Graph Contrastive Representation Learning for Drug-Drug Interaction Prediction
Arxiv
26+阅读 · 2020年12月29日
Contrastive Transformation for Self-supervised Correspondence Learning
Contrastive Transformation for Self-supervised Correspondence Learning
Arxiv
13+阅读 · 2020年12月9日
DPGN: Distribution Propagation Graph Network for Few-shot Learning
Arxiv
12+阅读 · 2020年3月31日
Few-shot Learning: A Survey
Few-shot Learning: A Survey
Arxiv
363+阅读 · 2019年4月10日
Learning to Propagate Labels: Transductive Propagation Network for Few-shot Learning
Arxiv
21+阅读 · 2018年12月25日
Learning Embedding Adaptation for Few-Shot Learning
Learning Embedding Adaptation for Few-Shot Learning
Arxiv
17+阅读 · 2018年12月10日
DSGAN: Generative Adversarial Training for Distant Supervision Relation Extraction
Arxiv
15+阅读 · 2018年5月24日
Global Relation Embedding for Relation Extraction
Arxiv
10+阅读 · 2018年4月19日
EARL: Joint Entity and Relation Linking for Question Answering over Knowledge Graphs
Arxiv
21+阅读 · 2018年1月16日
Zero-Shot Transfer Learning for Event Extraction
Arxiv
10+阅读 · 2017年7月4日
微信扫码咨询专知VIP会员
Top