Reasoning over temporal knowledge graphs (TKGs) is fundamental to improving the efficiency and reliability of intelligent decision-making systems and has become a key technological foundation for future artificial intelligence applications. Despite recent progress, existing TKG reasoning models typically rely on large parameter sizes and intensive computation, leading to high hardware costs and energy consumption. These constraints hinder their deployment on resource-constrained, low-power, and distributed platforms that require real-time inference. Moreover, most existing model compression and distillation techniques are designed for static knowledge graphs and fail to adequately capture the temporal dependencies inherent in TKGs, often resulting in degraded reasoning performance. To address these challenges, we propose a distillation framework specifically tailored for temporal knowledge graph reasoning. Our approach leverages large language models as teacher models to guide the distillation process, enabling effective transfer of both structural and temporal reasoning capabilities to lightweight student models. By integrating large-scale public knowledge with task-specific temporal information, the proposed framework enhances the student model's ability to model temporal dynamics while maintaining a compact and efficient architecture. Extensive experiments on multiple publicly available benchmark datasets demonstrate that our method consistently outperforms strong baselines, achieving a favorable trade-off between reasoning accuracy, computational efficiency, and practical deployability.


翻译:时序知识图谱推理对于提升智能决策系统的效率与可靠性至关重要,已成为未来人工智能应用的关键技术基础。尽管近期研究取得进展,但现有时序知识图谱推理模型通常依赖庞大的参数量与密集计算,导致高昂的硬件成本与能耗。这些限制阻碍了其在需要实时推理的资源受限、低功耗及分布式平台上的部署。此外,现有模型压缩与蒸馏技术大多针对静态知识图谱设计,未能充分捕捉时序知识图谱固有的时间依赖性,往往导致推理性能下降。为应对这些挑战,本文提出一种专为时序知识图谱推理设计的蒸馏框架。该方法利用大语言模型作为教师模型指导蒸馏过程,将结构推理与时序推理能力有效迁移至轻量级学生模型。通过整合大规模公共知识与任务特定时序信息,所提框架在保持紧凑高效架构的同时,增强了学生模型对时序动态的建模能力。在多个公开基准数据集上的大量实验表明,本方法在推理精度、计算效率与实际可部署性之间取得了优越的平衡,性能持续超越现有强基线模型。

0
下载
关闭预览

相关内容

基于大语言模型的时序知识图谱推理模型蒸馏方法
专知会员服务
36+阅读 · 2025年1月10日
时序知识图谱表示与推理的研究进展与趋势
专知会员服务
33+阅读 · 2024年10月14日
「可解释知识图谱推理」最新方法综述
专知会员服务
89+阅读 · 2022年12月17日
【AAAI2023】基于历史对比学习的时序知识图谱推理
专知会员服务
34+阅读 · 2022年11月23日
时序知识图谱表示学习
专知会员服务
154+阅读 · 2022年9月17日
知识图谱推理研究综述
专知会员服务
195+阅读 · 2022年6月14日
专知会员服务
78+阅读 · 2021年7月23日
基于知识图谱的问答系统
PaperWeekly
21+阅读 · 2021年2月8日
基于图神经网络的知识图谱研究进展
AI科技评论
21+阅读 · 2020年8月31日
ADL108《知识图谱》开始报名了
中国计算机学会
14+阅读 · 2019年10月8日
【北大】知识图谱的关键技术及其智能应用
专知
112+阅读 · 2019年9月19日
如何独立实现一个基于知识图谱的问答系统
PaperWeekly
11+阅读 · 2019年6月13日
清华大学:人工智能之知识图谱(附PPT)
人工智能学家
73+阅读 · 2019年6月9日
【知识图谱】大规模知识图谱的构建、推理及应用
产业智能官
38+阅读 · 2017年9月12日
大规模知识图谱的构建、推理及应用
人工智能头条
15+阅读 · 2017年8月29日
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
23+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
25+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2012年12月31日
VIP会员
相关资讯
基于知识图谱的问答系统
PaperWeekly
21+阅读 · 2021年2月8日
基于图神经网络的知识图谱研究进展
AI科技评论
21+阅读 · 2020年8月31日
ADL108《知识图谱》开始报名了
中国计算机学会
14+阅读 · 2019年10月8日
【北大】知识图谱的关键技术及其智能应用
专知
112+阅读 · 2019年9月19日
如何独立实现一个基于知识图谱的问答系统
PaperWeekly
11+阅读 · 2019年6月13日
清华大学:人工智能之知识图谱(附PPT)
人工智能学家
73+阅读 · 2019年6月9日
【知识图谱】大规模知识图谱的构建、推理及应用
产业智能官
38+阅读 · 2017年9月12日
大规模知识图谱的构建、推理及应用
人工智能头条
15+阅读 · 2017年8月29日
相关基金
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
23+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
25+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2012年12月31日
Top
微信扫码咨询专知VIP会员