Reasoning over temporal knowledge graphs (TKGs) is fundamental to improving the efficiency and reliability of intelligent decision-making systems and has become a key technological foundation for future artificial intelligence applications. Despite recent progress, existing TKG reasoning models typically rely on large parameter sizes and intensive computation, leading to high hardware costs and energy consumption. These constraints hinder their deployment on resource-constrained, low-power, and distributed platforms that require real-time inference. Moreover, most existing model compression and distillation techniques are designed for static knowledge graphs and fail to adequately capture the temporal dependencies inherent in TKGs, often resulting in degraded reasoning performance. To address these challenges, we propose a distillation framework specifically tailored for temporal knowledge graph reasoning. Our approach leverages large language models as teacher models to guide the distillation process, enabling effective transfer of both structural and temporal reasoning capabilities to lightweight student models. By integrating large-scale public knowledge with task-specific temporal information, the proposed framework enhances the student model's ability to model temporal dynamics while maintaining a compact and efficient architecture. Extensive experiments on multiple publicly available benchmark datasets demonstrate that our method consistently outperforms strong baselines, achieving a favorable trade-off between reasoning accuracy, computational efficiency, and practical deployability.


翻译:时序知识图谱推理对于提升智能决策系统的效率与可靠性至关重要,已成为未来人工智能应用的关键技术基础。尽管近期研究取得进展,但现有时序知识图谱推理模型通常依赖庞大的参数量与密集计算,导致高昂的硬件成本与能耗。这些限制阻碍了其在需要实时推理的资源受限、低功耗及分布式平台上的部署。此外,现有模型压缩与蒸馏技术大多针对静态知识图谱设计,未能充分捕捉时序知识图谱固有的时间依赖性,往往导致推理性能下降。为应对这些挑战,本文提出一种专为时序知识图谱推理设计的蒸馏框架。该方法利用大语言模型作为教师模型指导蒸馏过程,将结构推理与时序推理能力有效迁移至轻量级学生模型。通过整合大规模公共知识与任务特定时序信息,所提框架在保持紧凑高效架构的同时,增强了学生模型对时序动态的建模能力。在多个公开基准数据集上的大量实验表明,本方法在推理精度、计算效率与实际可部署性之间取得了优越的平衡,性能持续超越现有强基线模型。

0
下载
关闭预览

相关内容

【AAAI2023】基于Dirichlet元模型的事后不确定性学习
专知会员服务
16+阅读 · 2022年12月16日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
16+阅读 · 2013年12月31日
VIP会员
相关基金
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
16+阅读 · 2013年12月31日
Top
微信扫码咨询专知VIP会员