The integration of Large Language Models (LLMs) and Graph Neural Networks (GNNs) promises to unify semantic understanding with structural reasoning, yet existing methods typically rely on static, unidirectional pipelines. These approaches suffer from fundamental limitations: (1) Bidirectional Error Propagation, where semantic hallucinations in LLMs or structural noise in GNNs permanently poison the downstream modality without opportunity for recourse; (2) Semantic-Structural Dissonance, particularly in heterophilous settings where textual similarity contradicts topological reality; (3) a Blind Leading the Blind phenomenon, where indiscriminate alignment forces models to mirror each other's mistakes regardless of uncertainty. To address these challenges, we propose CO-EVOLVE, a dual-view co-evolution framework that treats graph topology and semantic embeddings as dynamic, mutually reinforcing latent variables. By employing a Gauss-Seidel alternating optimization strategy, our framework establishes a cyclic feedback loop: the GNN injects structural context as Soft Prompts to guide the LLM, while the LLM constructs favorable Dynamic Semantic Graphs to rewire the GNN. We introduce three key innovations to stabilize this evolution: (1) a Hard-Structure Conflict-Aware Contrastive Loss that warps the semantic manifold to respect high-order topological boundaries; (2) an Adaptive Node Gating Mechanism that dynamically fuses static and learnable structures to recover missing links; (3) an Uncertainty-Gated Consistency strategy that enables meta-cognitive alignment, ensuring models only learn from the confident view. Finally, an Entropy-Aware Adaptive Fusion integrates predictions during inference. Extensive experiments on public benchmarks demonstrate that CO-EVOLVE significantly outperforms state-of-the-art baselines, achieving average improvements of 9.07% in Accuracy and 7.19% in F1-score.


翻译:摘要:大语言模型(LLMs)与图神经网络(GNNs)的融合旨在统一语义理解与结构推理,然而现有方法通常依赖静态单向流水线。此类方法存在根本性局限:(1)双向误差传播,即LLMs中的语义幻觉或GNNs中的结构噪声会永久污染下游模态,且无法补救;(2)语义-结构失谐,尤其在异配场景中文本相似性与拓扑现实相矛盾;(3)“盲人领盲人”现象,即无差别对齐迫使模型无视不确定性而相互镜像对方的错误。为应对这些挑战,我们提出CO-EVOLVE——一种双视图协同进化框架,将图拓扑与语义嵌入视为动态、相互增强的潜变量。通过采用高斯-赛德尔交替优化策略,该框架建立循环反馈机制:GNN注入结构上下文作为软提示(Soft Prompts)以引导LLM,而LLM构建有利的动态语义图(Dynamic Semantic Graphs)以重塑GNN。我们引入三项关键创新以稳定该进化过程:(1)硬结构冲突感知对比损失(Hard-Structure Conflict-Aware Contrastive Loss),通过扭曲语义流形以尊重高阶拓扑边界;(2)自适应节点门控机制(Adaptive Node Gating Mechanism),动态融合静态与可学习结构以恢复缺失链接;(3)不确定性门控一致性策略(Uncertainty-Gated Consistency),实现元认知对齐,确保模型仅从置信视图学习。最终,推理阶段采用熵感知自适应融合(Entropy-Aware Adaptive Fusion)整合预测。在公开基准上的广泛实验表明,CO-EVOLVE显著优于现有最优基线,准确率平均提升9.07%,F1分数平均提升7.19%。

0
下载
关闭预览

相关内容

迈向大语言模型偏好学习的统一视角综述
专知会员服务
24+阅读 · 2024年9月7日
论文浅尝 | GEOM-GCN: Geometric Graph Convolutional Networks
开放知识图谱
14+阅读 · 2020年4月8日
当深度强化学习遇见图神经网络
专知
227+阅读 · 2019年10月21日
【GNN】深度学习之上,图神经网络(GNN )崛起
产业智能官
16+阅读 · 2019年8月15日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
11+阅读 · 2012年12月31日
VIP会员
最新内容
重新思考无人机时代的生存能力
专知会员服务
4+阅读 · 今天7:44
装甲突击旅:现代战争思考、战斗与组织
专知会员服务
4+阅读 · 今天7:28
在人工智能加速决策环境中拓展OODA循环
专知会员服务
4+阅读 · 今天7:18
军事欺骗:供作战战术指挥官使用的工具
专知会员服务
4+阅读 · 今天7:03
综述 | 世界动作模型:少做梦,多行动
专知会员服务
5+阅读 · 6月23日
美以伊冲突:无人机与人工智能的运用
专知会员服务
10+阅读 · 6月23日
《特种部队在透明战场中的生存力》最新报告
专知会员服务
5+阅读 · 6月23日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
11+阅读 · 2012年12月31日
Top
微信扫码咨询专知VIP会员