Building upon the SALT benchmark for relational prediction (Klein et al., 2024), we introduce SALT-KG, a benchmark for semantics-aware learning on enterprise tables. SALT-KG extends SALT by linking its multi-table transactional data with a structured Operational Business Knowledge represented in a Metadata Knowledge Graph (OBKG) that captures field-level descriptions, relational dependencies, and business object types. This extension enables evaluation of models that jointly reason over tabular evidence and contextual semantics, an increasingly critical capability for foundation models on structured data. Empirical analysis reveals that while metadata-derived features yield modest improvements in classical prediction metrics, these metadata features consistently highlight gaps in the ability of models to leverage semantics in relational context. By reframing tabular prediction as semantics-conditioned reasoning, SALT-KG establishes a benchmark to advance tabular foundation models grounded in declarative knowledge, providing the first empirical step toward semantically linked tables in structured data at enterprise scale.


翻译:基于用于关系预测的SALT基准(Klein等人,2024),我们提出了SALT-KG,一个面向企业表格的语义感知学习基准。SALT-KG通过将其多表交易数据与一个结构化的运营业务知识(表示为元数据知识图谱,OBKG)进行关联,扩展了SALT基准。该知识图谱捕获了字段级描述、关系依赖以及业务对象类型。这一扩展使得能够评估那些同时基于表格证据和上下文语义进行联合推理的模型,这对于结构化数据上的基础模型而言是一项日益关键的能力。实证分析表明,虽然元数据衍生的特征在经典预测指标上带来了有限的改进,但这些元数据特征持续凸显了模型在关系上下文中利用语义的能力存在不足。通过将表格预测重新定义为语义条件推理,SALT-KG建立了一个基准,以推动基于声明性知识的表格基础模型的发展,为企业级结构化数据中实现语义关联表格迈出了第一步实证探索。

0
下载
关闭预览

相关内容

《用于代码弱点识别的 LLVM 中间表示》CMU
专知会员服务
14+阅读 · 2022年12月12日
ICLR'21 | GNN联邦学习的新基准
图与推荐
12+阅读 · 2021年11月15日
【NeurIPS2019】图变换网络:Graph Transformer Network
国家自然科学基金
18+阅读 · 2017年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
18+阅读 · 2017年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员