Distributional and neural approaches to natural language semantics have been built almost exclusively on conventional linear algebra: vectors, matrices, tensors, and the operations that accompany them. These methods have achieved remarkable empirical success, yet they face persistent structural limitations in compositional semantics, type sensitivity, and interpretability. I argue in this paper that geometric algebra (GA) -- specifically, Clifford algebras -- provides a mathematically superior foundation for semantic representation, and that a Functional Geometric Algebra (FGA) framework extends GA toward a typed, compositional semantics capable of supporting inference, transformation, and interpretability while retaining full compatibility with distributional learning and modern neural architectures. I develop the formal foundations, identify three core capabilities that GA provides and linear algebra does not, present a detailed worked example illustrating operator-level semantic contrasts, and show how GA-based operations already implicit in current transformer architectures can be made explicit and extended. The central claim is not merely increased dimensionality but increased structural organization: GA expands an $n$-dimensional embedding space into a $2^n$ multivector algebra where base semantic concepts and their higher-order interactions are represented within a single, principled algebraic framework.


翻译:分布语义和神经语义方法几乎完全建立在传统线性代数之上:向量、矩阵、张量及其伴随运算。这些方法取得了显著的实证成功,但在组合语义、类型敏感性和可解释性方面仍面临结构性局限。本文论证几何代数(GA)——特别是克利福德代数——为语义表示提供了数学上更优越的基础,而功能性几何代数(FGA)框架则将几何代数扩展为一种类型化、组合化的语义,能够在保持与分布学习和现代神经架构完全兼容的同时,支持推理、变换和可解释性。本文阐述了形式基础,指明了几何代数提供而线性代数所不具备的三种核心能力,呈现了一个详细的工作示例以说明算子级语义对比,并展示了当前Transformer架构中已隐含的基于几何代数的运算如何被显式化并加以扩展。核心论点并非仅仅是维度的增加,而是结构化组织的增强:几何代数将n维嵌入空间扩展为$2^n$维多向量代数,使基础语义概念及其高阶交互能够在一个统一的、有原则的代数框架内得以表示。

0
下载
关闭预览

相关内容

【干货书】Python代数和几何,429页pdf
专知会员服务
78+阅读 · 2023年1月8日
面向语义搜索的自然语言处理
专知会员服务
60+阅读 · 2021年12月18日
专知会员服务
81+阅读 · 2021年5月30日
专知会员服务
65+阅读 · 2021年4月11日
专知会员服务
79+阅读 · 2021年3月16日
【课程推荐】 深度学习中的几何(Geometry of Deep Learning)
专知会员服务
59+阅读 · 2019年11月10日
学会原创 | 自然语言的语义表示学习方法与应用
中国人工智能学会
11+阅读 · 2019年3月7日
【干货】​深度学习中的线性代数
专知
21+阅读 · 2018年3月30日
关系推理:基于表示学习和语义要素
计算机研究与发展
19+阅读 · 2017年8月22日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
8+阅读 · 2014年12月31日
Arxiv
0+阅读 · 4月28日
Arxiv
0+阅读 · 4月8日
Arxiv
0+阅读 · 3月25日
VIP会员
最新内容
反制无人机:乌克兰提供的五点启示
专知会员服务
4+阅读 · 9月23日
《各指挥层级均亟需红队能力》报告
专知会员服务
5+阅读 · 9月23日
《航电任务系统框架(FAMOS)》50页报告
专知会员服务
4+阅读 · 9月22日
《对抗行动中的人工智能与自主性》智库报告
专知会员服务
7+阅读 · 9月22日
《从数据到胜利:战争中的分析优势之争》
专知会员服务
10+阅读 · 9月22日
战争不仅需要机器人:人类仍不可或缺
专知会员服务
5+阅读 · 9月21日
《描绘美国防部创新基础设施的未来蓝图》100页
专知会员服务
10+阅读 · 9月21日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
8+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员