Distributional and neural approaches to natural language semantics have been built almost exclusively on conventional linear algebra: vectors, matrices, tensors, and the operations that accompany them. These methods have achieved remarkable empirical success, yet they face persistent structural limitations in compositional semantics, type sensitivity, and interpretability. I argue in this paper that geometric algebra (GA) -- specifically, Clifford algebras -- provides a mathematically superior foundation for semantic representation, and that a Functional Geometric Algebra (FGA) framework extends GA toward a typed, compositional semantics capable of supporting inference, transformation, and interpretability while retaining full compatibility with distributional learning and modern neural architectures. I develop the formal foundations, identify three core capabilities that GA provides and linear algebra does not, present a detailed worked example illustrating operator-level semantic contrasts, and show how GA-based operations already implicit in current transformer architectures can be made explicit and extended. The central claim is not merely increased dimensionality but increased structural organization: GA expands an $n$-dimensional embedding space into a $2^n$ multivector algebra where base semantic concepts and their higher-order interactions are represented within a single, principled algebraic framework.


翻译:分布语义和神经语义方法几乎完全建立在传统线性代数之上:向量、矩阵、张量及其伴随运算。这些方法取得了显著的实证成功,但在组合语义、类型敏感性和可解释性方面仍面临结构性局限。本文论证几何代数(GA)——特别是克利福德代数——为语义表示提供了数学上更优越的基础,而功能性几何代数(FGA)框架则将几何代数扩展为一种类型化、组合化的语义,能够在保持与分布学习和现代神经架构完全兼容的同时,支持推理、变换和可解释性。本文阐述了形式基础,指明了几何代数提供而线性代数所不具备的三种核心能力,呈现了一个详细的工作示例以说明算子级语义对比,并展示了当前Transformer架构中已隐含的基于几何代数的运算如何被显式化并加以扩展。核心论点并非仅仅是维度的增加,而是结构化组织的增强:几何代数将n维嵌入空间扩展为$2^n$维多向量代数,使基础语义概念及其高阶交互能够在一个统一的、有原则的代数框架内得以表示。

0
下载
关闭预览

相关内容

【干货书】Python代数和几何,429页pdf
专知会员服务
78+阅读 · 2023年1月8日
面向语义搜索的自然语言处理
专知会员服务
60+阅读 · 2021年12月18日
专知会员服务
81+阅读 · 2021年5月30日
专知会员服务
65+阅读 · 2021年4月11日
专知会员服务
78+阅读 · 2021年3月16日
【课程推荐】 深度学习中的几何(Geometry of Deep Learning)
专知会员服务
59+阅读 · 2019年11月10日
学会原创 | 自然语言的语义表示学习方法与应用
中国人工智能学会
11+阅读 · 2019年3月7日
【干货】​深度学习中的线性代数
专知
21+阅读 · 2018年3月30日
关系推理:基于表示学习和语义要素
计算机研究与发展
19+阅读 · 2017年8月22日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
8+阅读 · 2014年12月31日
Arxiv
0+阅读 · 4月28日
Arxiv
0+阅读 · 4月8日
Arxiv
0+阅读 · 3月25日
VIP会员
最新内容
重新思考无人机时代的生存能力
专知会员服务
2+阅读 · 今天7:44
装甲突击旅:现代战争思考、战斗与组织
专知会员服务
2+阅读 · 今天7:28
在人工智能加速决策环境中拓展OODA循环
专知会员服务
3+阅读 · 今天7:18
军事欺骗:供作战战术指挥官使用的工具
专知会员服务
3+阅读 · 今天7:03
综述 | 世界动作模型:少做梦,多行动
专知会员服务
5+阅读 · 6月23日
美以伊冲突:无人机与人工智能的运用
专知会员服务
10+阅读 · 6月23日
《特种部队在透明战场中的生存力》最新报告
专知会员服务
5+阅读 · 6月23日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
8+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员