A complete answer to the question about subspaces generated by $\{\pm 1\}$-vectors, which arose in the work of I.Kanter and H.Sompolinsky on associative memories, is given. More precisely, let vectors $v_1, \ldots , v_p,$ $p\leq n-1,$ be chosen at random uniformly and independently from $\{\pm 1\}^n \subset {\bf R}^n.$ Then the probability ${\mathbb P}(p, n)$ that $$span \ \langle v_1, \ldots , v_p \rangle \cap \left\{ \{\pm 1\}^n \setminus \{\pm v_1, \ldots , \pm v_p\}\right\} \ne \emptyset \ $$ is shown to be $$4{p \choose 3}\left(\frac{3}{4}\right)^n + O\left(\left(\frac{5}{8} + o_n(1)\right)^n\right) \quad \mbox{as} \quad n\to \infty,$$ where the constant implied by the $O$-notation does not depend on $p$. The main term in this estimate is the probability that some 3 vectors $v_{j_1}, v_{j_2}, v_{j_3}$ of $v_j$, $j= 1, \ldots , p,$ have a linear combination that is a $\{\pm 1\}$-vector different from $\pm v_{j_1}, \pm v_{j_2}, \pm v_{j_3}. $


翻译:本文给出了关于由$\{\pm 1\}$-向量生成的子空间问题的完整解答,该问题源于I.Kanter和H.Sompolinsky在联想记忆领域的研究工作。具体而言,设向量$v_1, \ldots , v_p,$ $p\leq n-1,$ 是从$\{\pm 1\}^n \subset {\bf R}^n$中均匀且独立随机选取的。则概率${\mathbb P}(p, n)$,即$$span \ \langle v_1, \ldots , v_p \rangle \cap \left\{ \{\pm 1\}^n \setminus \{\pm v_1, \ldots , \pm v_p\}\right\} \ne \emptyset \ $$被证明为$$4{p \choose 3}\left(\frac{3}{4}\right)^n + O\left(\left(\frac{5}{8} + o_n(1)\right)^n\right) \quad \mbox{当} \quad n\to \infty,$$其中$O$-记号所隐含的常数不依赖于$p$。该估计中的主项表示概率:存在$v_j$, $j= 1, \ldots , p,$ 中的3个向量$v_{j_1}, v_{j_2}, v_{j_3}$,其线性组合为一个不同于$\pm v_{j_1}, \pm v_{j_2}, \pm v_{j_3}$的$\{\pm 1\}$-向量。

0
下载
关闭预览

相关内容

专知会员服务
33+阅读 · 2021年3月7日
FlowQA: Grasping Flow in History for Conversational Machine Comprehension
专知会员服务
34+阅读 · 2019年10月18日
Keras François Chollet 《Deep Learning with Python 》, 386页pdf
专知会员服务
164+阅读 · 2019年10月12日
【SIGGRAPH2019】TensorFlow 2.0深度学习计算机图形学应用
专知会员服务
41+阅读 · 2019年10月9日
RL解决'BipedalWalkerHardcore-v2' (SOTA)
CreateAMind
31+阅读 · 2019年7月17日
强化学习的Unsupervised Meta-Learning
CreateAMind
18+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
44+阅读 · 2019年1月3日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
STRCF for Visual Object Tracking
统计学习与视觉计算组
15+阅读 · 2018年5月29日
可解释的CNN
CreateAMind
18+阅读 · 2017年10月5日
IJCAI | Cascade Dynamics Modeling with Attention-based RNN
KingsGarden
13+阅读 · 2017年7月16日
Layer Normalization原理及其TensorFlow实现
深度学习每日摘要
32+阅读 · 2017年6月17日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Arxiv
16+阅读 · 2022年5月17日
Arxiv
18+阅读 · 2021年3月16日
Recent advances in deep learning theory
Arxiv
52+阅读 · 2020年12月20日
Augmentation for small object detection
Arxiv
13+阅读 · 2019年2月19日
VIP会员
最新内容
从燃煤战舰到算法战争:水面指挥的永恒要求
专知会员服务
0+阅读 · 23分钟前
《通过小型无人机系统将情报能力“作战化”》
消耗优势:美军的“精确规模化”概念
专知会员服务
8+阅读 · 6月15日
相关VIP内容
专知会员服务
33+阅读 · 2021年3月7日
FlowQA: Grasping Flow in History for Conversational Machine Comprehension
专知会员服务
34+阅读 · 2019年10月18日
Keras François Chollet 《Deep Learning with Python 》, 386页pdf
专知会员服务
164+阅读 · 2019年10月12日
【SIGGRAPH2019】TensorFlow 2.0深度学习计算机图形学应用
专知会员服务
41+阅读 · 2019年10月9日
相关资讯
RL解决'BipedalWalkerHardcore-v2' (SOTA)
CreateAMind
31+阅读 · 2019年7月17日
强化学习的Unsupervised Meta-Learning
CreateAMind
18+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
44+阅读 · 2019年1月3日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
STRCF for Visual Object Tracking
统计学习与视觉计算组
15+阅读 · 2018年5月29日
可解释的CNN
CreateAMind
18+阅读 · 2017年10月5日
IJCAI | Cascade Dynamics Modeling with Attention-based RNN
KingsGarden
13+阅读 · 2017年7月16日
Layer Normalization原理及其TensorFlow实现
深度学习每日摘要
32+阅读 · 2017年6月17日
相关基金
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员