We derive entropy bounds for the absolute convex hull of vectors $X= (x_1 , \ldots , x_p)\in \mathbb{R}^{n \times p} $ in $\mathbb{R}^n$ and apply this to the case where $X$ is the $d$-fold tensor matrix $$X = \underbrace{\Psi \otimes \cdots \otimes \Psi}_{d \ {\rm times} }\in \mathbb{R}^{m^d \times r^d },$$ with a given $\Psi = ( \psi_1 , \ldots , \psi_r ) \in \mathbb{R}^{m \times r} $, normalized to that $ \| \psi_j \|_2 \le 1$ for all $j \in \{1 , \ldots , r\}$. For $\epsilon >0$ we let ${\cal V} \subset \mathbb{R}^m$ be the linear space with smallest dimension $M ( \epsilon , \Psi)$ such that $ \max_{1 \le j \le r } \min_{v \in {\cal V} } \| \psi_j - v \|_2 \le \epsilon$. We call $M( \epsilon , \psi)$ the $\epsilon$-approximation of $\Psi$ and assume it is -- up to log terms -- polynomial in $\epsilon$. We show that the entropy of the absolute convex hull of the $d$-fold tensor matrix $X$ is up to log-terms of the same order as the entropy for the case $d=1$. The results are generalized to absolute convex hulls of tensors of functions in $L_2 (\mu)$ where $\mu$ is Lebesgue measure on $[0,1]$. As an application we consider the space of functions on $[0,1]^d$ with bounded $q$-th order Vitali total variation for a given $q \in \mathbb{N}$. As a by-product, we construct an orthonormal, piecewise polynomial, wavelet dictionary for functions that are well-approximated by piecewise polynomials.


翻译:我们推导了向量 $X= (x_1 , \ldots , x_p)\in \mathbb{R}^{n \times p} $ 在 $\mathbb{R}^n$ 中绝对凸包的熵界,并将其应用于 $X$ 为 $d$ 重张量矩阵的情形:$$X = \underbrace{\Psi \otimes \cdots \otimes \Psi}_{d \ {\rm 次} }\in \mathbb{R}^{m^d \times r^d },$$ 其中 $\Psi = ( \psi_1 , \ldots , \psi_r ) \in \mathbb{R}^{m \times r} $ 给定,且对所有 $j \in \{1 , \ldots , r\}$ 满足归一化条件 $\| \psi_j \|_2 \le 1$。对 $\epsilon >0$,设 ${\cal V} \subset \mathbb{R}^m$ 为最小维数 $M ( \epsilon , \Psi)$ 的线性空间,使得 $ \max_{1 \le j \le r } \min_{v \in {\cal V} } \| \psi_j - v \|_2 \le \epsilon$。我们称 $M( \epsilon , \psi)$ 为 $\Psi$ 的 $\epsilon$-逼近,并假设其关于 $\epsilon$ 呈多项式阶(忽略对数项)。我们证明:$d$ 重张量矩阵 $X$ 绝对凸包的熵在忽略对数项意义下与 $d=1$ 情形具有相同阶数。该结果可推广至 $L_2 (\mu)$ 中函数张量的绝对凸包,其中 $\mu$ 为 $[0,1]$ 上的 Lebesgue 测度。作为应用,我们考虑给定 $q \in \mathbb{N}$ 下 $[0,1]^d$ 上具有有界 $q$ 阶 Vitali 全变差的函数空间。作为副产品,我们为可用分片多项式良好逼近的函数构造了一个正交、分片多项式小波字典。

0
下载
关闭预览

相关内容

【2022新书】数据科学的实用线性代数,328页pdf
专知会员服务
138+阅读 · 2022年9月17日
【ACL2020】多模态信息抽取,365页ppt
专知会员服务
151+阅读 · 2020年7月6日
FlowQA: Grasping Flow in History for Conversational Machine Comprehension
专知会员服务
35+阅读 · 2019年10月18日
RL解决'BipedalWalkerHardcore-v2' (SOTA)
CreateAMind
31+阅读 · 2019年7月17日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
Unsupervised Learning via Meta-Learning
CreateAMind
44+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
STRCF for Visual Object Tracking
统计学习与视觉计算组
15+阅读 · 2018年5月29日
概率图模型体系:HMM、MEMM、CRF
机器学习研究会
30+阅读 · 2018年2月10日
CNN 反向传播算法推导
统计学习与视觉计算组
30+阅读 · 2017年12月29日
可解释的CNN
CreateAMind
18+阅读 · 2017年10月5日
IJCAI | Cascade Dynamics Modeling with Attention-based RNN
KingsGarden
13+阅读 · 2017年7月16日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Arxiv
0+阅读 · 2024年3月22日
Arxiv
0+阅读 · 2024年3月22日
VIP会员
最新内容
俄乌无人机战争的六大启示
专知会员服务
9+阅读 · 8月3日
《无人机空中监控:通信实验洞察》
专知会员服务
7+阅读 · 8月3日
从采集到决策:美军视角下的战术情报范式重构
《履带式无人地面战车技术发展现状》
专知会员服务
7+阅读 · 8月2日
《无人机脆弱性利用:网络空间力量的新域》
专知会员服务
10+阅读 · 8月1日
相关VIP内容
【2022新书】数据科学的实用线性代数,328页pdf
专知会员服务
138+阅读 · 2022年9月17日
【ACL2020】多模态信息抽取,365页ppt
专知会员服务
151+阅读 · 2020年7月6日
FlowQA: Grasping Flow in History for Conversational Machine Comprehension
专知会员服务
35+阅读 · 2019年10月18日
相关资讯
RL解决'BipedalWalkerHardcore-v2' (SOTA)
CreateAMind
31+阅读 · 2019年7月17日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
Unsupervised Learning via Meta-Learning
CreateAMind
44+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
STRCF for Visual Object Tracking
统计学习与视觉计算组
15+阅读 · 2018年5月29日
概率图模型体系:HMM、MEMM、CRF
机器学习研究会
30+阅读 · 2018年2月10日
CNN 反向传播算法推导
统计学习与视觉计算组
30+阅读 · 2017年12月29日
可解释的CNN
CreateAMind
18+阅读 · 2017年10月5日
IJCAI | Cascade Dynamics Modeling with Attention-based RNN
KingsGarden
13+阅读 · 2017年7月16日
相关基金
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员