We study a discrete convolution streaming problem. An input arrives as a stream of numbers $z = (z_0,z_1,z_2,\ldots)$, and at time $t$ our goal is to output $(Tz)_t$ where $T$ is a lower-triangular Toeplitz matrix. We focus on space complexity; we define a model for studying the memory-size of online continuous algorithms. In this model, algorithms store a buffer of $β(t)$ numbers in order to achieve their goal. We characterize space complexity using the language of generating functions. The matrix $T$ corresponds to a generating function $G(x)$. When $G(x)$ is rational of degree $d$, it is known that the space complexity is at most $O(d)$. We prove a corresponding lower bound; the space complexity is at least $Ω(d)$. In addition, for irrational $G(x)$, we prove that the space complexity is infinite. We also provide finite-time guarantees. For example, for the generating function $\frac{1}{\sqrt{1-x}}$ that was studied in various previous works in the context of differentially private continual counting, we prove a sharp lower bound on the space complexity; at time $t$, it is at least $Ω(t)$.


翻译:我们研究一个离散卷积流式处理问题。输入以数字流 $z = (z_0,z_1,z_2,\ldots)$ 的形式到达,在时刻 $t$ 我们的目标是输出 $(Tz)_t$,其中 $T$ 是一个下三角 Toeplitz 矩阵。我们重点关注空间复杂度;我们定义了一个模型来研究在线连续算法的内存大小。在该模型中,算法存储一个包含 $β(t)$ 个数字的缓冲区以实现其目标。我们使用生成函数的语言来刻画空间复杂度。矩阵 $T$ 对应一个生成函数 $G(x)$。当 $G(x)$ 是 $d$ 次有理函数时,已知空间复杂度至多为 $O(d)$。我们证明了一个对应的下界;空间复杂度至少为 $Ω(d)$。此外,对于无理生成函数 $G(x)$,我们证明其空间复杂度是无限的。我们还提供了有限时间保证。例如,对于先前在差分隐私持续计数背景下被广泛研究的生成函数 $\frac{1}{\sqrt{1-x}}$,我们证明了其空间复杂度的严格下界:在时刻 $t$,该复杂度至少为 $Ω(t)$。

0
下载
关闭预览

相关内容

深度学习中卷积的综述:应用、挑战和未来趋势
专知会员服务
38+阅读 · 2024年3月22日
【ICLR-2020】网络反卷积,NETWORK DECONVOLUTION
专知会员服务
39+阅读 · 2020年2月21日
万字长文带你看尽深度学习中的各种卷积网络
AI科技评论
11+阅读 · 2019年2月19日
什么是深度学习的卷积?
论智
18+阅读 · 2018年8月14日
【回顾】深度学习系列之二:卷积神经网络
AI研习社
20+阅读 · 2017年12月1日
徒手实现CNN:综述论文详解卷积网络的数学本质
机器之心
25+阅读 · 2017年11月19日
基于注意力机制的图卷积网络
科技创新与创业
74+阅读 · 2017年11月8日
国家自然科学基金
3+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关VIP内容
深度学习中卷积的综述:应用、挑战和未来趋势
专知会员服务
38+阅读 · 2024年3月22日
【ICLR-2020】网络反卷积,NETWORK DECONVOLUTION
专知会员服务
39+阅读 · 2020年2月21日
相关基金
国家自然科学基金
3+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员