Modern distributed file systems rely on uncoordinated, per node page caches that replicate hot data locally across the cluster. While ensuring fast local access, this architecture underutilizes aggregate cluster DRAM capacity through massive data redundancy and incurs prohibitive coherence overhead via heavyweight, lock-based protocols. In this paper, we focus on the design of a distributed page cache that treats the entire cluster's main memory as a single cache budget while preserving standard file-system interfaces and semantics. We present Distributed Page Cache (DPC), an OS-level, distributed page cache built on top of Compute Express Link (CXL) 3.0 memory semantics. DPC enforces a single-copy invariant at page granularity: each file page has exactly one owner node holding the sole resident DRAM copy, and other nodes access it via CXL-based remote mappings rather than creating replicas of the page. DPC is implemented end-to-end on a CXL-based emulation framework that models multi-host CXL 3.0 memory fabrics, enabling detailed evaluation in the absence of widespread hardware. Across real-world and representative data-sharing workloads, DPC delivers speedups of up to 12.4X, with a geometric-mean speedup of 5.6X.


翻译:现代分布式文件系统依赖于非协调的、每节点页面缓存,这些缓存将热点数据在集群内本地复制。虽然这种方式保证了快速的本地访问,但该架构通过大量的数据冗余导致集群总DRAM容量利用率不足,并且通过基于锁的重型协议带来了高昂的一致性开销。在本文中,我们聚焦于一种分布式页面缓存的设计,该缓存将整个集群的主内存视为单一缓存预算,同时保留标准文件系统接口和语义。我们提出了分布式页面缓存(DPC),这是一个基于Compute Express Link(CXL)3.0内存语义构建的OS级分布式页面缓存。DPC在页面粒度上强制实施单副本不变性:每个文件页面恰好有一个拥有唯一驻留DRAM副本的所有者节点,其他节点通过基于CXL的远程映射访问该页面,而不是创建页面副本。DPC在一个基于CXL的仿真框架上进行了端到端实现,该框架模拟了多主机CXL 3.0内存结构,使得在缺乏广泛硬件的情况下能够进行详细评估。在真实世界和代表性的数据共享工作负载中,DPC实现了高达12.4倍的加速比,几何平均加速比为5.6倍。

0
下载
关闭预览

相关内容

「分布式机器学习系统网络性能优化」研究进展
专知会员服务
28+阅读 · 2022年10月1日
分布式系统稳定性建设指南2022年(100页pdf)
专知会员服务
26+阅读 · 2022年6月24日
Python分布式计算,171页pdf,Distributed Computing with Python
专知会员服务
108+阅读 · 2020年5月3日
临床自然语言处理中的嵌入综述,SECNLP: A survey of embeddings
最新《分布式机器学习》论文综述最新DML进展,33页pdf
专知会员服务
122+阅读 · 2019年12月26日
分布式核心技术知识图谱,带走不谢
架构师之路
12+阅读 · 2019年9月23日
【数据中台】什么是数据中台?
产业智能官
18+阅读 · 2019年7月30日
被动DNS,一个被忽视的安全利器
运维帮
11+阅读 · 2019年3月8日
使用 Canal 实现数据异构
性能与架构
20+阅读 · 2019年3月4日
一文看懂深度文本分类之 DPCNN 原理与代码
人工智能头条
10+阅读 · 2019年2月11日
文本分类问题不需要ResNet?小夕解析DPCNN设计原理(上)
夕小瑶的卖萌屋
36+阅读 · 2018年4月3日
文本聚类:从非结构化数据快速获取见解
Datartisan数据工匠
15+阅读 · 2017年10月12日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
VIP会员
相关主题
最新内容
综述 | 3D场景图:开放挑战与未来方向
专知会员服务
6+阅读 · 6月22日
21世纪的无人机战争
专知会员服务
4+阅读 · 6月22日
《量子技术的军事任务技术适配与利用》
专知会员服务
5+阅读 · 6月22日
美国从乌克兰无人机战争中学习经验
专知会员服务
7+阅读 · 6月21日
ICML 2026 | 面向视觉语言模型的语义鲁棒性认证
专知会员服务
5+阅读 · 6月21日
相关资讯
分布式核心技术知识图谱,带走不谢
架构师之路
12+阅读 · 2019年9月23日
【数据中台】什么是数据中台?
产业智能官
18+阅读 · 2019年7月30日
被动DNS,一个被忽视的安全利器
运维帮
11+阅读 · 2019年3月8日
使用 Canal 实现数据异构
性能与架构
20+阅读 · 2019年3月4日
一文看懂深度文本分类之 DPCNN 原理与代码
人工智能头条
10+阅读 · 2019年2月11日
文本分类问题不需要ResNet?小夕解析DPCNN设计原理(上)
夕小瑶的卖萌屋
36+阅读 · 2018年4月3日
文本聚类:从非结构化数据快速获取见解
Datartisan数据工匠
15+阅读 · 2017年10月12日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
Top
微信扫码咨询专知VIP会员