Modern distributed file systems rely on uncoordinated, per node page caches that replicate hot data locally across the cluster. While ensuring fast local access, this architecture underutilizes aggregate cluster DRAM capacity through massive data redundancy and incurs prohibitive coherence overhead via heavyweight, lock-based protocols. In this paper, we focus on the design of a distributed page cache that treats the entire cluster's main memory as a single cache budget while preserving standard file-system interfaces and semantics. We present Distributed Page Cache (DPC), an OS-level, distributed page cache built on top of Compute Express Link (CXL) 3.0 memory semantics. DPC enforces a single-copy invariant at page granularity: each file page has exactly one owner node holding the sole resident DRAM copy, and other nodes access it via CXL-based remote mappings rather than creating replicas of the page. DPC is implemented end-to-end on a CXL-based emulation framework that models multi-host CXL 3.0 memory fabrics, enabling detailed evaluation in the absence of widespread hardware. Across real-world and representative data-sharing workloads, DPC delivers speedups of up to 12.4X, with a geometric-mean speedup of 5.6X.


翻译:现代分布式文件系统依赖于非协调的、每节点页面缓存,这些缓存将热点数据在集群内本地复制。虽然这种方式保证了快速的本地访问,但该架构通过大量的数据冗余导致集群总DRAM容量利用率不足,并且通过基于锁的重型协议带来了高昂的一致性开销。在本文中,我们聚焦于一种分布式页面缓存的设计,该缓存将整个集群的主内存视为单一缓存预算,同时保留标准文件系统接口和语义。我们提出了分布式页面缓存(DPC),这是一个基于Compute Express Link(CXL)3.0内存语义构建的OS级分布式页面缓存。DPC在页面粒度上强制实施单副本不变性:每个文件页面恰好有一个拥有唯一驻留DRAM副本的所有者节点,其他节点通过基于CXL的远程映射访问该页面,而不是创建页面副本。DPC在一个基于CXL的仿真框架上进行了端到端实现,该框架模拟了多主机CXL 3.0内存结构,使得在缺乏广泛硬件的情况下能够进行详细评估。在真实世界和代表性的数据共享工作负载中,DPC实现了高达12.4倍的加速比,几何平均加速比为5.6倍。

0
下载
关闭预览

相关内容

「分布式机器学习系统网络性能优化」研究进展
专知会员服务
28+阅读 · 2022年10月1日
分布式系统稳定性建设指南2022年(100页pdf)
专知会员服务
26+阅读 · 2022年6月24日
Python分布式计算,171页pdf,Distributed Computing with Python
专知会员服务
108+阅读 · 2020年5月3日
临床自然语言处理中的嵌入综述,SECNLP: A survey of embeddings
最新《分布式机器学习》论文综述最新DML进展,33页pdf
专知会员服务
122+阅读 · 2019年12月26日
分布式核心技术知识图谱,带走不谢
架构师之路
12+阅读 · 2019年9月23日
【数据中台】什么是数据中台?
产业智能官
18+阅读 · 2019年7月30日
被动DNS,一个被忽视的安全利器
运维帮
11+阅读 · 2019年3月8日
使用 Canal 实现数据异构
性能与架构
20+阅读 · 2019年3月4日
一文看懂深度文本分类之 DPCNN 原理与代码
人工智能头条
10+阅读 · 2019年2月11日
文本分类问题不需要ResNet?小夕解析DPCNN设计原理(上)
夕小瑶的卖萌屋
36+阅读 · 2018年4月3日
文本聚类:从非结构化数据快速获取见解
Datartisan数据工匠
15+阅读 · 2017年10月12日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
VIP会员
相关主题
最新内容
无人机已改变战场,但并未解决指挥问题
专知会员服务
5+阅读 · 8月14日
驱动军事决策变革的顶尖人工智能指挥系统
专知会员服务
11+阅读 · 8月11日
非对称防御中的自组织临界性:俄乌战争
专知会员服务
10+阅读 · 8月10日
《战争中的大语言模型监管》
专知会员服务
16+阅读 · 8月10日
《边缘计算关键技术分析及美军作战实践应用》
相关资讯
分布式核心技术知识图谱,带走不谢
架构师之路
12+阅读 · 2019年9月23日
【数据中台】什么是数据中台?
产业智能官
18+阅读 · 2019年7月30日
被动DNS,一个被忽视的安全利器
运维帮
11+阅读 · 2019年3月8日
使用 Canal 实现数据异构
性能与架构
20+阅读 · 2019年3月4日
一文看懂深度文本分类之 DPCNN 原理与代码
人工智能头条
10+阅读 · 2019年2月11日
文本分类问题不需要ResNet?小夕解析DPCNN设计原理(上)
夕小瑶的卖萌屋
36+阅读 · 2018年4月3日
文本聚类:从非结构化数据快速获取见解
Datartisan数据工匠
15+阅读 · 2017年10月12日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
Top
微信扫码咨询专知VIP会员