Tiered memory architectures have gained significant traction in the database community in recent years. In these architectures, the on-chip DRAM of the host processor is typically referred to as local memory, and forms the primary tier. Additional byte-addressable, cache-coherent memory resources, collectively referred to as remote memory (RMem, for short), form one or more secondary tiers. RMem is slower than local DRAM but faster than disk, e.g., NUMA memory located on a remote socket, chiplet-attached memory, and memory attached via high-performance interconnect protocols, e.g., RDMA and CXL. In this paper, we discuss how traditional two-tier (DRAM-Disk) virtual-memory assisted Buffer Management techniques generalize to an $n$-tier setting (DRAM-RMem-Disk). We present vmcache$^n$, an $n$-tier virtual-memory-assisted buffer pool that leverages the virtual memory subsystem and operating system calls to migrate pages across memory tiers. In this setup, page migration can become a bottleneck. To address this limitation, we introduce the move_pages2 system call that provides vmcache$^n$ with fine-grained control over the page migration process. Experiments show that vmcache$^n$ can achieve up to 4$\times$ higher query throughput over vmcache for TPC-C workloads.


翻译:近年来,层级内存架构在数据库领域获得了广泛关注。在此类架构中,主机处理器的片上DRAM通常被称为本地内存,构成主层级。其他可按字节寻址、具有缓存一致性的内存资源统称为远程内存(简称RMem),构成一个或多个次级层级。RMem的速度低于本地DRAM但快于磁盘,例如位于远程插槽的NUMA内存、小芯片连接内存,以及通过高性能互连协议(如RDMA和CXL)连接的内存。本文探讨了传统的双层(DRAM-磁盘)虚拟内存辅助缓冲区管理技术如何推广到$n$层架构(DRAM-RMem-磁盘)。我们提出了vmcache$^n$——一种$n$层虚拟内存辅助缓冲池,它利用虚拟内存子系统和操作系统调用来实现内存层级间的页面迁移。在此设置中,页面迁移可能成为性能瓶颈。为突破此限制,我们引入了move_pages2系统调用,使vmcache$^n$能够对页面迁移过程进行细粒度控制。实验表明,在TPC-C工作负载下,vmcache$^n$相比vmcache可实现高达4$\times$的查询吞吐量提升。

0
下载
关闭预览

相关内容

《战斗管理辅助的系统性方法》
专知会员服务
111+阅读 · 2024年2月1日
【ChatGPT系列报告】从算力到存力:存储芯片研究框架
专知会员服务
60+阅读 · 2023年4月5日
专知会员服务
29+阅读 · 2021年2月26日
【数据中台】什么是数据中台?
产业智能官
18+阅读 · 2019年7月30日
使用 Canal 实现数据异构
性能与架构
20+阅读 · 2019年3月4日
深度学习中Attention Mechanism详细介绍:原理、分类及应用
深度学习与NLP
10+阅读 · 2019年2月18日
推荐中的序列化建模:Session-based neural recommendation
机器学习研究会
18+阅读 · 2017年11月5日
新型阻变存储器的物理研究与产业化前景
中国物理学会期刊网
13+阅读 · 2017年11月1日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
最新内容
无人机自主控制与人工智能:系统性综述
专知会员服务
10+阅读 · 今天7:25
巡飞弹与反无人机系统——现代战场的两大支柱
专知会员服务
3+阅读 · 今天6:54
《打造“黄金舰队”》57页报告
专知会员服务
3+阅读 · 今天6:52
《北约数字教官网络发展路径》128页报告
专知会员服务
2+阅读 · 今天6:33
ECCV 2026 | MIMFlow:MIM与归一化流统一图像生成
专知会员服务
7+阅读 · 6月25日
网状网络及其在军事领域的运用
专知会员服务
7+阅读 · 6月25日
无美国参与的欧洲战争方式(万字长文)
专知会员服务
8+阅读 · 6月25日
《国防领域敏感性分析白皮书》
专知会员服务
9+阅读 · 6月25日
综述 | 从问答到任务完成:Agent系统与Harness设计
专知会员服务
10+阅读 · 6月24日
Agentic RL:框架、实践与长程智能体训练
专知会员服务
10+阅读 · 6月24日
相关资讯
【数据中台】什么是数据中台?
产业智能官
18+阅读 · 2019年7月30日
使用 Canal 实现数据异构
性能与架构
20+阅读 · 2019年3月4日
深度学习中Attention Mechanism详细介绍:原理、分类及应用
深度学习与NLP
10+阅读 · 2019年2月18日
推荐中的序列化建模:Session-based neural recommendation
机器学习研究会
18+阅读 · 2017年11月5日
新型阻变存储器的物理研究与产业化前景
中国物理学会期刊网
13+阅读 · 2017年11月1日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员