4-基于Multi-GPU平台的大规模图数据处理

2018 年 1 月 15 日 计算机研究与发展 张珩,张立波等
基于Multi-GPU平台的大规模图数据处理

在面向新型加速硬件的数据管理方面,GPU能够提供大规模线程的并行环境、高吞吐的内存和缓冲访问机制,因此基于GPU的大规模图数据处理算法和系统日益成为研究热点。但是,单个GPU的访存空间容量限制了图数据的规模。

张珩等作者在论文“基于Multi-GPU平台的大规模图数据处理”中提出了一个基于多GPU平台的支持高效、可扩展的大规模图数据处理系统GFlow。GFlow提出了适用于多GPU的图数据切分策略和双展滑动窗口算法,合理布局图的属性数据、图结构数据和迭代计算的中间结果,从SSD存储至GPU设备动态地加载数据分块,从而有效地支持GPU对大规模图的计算。实验表明GFlow在多GPU平台下相比其他外存图处理系统有明显的性能优势。


【引用】

张珩,张立波,武延军. 基于Multi-GPU平台的大规模图数据处理[J]. 计算机研究与发展,2018,55(2):273-288.
Zhang Heng,Zhang Libo, WuYanjun. Large-Scale Graph Processing on Multi-GPU Platforms. Journal of Computer Research and Development, 2018,55(2):273-288

点击文末“阅读全文”可抢鲜阅读。

       《计算机研究与发展》“面向新型硬件的数据管理”专题内容涵盖面向新型非易失存储NVM的数据管理和面向新型加速硬件的数据管理两大方面,并反映了国内学术领域和华为、阿里等产业界在面向新型硬件的数据管理方面的主要工作。包括7篇文章:

1 NV-Shuffle:基于非易失内存的Shuffle机制

2 面向大数据处理的基于Spark的异质内存编程框架

3 基于高性能SOC FPGA阵列的NVM验证架构设计与验证

4 基于Multi-GPU平台的大规模图数据处理

5 大数据处理中Hash Joins的加速实例

6 面向数据库的持久化事务内存

7 X-DB:软硬一体的新型数据库系统

登录查看更多
0

相关内容

FPGA加速系统开发工具设计:综述与实践
专知会员服务
69+阅读 · 2020年6月24日
专知会员服务
82+阅读 · 2020年6月20日
基于深度学习的多标签生成研究进展
专知会员服务
148+阅读 · 2020年4月25日
【大规模数据系统,552页ppt】Large-scale Data Systems
专知会员服务
61+阅读 · 2019年12月21日
分布式智能计算系统前沿
中国计算机学会
19+阅读 · 2019年10月8日
分布式入门,怎样用PyTorch实现多GPU分布式训练
机器之心
7+阅读 · 2019年5月3日
基于统计关系学习的自动数据清洗
FCS
7+阅读 · 2019年3月1日
面向云端融合的分布式计算技术研究进展与趋势
中国计算机学会
19+阅读 · 2018年11月27日
【知识图谱】大规模知识图谱的构建、推理及应用
产业智能官
38+阅读 · 2017年9月12日
大规模知识图谱的构建、推理及应用
人工智能头条
15+阅读 · 2017年8月29日
干货 | 大规模知识图谱的构建、推理及应用
机器学习研究会
11+阅读 · 2017年8月28日
3D Face Modeling from Diverse Raw Scan Data
Arxiv
5+阅读 · 2019年2月13日
Accelerated Methods for Deep Reinforcement Learning
Arxiv
6+阅读 · 2019年1月10日
Rapid Customization for Event Extraction
Arxiv
7+阅读 · 2018年9月20日
Arxiv
5+阅读 · 2018年9月11日
Arxiv
8+阅读 · 2018年6月19日
Arxiv
3+阅读 · 2018年3月2日
VIP会员
最新内容
世界模型入门:从序贯决策到通用智能体
专知会员服务
8+阅读 · 10月24日
军事域更好使用人工智能的实用指南
专知会员服务
10+阅读 · 10月22日
《衡量语言模型中的作战规划能力》
专知会员服务
14+阅读 · 10月20日
Maven智能系统:帕兰提尔军事人工智能平台详解
专知会员服务
17+阅读 · 10月20日
《测试自动化框架在敏捷软件开发中的角色》
专知会员服务
9+阅读 · 10月20日
俄罗斯如何拦截乌克兰无人机与巡航导弹
专知会员服务
13+阅读 · 10月15日
《武器-目标分配问题:精确与近似求解算法》
专知会员服务
19+阅读 · 10月15日
相关资讯
分布式智能计算系统前沿
中国计算机学会
19+阅读 · 2019年10月8日
分布式入门,怎样用PyTorch实现多GPU分布式训练
机器之心
7+阅读 · 2019年5月3日
基于统计关系学习的自动数据清洗
FCS
7+阅读 · 2019年3月1日
面向云端融合的分布式计算技术研究进展与趋势
中国计算机学会
19+阅读 · 2018年11月27日
【知识图谱】大规模知识图谱的构建、推理及应用
产业智能官
38+阅读 · 2017年9月12日
大规模知识图谱的构建、推理及应用
人工智能头条
15+阅读 · 2017年8月29日
干货 | 大规模知识图谱的构建、推理及应用
机器学习研究会
11+阅读 · 2017年8月28日
相关论文
Top
微信扫码咨询专知VIP会员