The exponential growth in data has intensified the demand for computational power to train large-scale deep learning models. However, the rapid growth in model size and complexity raises concerns about equal and fair access to computational resources, particularly under increasing energy and infrastructure constraints. GPUs have emerged as essential for accelerating such workloads. This study benchmarks four deep learning models (Conv6, VGG16, ResNet18, CycleGAN) using TensorFlow and PyTorch on Intel Xeon CPUs and NVIDIA Tesla T4 GPUs. Our experiments demonstrate that, on average, GPU training achieves speedups ranging from 11x to 246x depending on model complexity, with lightweight models (Conv6) showing the highest acceleration (246x), mid-sized models (VGG16, ResNet18) achieving 51-116x speedups, and complex generative models (CycleGAN) reaching 11x improvements compared to CPU training. Additionally, in our PyTorch vs. TensorFlow comparison, we observed that TensorFlow's kernel-fusion optimizations reduce inference latency by approximately 15%. We also analyze GPU memory usage trends and projecting requirements through 2025 using polynomial regression. Our findings highlight that while GPUs are essential for sustaining AI's growth, democratized and shared access to GPU resources is critical for enabling research innovation across institutions with limited computational budgets.


翻译:数据的指数级增长加剧了对大规模深度学习模型训练所需的算力需求。然而,模型规模与复杂度的快速提升引发了关于计算资源公平获取的担忧,尤其是在能源与基础设施约束日益严峻的背景下。GPU已成为加速此类工作负载的关键工具。本研究基于Intel Xeon CPU与NVIDIA Tesla T4 GPU,使用TensorFlow和PyTorch框架对四种深度学习模型(Conv6、VGG16、ResNet18、CycleGAN)进行基准测试。实验表明,与CPU训练相比,GPU训练的平均加速比因模型复杂度而异,其中轻量模型(Conv6)加速效果最优(246倍),中型模型(VGG16、ResNet18)实现51-116倍加速,复杂生成模型(CycleGAN)提升达11倍。在PyTorch与TensorFlow的对比中,我们发现TensorFlow通过核融合优化可将推理延迟降低约15%。此外,我们分析了GPU内存使用趋势,并利用多项式回归预测至2025年的资源需求。研究结果揭示,GPU虽为维持AI发展之必需,但民主化、共享式的GPU资源访问对于支持算力受限机构的研究创新至关重要。

0
下载
关闭预览

相关内容

【博士论文】基于机器学习的计算优化
专知会员服务
21+阅读 · 2025年4月13日
浅谈人工智能的趋势和展望
专知会员服务
46+阅读 · 2024年5月11日
专知会员服务
66+阅读 · 2021年5月2日
【深度学习】深度学习技术发展趋势浅析
产业智能官
11+阅读 · 2019年4月13日
深度学习技术发展趋势浅析
人工智能学家
28+阅读 · 2019年4月11日
【边缘智能】边缘计算驱动的深度学习加速技术
产业智能官
20+阅读 · 2019年2月8日
展望:模型驱动的深度学习
人工智能学家
12+阅读 · 2018年1月23日
深度学习的GPU:深度学习中使用GPU的经验和建议
数据挖掘入门与实战
11+阅读 · 2018年1月3日
国家自然科学基金
7+阅读 · 2017年12月31日
国家自然科学基金
9+阅读 · 2017年12月31日
国家自然科学基金
43+阅读 · 2015年12月31日
国家自然科学基金
21+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2013年12月31日
Arxiv
0+阅读 · 4月8日
Arxiv
27+阅读 · 2023年3月17日
VIP会员
最新内容
学习数据的几何:形状空间分析数学综述
专知会员服务
7+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
8+阅读 · 6月17日
从燃煤战舰到算法战争:水面指挥的永恒要求
专知会员服务
6+阅读 · 6月17日
相关基金
国家自然科学基金
7+阅读 · 2017年12月31日
国家自然科学基金
9+阅读 · 2017年12月31日
国家自然科学基金
43+阅读 · 2015年12月31日
国家自然科学基金
21+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2013年12月31日
Top
微信扫码咨询专知VIP会员