【优博微展2017】张宇超:数据中心网络业务处理流程中的资源管理优化

2018 年 1 月 16 日 清华大学研究生教育 张宇超


张宇超:2017年清华大学优秀博士学位论文二等奖获得者


数据中心网络业务处理流程中的资源管理优化


Optimization of Resource Management Throughout the Application Processing in Datacenter Networks


作    者:张宇超

指导教师:徐恪

培养院系:计算机科学与技术系         

学    科:计算机科学与技术

读博感言做第三类人也挺幸福快乐哒!


研究背景/选题意义/研究价值


云计算的日益普及为广大用户提供了更为便捷的网络服务,而大规模数据中心内的资源多样性、配置异质性和管理复杂性,为提供良好服务质量带来了严峻的挑战。


本文追踪网络应用请求的整体服务周期,针对应用请求的四个主要阶段,分别实现了“公平接入控制、合理任务调度、可控区域通信、高效后端同步”的目标。


主要研究内容


1. 针对用户请求接入数据中心的过程,设计延时保证的动态区分服务算法,优化延迟敏感型业务。


2. 在任务进入服务器端系统的传输调度阶段,设计双重感知调度机制,改进数据传输协议。


3. 任务进入数据中心后端时,设计了感知通信的容器重分布机制,提升 90% 的系统吞吐量,为百度公司节省了巨额运维成本。


4. 为海量数据传输过程设计了新型的大数据传输平台 PieBridge,能大幅提

升数据同步效率。


容器重分布机制能够消除热点机器,平衡资源利用率,提升系统吞吐量。


为跨数据中心域的数据同步过程设计高效的传输调度系统,保证业务后端服务数据的及时更新。


主要创新点


1、提出了双重感知的任务调度机制,为数据中心的任务调度阶段提供了近似最优的调度结果。


2、提出了一种延迟保证的动态区分服务机制,采用延迟反馈算法,缩短交互负载流的响应时间。


3、剖析应用在实例化的不同容器之间的通信过程,设计了一种两阶段的调整策略,降低进程之间的通信开销,提升整体系统吞吐率。


4、针对海量数据的大规模同步过程,设计最大化系统流量的调度算法,显著缩短了任务传输时间,且消除了传输长尾、平衡了跨域带宽利用。


代表性学术发表


[1] Yuchao Zhang, Yusen Li, Ke Xu, Dan Wang, Xuan Cao,QingqingLiang. FreeContainer: The Management of Container Groups for High Performance VNFs. IEEE ICDCS,2017.


[2] Yuchao Zhang,Ke Xu, Guang Yao, Miao Zhang. PieBridge: A Cross-DR scale Large Data Transmission Scheduling System. ACM SIGCOMM poster, 2016.



作者:张宇超

供图:张宇超

编辑:清华大学研究生院  周明坤  严颖巧


登录查看更多
2

相关内容

多智能体深度强化学习的若干关键科学问题
专知会员服务
195+阅读 · 2020年5月24日
【北京大学】面向5G的命名数据网络物联网研究综述
专知会员服务
38+阅读 · 2020年4月26日
专知会员服务
126+阅读 · 2020年3月26日
阿里巴巴全球化架构设计挑战
InfoQ
36+阅读 · 2019年11月25日
腾讯推荐引擎组员工:谈谈推荐系统架构
腾讯大讲堂
14+阅读 · 2019年10月23日
【优博微展2019】李志泽:简单快速的机器学习优化方法
清华大学研究生教育
15+阅读 · 2019年10月8日
【CPS】CPS应用案例集
产业智能官
85+阅读 · 2019年8月9日
【边缘计算】边缘计算面临的问题
产业智能官
17+阅读 · 2019年5月31日
工行基于MySQL构建分布式架构的转型之路
炼数成金订阅号
15+阅读 · 2019年5月16日
2018年边缘计算行业研究报告
行业研究报告
12+阅读 · 2019年4月15日
【优博微展2018】刘昊:基于深度神经网络的人脸关键点检测
清华大学研究生教育
32+阅读 · 2018年12月1日
Arxiv
37+阅读 · 2019年11月7日
Arxiv
12+阅读 · 2019年1月24日
Arxiv
3+阅读 · 2018年10月25日
Arxiv
4+阅读 · 2018年4月29日
Arxiv
9+阅读 · 2018年3月28日
VIP会员
最新内容
【博士论文】已对齐 AI 系统的持续脆弱性
专知会员服务
4+阅读 · 4月3日
潜空间综述:基础、演化、机制、能力与展望
专知会员服务
10+阅读 · 4月3日
《人工智能时代的国防工业政策》
专知会员服务
6+阅读 · 4月3日
《2026年美国/以色列-伊朗冲突》
专知会员服务
6+阅读 · 4月3日
《美国与伊朗的冲突》美国会服务处报告
专知会员服务
6+阅读 · 4月3日
美国对伊朗军事行动:弹药与反导
专知会员服务
7+阅读 · 4月3日
超越技术:伊朗冲突中的“战争方式”
专知会员服务
14+阅读 · 4月1日
军事决策大语言模型综合评价基准
专知会员服务
11+阅读 · 4月1日
相关资讯
阿里巴巴全球化架构设计挑战
InfoQ
36+阅读 · 2019年11月25日
腾讯推荐引擎组员工:谈谈推荐系统架构
腾讯大讲堂
14+阅读 · 2019年10月23日
【优博微展2019】李志泽:简单快速的机器学习优化方法
清华大学研究生教育
15+阅读 · 2019年10月8日
【CPS】CPS应用案例集
产业智能官
85+阅读 · 2019年8月9日
【边缘计算】边缘计算面临的问题
产业智能官
17+阅读 · 2019年5月31日
工行基于MySQL构建分布式架构的转型之路
炼数成金订阅号
15+阅读 · 2019年5月16日
2018年边缘计算行业研究报告
行业研究报告
12+阅读 · 2019年4月15日
【优博微展2018】刘昊:基于深度神经网络的人脸关键点检测
清华大学研究生教育
32+阅读 · 2018年12月1日
Top
微信扫码咨询专知VIP会员