引用本文

李逸博, 李小平, 王爽, 蒋嶷川. 面向算力网络的智慧调度综述. 自动化学报, 2024, 50(6): 1086−1103 doi: 10.16383/j.aas.c230196

Li Yi-Bo, Li Xiao-Ping, Wang Shuang, Jiang Yi-Chuan. Survey on wise scheduling in computing power network. Acta Automatica Sinica, 2024, 50(6): 1086−1103 doi: 10.16383/j.aas.c230196

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c230196

关键词

算力网络，云计算，边缘计算，资源调度，知识 

摘要

分布异构计算资源通过网络连接形成算力网络 (Computing power network, CPN), 其以“连”和“算”为核心. 针对广分布异构性导致可行解空间巨大、强不确定性导致可行解空间易变、高约束复杂性导致可行解孤岛繁多、多目标性导致冲突目标权衡优化难等挑战, 提出一个多层次算力网络体系框架, 包括参数化结构化业务管理、三阶段(计划、调度、执行)闭环调度模式、多模态资源管理三个功能. 提出支持快速、高效、鲁棒的“算法+知识+数据+算力”的算力网络智慧调度框架, 形式化分析可行解空间, 解析调度策略关键参数, 定性分析调度算法性能与效率的内在关系, 详细综述调度算法类型, 综述算力网络调度研究进展与发展方向. 对比已有相关综述研究, 展望算力网络调度未来理论和技术的难点与趋势.

文章导读

算力网络是支撑国家网络强国、数字中国、智慧社会战略的新型基础设施, 是对接国家规划、落实“东数西算”工程部署的重要支撑. 2022年2月, 在京津冀、长三角、粤港澳大湾区、成渝、内蒙古、贵州、甘肃、宁夏等8地启动建设国家算力枢纽节点, 并规划了10个国家数据中心集群, 完成全国一体化大数据中心体系的总体布局. 算力网络也越来越受到学术界和产业界的广泛关注. 

面向“东数西算”大数据的算力网络包括算什么(计算需求)、由谁算(算力资源)、如何算(调度算法)等核心步骤. 看起来“东数西算”是将“数”或者“算”进行搬迁, 但并不意味着所有的数据都需要从东传到西, 也并非东部不作任何计算而由西部完成所有计算业务, “东数”是否需要“西算”的决策依赖于相应大数据的计算开销与通信开销总和. 如何将分布异构计算资源通过网络连接形成算力网络是必然趋势, 主要体现为[1]: 1)算力需求量激增: “东数西算”工程、虚拟现实[2]、数字孪生[3]、元宇宙[4]等对算力需求越来越大. 例如, 据罗兰·贝格公司预测, 从2018年到2030年, 无人驾驶算力需求增加390倍, 数字货币算力需求增加约2000倍, 游戏算力需求增加约300倍、端到端时延需小于20 ms. 2)算力供需地域不平衡[1, 5]: 东部算力需求大、算力不足, 西部算力需求相对小、算力充足, 将东部算力需求有序引导到西部, 优化数据中心建设布局, 促进东西部协同联动, 让西部算力资源更充分地支撑东部数据运算, 更好地为数字化发展赋能. 3)算力供应融合共生度不高[6]: 我国云边端(Cloud-edge-terminal) 三级算力整体上呈现内核多样化、分布泛在化趋势, 已有海量终端接入网络, 边端算力逐渐丰富, 但缺乏网络连接的泛在算力, 亟需突破单点算力性能极限以发挥算力集群优势, 算力融合度和共生度需完善[7]. 

面向多元化、多粒度复杂计算需求, 充分利用通过网络连接形计算资源是算力网络的核心科学问题. 尽管目前计算需求量激增, 但互联网数据中心统计的结果表明: 由于算力供需地域不平衡等原因, 数据中心、物理服务器、个人计算机以及消费终端等各类平台计算资源的利用率都低于15%. 需求激增与算力资源大量闲置的矛盾日益突出, 亟需构建合理的算力网络体系架构, 突破以需求−资源快优稳智慧调度为核心的关键技术[8]. 

本文提出一个多层次算力网格体系框架, 其创新性和优势体现为: 1)参数化结构化业务管理模型: 面向算力业务需求量激增难以有效管理等挑战, 提出参数化结构化业务管理模型, 无论用户业务需求属于何种类型, 都可刻画为最小粒度任务集合及这些任务间线性、非线性关系; 参数化任务到达、任务执行、截止时间、预算等参数. 2)算力网络调度优化模型: 针对算力供需地域不平衡等挑战, 面向计划、调度、执行等不同阶段优化问题, 提出以快优稳为终极目标的“算法+知识+数据+算力”的算力网络调度优化模型, 支持快速、高效、鲁棒地解决这类复杂优化问题. 3)以智慧调度为核心的算力网络体系架构: 针对算力供应融合共生度不高等挑战, 提出以算力网络管理层为操作系统功能的算力网络体系架构, 包含用户层、算力网络管理层、资源层. 其中算力网络管理层包含业务管理层、业务调度层、资源管理层, 分别对应中国移动《算力网络白皮书》[8]的算网运营层、算网大脑层、算网底座层, 并且更关注算力的智慧调度. 

图 1  不同算力网络概念分布

图 2  传统云边端示意图

图 3  智慧调度为核心的算力网络体系架构

我国数字经济数智化转型的关键取决于用户、数据、算力的有效连接. “东数西算”等工程的正式启动及新技术、新业态、新场景和新模式的不断涌现, 迫切需求构建数据中心、云计算、大数据一体化的算力网络服务体系, 实现跨运营主体的算力资源统一编排调用: 供给侧通过整合内外部资源、盘活社会闲置算力, 优化全产业的算计全系统算力供给能力; 消费侧面向国家治理、社会民生、传统产业等多领域的升级改造, 推动算力网络服务, 拓展国内外更多应用领域, 实现算力网络的多元供给、多元服务和多元业态. 

算力网络还处于起步阶段, 还有很多理论和方法技术层面的值得深入研究的挑战性问题, 但同时也带来很多机遇, 特别是大模型和相关人工智能技术的兴起, 对算力的需求急剧增加, 也给算力网络带来意想不到的挑战. 就算力网络智慧调度而言, 如何挖掘调度知识、如何灵活应用调度知识将是算力网络调度智慧化程度的关键. 可以预见, 在未来相当长一段时间, 算力网络智慧调度将持续成为研究热点. 

作者简介

李逸博

东南大学计算机科学与工程学院硕士研究生. 2021年获得湘潭大学学士学位. 主要研究方向为分布式计算. E-mail: yiboli@seu.edu.cn

李小平

东南大学计算机科学与工程学院教授. 2002年获得哈尔滨工业大学博士学位. 主要研究方向为调度优化, 服务计算和智能制造. 本文通信作者. E-mail: xpli@seu.edu.cn

王爽

东南大学计算机科学与工程学院讲师. 2020年获得东南大学博士学位. 主要研究方向为调度优化, 云计算和真值发现. E-mail: shuangwang@seu.edu.cn

蒋嶷川

东南大学计算机科学与工程学院教授. 2005年获得复旦大学博士学位. 主要研究方向为分布式人工智能, 复杂智能系统. E-mail: yjiang@seu.edu.cn