祝贺课题组能源互联网方向文章发表在《电力系统自动化》2023年第47卷第21期。
原文发表信息：[1]侯慧,何梓姻,陈跃等.基于深度强化学习区间多目标优化的智能建筑低碳优化调度.电力系统自动化:2023, 47(21): 47-57 DOI：10.7500/AEPS20230428001
http://www.aeps-info.com/aeps/article/abstract/20230428001
摘要：为充分挖掘并有效利用建筑的节能减排潜力，提出基于深度强化学习区间多目标优化的智能建筑低碳优化调度方法。首先，采取区间数等方法对系统中机组参数、建筑温度及源荷多重不确定性等进行建模。其次，计及系统碳排放与碳交易机制，以综合运行成本最低及用户舒适度最优为目标，优化系统运行。为解决区间多目标优化问题，提出一种将深度强化学习的深度Q网络与区间多目标粒子群优化算法耦合，进行“离线训练”与“在线指导”的新型多目标优化算法，高效求解多重不确定性因素下的智能建筑低碳优化调度问题。算例结果表明，所提深度强化学习区间多目标优化算法及调度模型能兼顾系统低碳性、经济性与用户舒适性等，同时有效提高系统应对多重不确定性因素的能力。
研究背景：据清华大学建筑节能研究中心发布的《中国建筑节能年度发展研究报告2022（公共建筑专题）》，2020年建筑运行总能耗占全国能耗总量的21%，预计到2050年，建筑节能潜力达74%，减少碳排放约50%。随着多种形式能源及分布式发电资源的渗透，传统用能建筑正转变为以建筑为主体的多能源系统。因此，如何开展建筑优化调度与能量管理，已成为实现建筑经济运行、促进建筑减排的关键问题。
主要内容：本文提出多重不确定性影响下基于深度强化学习的区间多目标优化智能建筑调度方法。在源荷不确定性基础上，考虑建筑热弹性、设备参数、响应程度、智能建筑围护参数、环境温度等多重不确定性因素，采用区间数等方法进行建模；以运行成本最低及用户舒适度最优为目标，创新性地提出基于深度强化学习的区间多目标粒子群算法对其求解，通过深度强化学习指导区间多目标优化，提升寻优效率及算法收敛性，以实现系统最优运行。具体模型与算法耦合关系如图1。
图1 技术路线图
部分仿真结果如图2。
(a) 经济性方案
(b) 舒适性方案
图2 调度结果
结论：
1）基于深度强化学习的区间多目标粒子群算法利用DQN与IMOPSO交互，学习建筑模型状态、动作、奖励间的隐式关系，进而指导区间种群运动，可以实现Pareto前沿的快速逼近与区间收敛。求解得到负荷动作策略区间，将对优化决策由点拓展到区间，克服了传统确定性方法以点代面的分析思想，提高了调度互动的灵活性。
2）随着置信区间的减小，运营成本区间与综合成本区间均会缩小，在置信度区间为80%时，成本运行区间为98.02元，占成本区间均值的6.62%；而置信度区间为98%时，运行成本区间宽度增加155元，占成本区间均值上升到9.69%。通过不确定性程度增加，调度方案的保守性风险增大，降低不确定性能够提高调度互动的灵活性，并一定程度降低调度成本。
需要指出的是，本文在负荷动作空间的取值上进行了离散化处理，基于深度强化学习算法的变量连续性问题仍有待优化。且考虑的系统用能需求不够全面，同时包含电负荷、热负荷、氢负荷及气负荷等用能需求的综合能源系统协同优化有待进一步研究。
相关研究得到国家自然科学基金（52177110）等项目的资助，特此感谢！
主要作者简介：
何梓姻，本科毕业于东北电力大学，2022年考入智慧电力与双碳实验室团队就读硕士研究生，主要研究方向为电动汽车与电网互动，电力市场等。本科期间参与2020年高教社杯全国大学生数学建模竞赛获吉林赛区省二等奖等，研究生期间获第一届中国研究生“双碳”创新与创意大赛三等奖等，研究生期间参与国际会议并作口头汇报2次，发表电力系统自动化等多篇高水平论文，2023年度国家奖学金获得者。
图3 2023年7月何梓姻与侯老师在重庆
陈跃，武汉理工大学2016级本科生、2020级研究生，现已毕业。2019年9月底，由于本科期间参与大学生节能减排等国赛获奖，以具有突出创新能力潜质获得武汉理工大学B类推免资格，加入武汉理工大学智慧电力与双碳实验室就读硕士研究生，当年获研究生卓越奖学金。研究生期间参与第十六届中国研究生电子设计大赛并获初赛一等奖等，多次参与国际会议，读研期间发表IEEE Transactions on Industry Application, Energy and Buildings，电网技术等高水平期刊论文多篇。连续3年获得校一等奖学金，荣获校三好研究生、一汽解放领航社会奖学金等多项荣誉。
图4 2023年6月陈跃与侯老师在武汉理工大学自动化学院
转载本文请联系原作者获取授权，同时请注明本文来自侯慧科学网博客。
链接地址：https://wap.sciencenet.cn/blog-3557656-1408300.html?mobile=1
收藏
