在碳中和的愿景下，大规模可再生能源将接入能源系统。建筑能耗是能源需求侧的重要组成部分，大约可以占到社会总能耗的30%-40%。如何使建筑用能从刚性转为柔性，帮助可再生能源消纳成为了实现碳中和的关键问题。然而，可再生能源发电与建筑用能的时间不匹配性给建筑高效消纳可再生能源带来了挑战。另外，由于建筑的用能设备性能与功能多样、可调资源多且分散、用户行为不确定性高，传统的集中调控方法在荷载可扩展性、用能行为不确定性等方面面临着挑战。

近日，清华大学深圳国际研究生院张一团队在光储直柔建筑的调控方法上取得新进展。通过结合分布式直流能源系统和深度强化学习算法，团队成功开发出一种名为DC-RL的新型建筑能源控制方法（图1），在用户可随时根据意愿调整参与柔性调节的负载种类和数量的前提下，实现建筑能源系统中多设备多资源基于物理信号进行自律式调节。

图1.DC-RL建筑能源控制方法

DC-RL设计了一个分布式直流能源系统，建立了柔性电器、储能电池、电动汽车柔性需求响应模型，控制系统通过直流母线电压信号直接驱动终端设备协同实现无级柔性需求功率调节，降低通信复杂度和成本，极大程度地提升了负载的可扩展性。同时，用户可以根据自身意愿调整参与柔性功率调节的负载种类和数量；系统可以在不同程度的用户意愿参与度下进行柔性调节。

在能源控制方面，DC-RL采用了一种无模型的深度强化学习（DRL）算法Soft-Actor-Critic（SAC）来调整需求以匹配可再生供应，同时保持用户满意度。DC-RL在可再生能源供需匹配上提升了38%，同时提升了9%的用户满意度。与基线方法相比（图2），DC-RL降低了负载响应时间，实现了柔性负载快速精准响应；由于DC-RL基于无模型的强化学习方法，避免了模型预测误差对控制策略的影响，提升了面对不确定性较大负载时的稳定性。

图2.DC-RL与基线方法控制效果比较

相关成果近日以“一种结合分布式直流能源系统和深度强化学习的可再生建筑能源系统新型运行方法”（A novel operation method for renewable building by combining distributed DC energy system and deep reinforcement learning）为题，发表于《应用能源》（Applied Energy）期刊上。

清华大学深圳国际研究生院2019级直博生邓翔天为论文的第一作者，清华大学深圳国际研究生院张一副教授为论文的通讯作者。论文作者还包括清华大学建筑学院江亿院士、清华大学自动化系张毅教授、中国建筑科技集团齐贺教授级高级工程师。该研究得到中国建筑集团有限公司基础研究项目和中国南方电网公司基础研究项目的支持。