随着车路协同和智能网联技术的发展，信号交叉口的车辆速度引导正逐步由规则控制向数据驱动决策转变。然而，传统GLOSA等规则方法适应性相对有限，MPC等优化方法又可能面临实时计算压力；在线强化学习虽然能够通过交互优化控制策略，但在真实车辆上开展反复探索存在一定安全风险和数据采集成本。与此同时，大规模自然驾驶轨迹和信号配时数据不断积累，为直接从真实驾驶行为中学习安全、舒适且高效的控制策略提供了新的数据基础。
针对这一问题，韩国科学技术院（KAIST）、澳门大学、美国威斯康星大学麦迪逊分校、东南大学和清华大学组成的研究团队，提出了一种基于评论家正则化回归（CRR）的离线强化学习速度引导框架。研究利用真实车辆轨迹与信号相位和配时（SPaT）信息构建MDP数据集，将车辆速度、停车线距离、前车相对状态以及信号信息纳入状态空间，并在奖励函数中综合考虑行驶效率、加加速度（jerk）和碰撞时间（TTC），从历史驾驶数据中筛选并强化相对优质的驾驶行为。
研究基于UCF-SST-CitySim自然驾驶轨迹数据进行训练，并在SUMO环境中将CRR与GLOSA、MPC、BC、BCQ和TD3等方法进行比较。结果表明，CRR能够在安全、舒适与通行效率之间取得较为均衡的表现：与规则基线相比，实验中的平均TTC由2.75 s提高至8.53 s，平均jerk由1.17 m/s³降低至0.58 m/s³，降幅约50%，平均车头时距保持在约1.68 s。同时，其单次决策计算时间约为0.0097 s，低于MPC的0.0399 s。进一步的混合交通、消融及通信失效实验显示，前车运动信息、SPaT信息和奖励函数设计对策略稳定性具有重要影响，而在V2V或V2I信息缺失情况下，该策略仍表现出一定的鲁棒性。
该研究表明，利用自然驾驶轨迹开展离线强化学习，为减少真实车辆在线试错、提升信号交叉口速度引导的安全性和实时性提供了一种可行思路。未来，研究团队计划进一步将CRR框架与车辆协同控制系统结合，使速度引导从单车决策拓展至更广泛的车路协同场景。与此同时，面向实际部署，还可进一步关注复杂通信条件、异质交通参与者和更丰富交叉口结构下的策略泛化能力，以推动离线强化学习方法在智能交通系统中的进一步应用。
CRR算法框架
了 解 更 多
本文链接
https://doi.org/10.26599/JICV.2026.9210085
查看全文
引用本文
Shi X, Lu Y, Sheng Z, et al. Learning to drive from naturalistic trajectories: Offline reinforcement learning for safe speed guidance at signalized intersections. Journal of Intelligent and Connected Vehicles, 2026, 9(3): 9210085. https://doi.org/10.26599/JICV.2026.9210085
JICV亮点
我国自主创办的第一本以智能汽车为主题的完全开放获取英文学术期刊
期刊分区表：大类 工程技术大类1区Top期刊；小类 运输科技2区
ESCI（影响因子6.3，Q1区）
Ei Compendex
中国科技核心期刊CSTPCD
Scopus（CiteScore2025为13.3）、Inspec、DOAJ、ProQuest等数据库收录
入选北京市2026年度支持高水平国际科技期刊建设-强刊提升项目
入选2023年度“中国科技期刊卓越行动计划”高起点新刊（全国49项）
中国汽车工程领域高质量科技期刊—T1级
公路运输领域高质量科技期刊—T1级
国际论文占63%
拥有42位编委会成员，国际编委28人（占67%），包括4位女性编委和4位各国院士
作者来自12个国家和地区，作者单位包括剑桥大学、卡耐基梅隆大学、东京大学、瑞典皇家理工学院、美国普渡大学、莫纳什大学、德累斯顿工业大学、俄亥俄州立大学、查尔姆斯理工大学等
欢迎关注
转载本文请联系原作者获取授权，同时请注明本文来自SciOpen TUP科学网博客。
链接地址：https://wap.sciencenet.cn/blog-3563286-1557624.html?mobile=1
收藏
