针对智能交通系统中传统RGB相机夜间检测失效的难题，本研究创新性地提出事件相机与RGB相机的自适应融合框架，通过自适应选择与融合模块动态筛选显著特征，并通过基于多模态注意力融合的特征金字塔网络深度提取融合信息，在自建数据集NightDVS22上实现多模态协同优化。该方法在极暗场景有效克服传统相机动态范围不足与事件相机静态场景失效缺陷，检测效果显著优于现有融合模型。该方法不仅为自动驾驶提供夜间安全感知新方案，开源的NightDVS22数据集更填补了多模态夜间检测数据空白，推动事件相机在低光视觉任务中的广泛应用。

中文标题：基于事件相机与传统相机数据自适应融合的夜间交通目标检测

英文原题：Nighttime traffic object detection via adaptively integrating event and frame domains

通讯作者、第一作者：姜宇，吉林大学

关键词：环境感知；智能交通；夜间目标检测；事件相机；多模态学习

研究背景

传统RGB相机在光线不足时，易出现成像模糊、细节丢失等导致检测算法失灵。相反，事件相机通过异步捕捉亮度变化，能在高速或低光场景中清晰记录动态物体。但事件相机也有其局限性：当场景静止时（如停在路边的车辆），它几乎无法触发有效事件流。如下图对比所示，在黑暗路段，事件相机（图1，b，d）能清晰捕捉车辆轮廓，而RGB相机（图1，a，c）则一片模糊；但在静止场景，RGB相机反而更可靠。

研究成果

1. 自适应选择与融合模块

为了解决多模态数据融合的不平衡问题，团队开发了自适应选择与融合模块（ASFM）。该模块能动态“筛选”关键特征：在RGB主导场景中强化帧特征，在事件主导场景中激活事件特征，并抑制无关噪声。其工作流程如下：

1) 特征提取，事件与RGB数据分别通过编码器生成多尺度特征。

2) 权重计算，通过自注意力机制评估每个通道的重要性。

3) 动态融合，基于阈值对特征通道排序，放大显著特征，抑制弱相关特征（如图2所示）。

实验证明，ASFM让融合精度提升12%，是夜间检测的“智能调度器”。

2. 基于多模态注意力融合的特征金字塔网络

融合后的数据需进一步挖掘细节。团队基于YOLOX架构设计了基于多模态注意力融合的特征金字塔网络（MAF-FPN），其核心是深度特征提取模块（DFEM），结合了：

（1）多尺度特征聚合，整合不同层级的语义信息。

（2）空间注意力机制，强化目标物体的空间位置。

（3）Transformer模块，全局与局部特征交互，提升鲁棒性。

如图3所示，DFEM通过多级分支处理特征，确保小目标（如远处行人）也不会漏检。

3. 构建夜间交通专用数据集

为验证方法，团队构建了首个夜间交通专用数据集 NightDVS22，包含49,680组RGB-事件同步数据，涵盖高速路、交叉口、无灯路段等多种场景。在测试中，该方法在NightDVS22和公开数据集DAD上均刷新纪录：

NightDVS22的mAP达40.6%，比单RGB相机（28.7%）提升近12%。

在极暗场景，车辆和行人检测置信度更高，框定更精准，如图4所示。   

未来方向

这项研究不仅解决了夜间检测痛点，提升自动驾驶车辆在低光环境的安全性，还可延伸至低光图像重建、高速运动检测等场景。

主要作者简介

姜  宇  吉林大学计算机科学与技术学院副教授、博士生导师。研究方向为智能感知与认知计算、机器视觉。现任中国仿真学会机器人系统仿真专委会委员，担任CES副主编、浙大学报（英文版）等国际期刊客座编辑。主持国家自然科学基金青年科学基金项目（C类）、面上项目等；获吉林省自然科学二等奖等。

引用本文

Yu Jiang, Yuehang Wang, Minghao Zhao, et al.,Nighttime traffic object detection via adaptively integrating event and frame domains. Fundamental Research. 5(4) (2025) 1633-1644.

原文链接（复制到浏览器中查看）：https://www.sciencedirect.com/science/article/pii/S2667325823002376

Fundamental Research是由国家自然科学基金委员会主管、主办的综合性英文学术期刊。创刊于2021年，期刊立足反映国家自然科学基金资助的优秀成果，全方位报道世界基础研究前沿重要进展和重大创新性成果，提升中国基础研究和中国科学家在国际科学界的显示度和影响力，为中外科学家打造一个高端的国际学术交流平台。内容涵盖数学物理、化学化工、生命科学、地球科学、工程与材料科学、信息科学、管理科学、健康医学、交叉科学等领域，设置Article、Review、Highlight、Perspective、Commentary、Letter和News&Views等栏目。期刊已被ESCI、Scopus、DOAJ、PubMed、CAS（美国化学文摘社）、CSCD（中国科学引文数据库）、CSTPCD（中国科技论文与引文数据库）等国内外知名数据库收录。2024年影响因子6.3，位于综合性期刊Q1区。2024年入选中国科技期刊卓越行动计划二期英文梯队期刊项目。欢迎广大科研工作者关注、投稿、引用！