引用本文

涂静正, 温晓婧, 陈彩莲, 关新平. 基于边缘计算的工业视频网络智能感知: 挑战与进展. 自动化学报, 2025, 51(8): 1715−1738 doi: 10.16383/j.aas.c240668

Tu Jing-Zheng, Wen Xiao-Jing, Chen Cai-Lian, Guan Xin-Ping. Edge computing based intelligent perception for industrial video network: Challenge and progress. Acta Automatica Sinica, 2025, 51(8): 1715−1738 doi: 10.16383/j.aas.c240668

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c240668

关键词

工业网络系统，工业视频网络，智能感知，边缘计算，多目标跟踪

摘要

工业视频网络是由工业网络系统现场层的视觉感知终端组成的网络, 是实现工业网络系统泛在感知的重要基石. 通过支持边缘计算层和现场设备层之间的交互和物联, 工业视频网络将独立的视觉传感器单元无线连接、边缘处理, 以实现空间分散下的协作监控和精确感知. 它具有感知维度高, 网络动态性强, 感知与传输、计算、存储紧密耦合等突出特性. 如何在计算、网络、存储资源受限环境下实现终端压缩提纯、边缘协作处理、云端敏捷分析, 是这类系统研究的新挑战. 本文首先简述工业视频网络的定义和主要特征; 其次分析工业视频网络智能感知面临的挑战和关键问题; 然后综述基于边缘计算的工业视频网络智能感知关键技术的研究进展; 最后对工业视频网络智能感知的未来研究方向和潜在应用前景进行总结和展望.

文章导读

日新月异的视觉感知技术、计算技术和通信技术使得人们的社会生活发生巨大变化. 以数字化、网络化和智能化为核心的新一轮工业革命和技术革新已经到来. 2015年3月, 国务院颁布 《中国制造2025》; 2017年11月, 国务院颁布 《关于深化“互联网$+ $先进制造业”发展工业互联网的指导意见》; 2021年4月, 工业和信息化部颁布 《“十四五”智能制造发展规划》 意见稿, 迫切希望能够推动智能制造关键技术攻关与行业数字化、智能化发展.

工业网络系统是融合智能感知、边缘计算、通信组网和系统控制的现场级高维动态系统, 是实现现场泛在感知与互联协同的关键支撑[1−3]. 通过将感知、计算、通信与控制技术进行深度融合与综合协作, 可实现大型工厂的高效感知、可靠传输和信息服务. 其中, 视觉感知是最常用、最具智能潜力的感知手段. 其定义如下: 视觉感知是以电荷耦合器件(Charge-coupled device, CCD)或互补金属氧化物半导体(Complementary metal oxide semiconductor, CMOS)器件等图像传感器作为传感器输入, 经过一系列的计算和处理, 对光学传感器周围的环境信息做精确感知, 目的在于为工厂智能安防监控提供准确丰富的信息, 如被检测物体的定位等, 同时能够给出抽象层面的语义信息. 在工业网络环境中, 如何系统设计多视频流的智能感知方法, 在受限计算资源、网络资源、存储资源的前提下, 满足工业视觉应用的高精度、低时延需求, 将成为工业网络系统高效运行的关键支撑. 如何实现工业网络环境中多视频流的高效、可靠感知, 已成为当前的重要课题及前沿方向.

图 1  工业网络系统的整体架构

图 2  工业视频网络关键技术

智能工厂正面临智能化、数字化、信息化的转型浪潮[180], 视频和图像数据的渗透率呈现爆发性增长态势. 新的工业视频网络感知范式会不断涌现, 应用范围将不断扩大. 可以预见, 通过综合考虑感知、传输与计算的联合设计, 来实现工业网络系统的泛在感知将成为一个重要的研究方向.

本文最后提出一些重要但尚待解决的问题以及未来值得深入探索的研究方向. 图14绘制工业视频网络的技术趋势图, 分为工业应用层、边缘计算层和现场设备层三个部分, 各项未来技术按照两个维度进行分类(借鉴国际专业信息服务公司Gartner每年发布的新兴技术成熟度曲线). 一是技术所处阶段, 包括技术萌芽期、期望膨胀期、泡沫破裂低谷期、稳步爬升复苏期和生产成熟期. 二是距离生产成熟期的时间, 用不同图例标注, 包括2年以内、2 ~ 5年、5 ~ 10年、10年以上等.

图 14  工业视频网络的技术趋势图

1)工业视频网络多源、多模态数据对齐与融合

本文所提的工业视频网络架构, 仅考虑在终端层部署CCD或CMOS传感器节点, 未考虑部署其他类型的视觉传感器, 例如红外传感器等. 然而, 随着智能工程应用场景逐渐增多, 未来的终端层将会部署多类传感器, 进行多源、多模态数据采集工作. 在这种背景下, 未来可考虑多种不同类型的感知设备与感知信息, 例如深度图、红外图像、激光雷达点云数据[181−182]等视觉信息以及无线信号等通信感知信息[183−184], 设计多源数据融合方法, 提高感知精度.

2)工业视频网络云边端协同分析

在实际应用中, 工业现场存在非周期的突发性时变电磁干扰, 可能导致通信丢包等问题. 针对工业现场通信时断时续、带宽时高时低导致的工业视频网络跨层传输不可靠问题, 需设计云边端协同分析的智能视频分析方法, 考虑通信带来的干扰和噪声, 进行云边协同、边端协同、云边端协同处理, 实现工业视频网络的高效、可靠运行. 此外, 未来应充分利用视频流与视频流之间的时空关联信息和相机网络拓扑线索, 从而更好地实现工业视频网络的智能感知.

3)构建工业多模态大模型, 未来实现工业领域可信世界大模型

随着ChatGPT引发的人工智能革命, 大模型以极强的自然语言理解、知识问答能力带来新的机遇和挑战. 在智能制造领域, 构建领域专用大模型, 实现多模态理解和智能推理已成为趋势. 未来, 可研究全景视频内容生成、空间分片自适应传输、视频重定向(Retargeting)、视频渲染等方法, 提高用户沉浸式体验质量, 为实现真正的数字孪生体[185]、工业多模态大模型及元宇宙世界提供关键支撑技术.

作者简介

涂静正

上海交通大学自动化系博士研究生. 主要研究方向为工业网络系统的视频智能分析与边缘计算. E-mail: tujingzheng@sjtu.edu.cn

温晓婧

上海交通大学自动化系助理研究员. 主要研究方向为感知−通信−计算协同设计, 工业网络系统, 边缘计算及工业网络切片. E-mail: xiaojingwen@sjtu.edu.cn

陈彩莲

上海交通大学自动化系特聘教授. 主要研究方向为无线传感器网络与工业应用, 计算智能, 分布式状态感知与优化, 智能交通中车联网及应用. E-mail: cailianchen@sjtu.edu.cn

关新平

上海交通大学自动化系讲席教授. 主要研究方向为工业信息物理融合系统, 智能工厂中无线网络及应用, 水下传感器网络. 本文通信作者. E-mail: xpguan@sjtu.edu.cn