科学网-【精选导读】递归神经网络及其应用-欧彦的博文

【精选导读】递归神经网络及其应用

2024-4-22 16:13

阅读：878

本期推荐3篇递归神经网络在时间序列预测、测距定位以及多输入多输出重复系统控制领域的应用相关文章，文末获取文章完整PDF~

X. Chen, M. Liu, and S. Li, "Echo state network with probabilistic regularization for time series prediction," IEEE/CAA J. Autom. Sinica, vol. 10, no. 8, pp. 1743-1753, Aug. 2023, doi: 10.1109/JAS.2023.123489.

L. Wang, X. Du, and C. Li, "A range-based node localization scheme for UWASNs considering noises and aided with neurodynamics model," IEEE/CAA J. Autom. Sinica, vol. 10, no. 11, pp. 2168-2170, Nov. 2023, doi: 10.1109/JAS.2023.123348.

Y. Hu, C. Zhang, B. Wang, J. Zhao, X. Gong, J. Gao, and H. Chen, "Noise-tolerant ZNN-based data-driven iterative learning control for discrete nonaffine nonlinear MIMO repetitive systems," IEEE/CAA J. Autom. Sinica, vol. 11, no. 2, pp. 344-361, Feb. 2024, doi: 10.1109/JAS.2023.123603.

Echo State Network With Probabilistic Regularization for Time Series Prediction

研究背景 递归神经网络（Recurrent Neural Networks，RNNs）是一种主流的序列数据处理模型，其能处理输入数据之间的时间关系。然而，在实践中，由于梯度消失和梯度爆炸等问题，使得训练标准RNN变得困难。作为一种特殊类型的RNN—回声状态网络（Echo State Networks, ESNs）被提出和开发，其核心思想在于保持内部连接权重不变，同时只需训练网络输出权重。通过将一个复杂的非线性优化问题转变为线性问题，显著地简化了ESN训练过程。然而，现有关于ESN的研究大多是在假设数据没有噪声或仅受高斯噪声污染的条件下进行，导致模型缺乏鲁棒性，难以应对现实世界的复杂任务。因此，研究可抗不同类型噪声干扰的ESN以提升其鲁棒性和泛化性成为当前的一项研究热点。

成果介绍 兰州大学开源软件与实时系统教育部工程研究中心针对现有ESN抗噪性的不足，提出一种具有鲁棒性保证的概率正则化回声状态网络（PRESN）。研究成果“Echo State Network With Probabilistic Regularization for Time Series Prediction” 发表于IEEE/CAA Journal of Automatica Sinica 2023年第8期，DOI:10.1109/JAS.2023.123489.

与标准ESN不同，该模型设计了一种新的目标函数，用于最小化建模误差的均值与方差，而这也是首次将建模误差的分布信息纳入ESN的建模过程中。随后，论文推导和设计了相应的PRESN输出权重确定方案，并通过理论分析揭示了所提模型的泛化性、鲁棒性和无偏估计的能力。最后，在时间序列预测领域的基准数据集和真实世界数据集上的实验，以及与其它预测模型的对比实验验证了所提PRESN的有效性和优越性。

图1 使用不同模型预测Lorenz时间序列的实验数据及实验结果展示

表1 不同模型预测太阳黑子序列的性能比较

表2 不同模型预测中国上海三个城市每小时PM 2.5 浓度的性能比较

作者及团队

陈秀芳，兰州大学信息科学与工程学院博士研究生。研究方向包括神经网络、时间序列预测、机器人控制等。

刘梅，兰州大学信息科学与工程学院科研助理。主持国家自然科学基金青年、甘肃省自然科学基金面上/青年、中央高校优秀青年、中国-中东欧国家高校合作项目以及教育部百度教研项目等。获得甘肃省科技奖自然科学二等奖、吉林省科技奖自然科学三等奖、川渝科学技术大会优秀论文二等奖等。目前担任包括Electronics Letters 等SCI期刊客座编辑等职务。研究兴趣包括机器人以及智能计算。

李帅，兰州大学信息科学与工程学院教授。累计发表论文百余篇，包括递归神经网络、机器人与人工智能领域国际顶级期刊，总计发表IEEE Transactions系列论文百余篇，其中多篇论文入选ESI高被引论文；在Wiley与Springer出版社出版英文专著4部；申请并授权发明专利10余项。相关研究成果得到了国际学术界的广泛关注和高度评价，论文被国内外同行引用11635次，H-index为59。

A Range-Based Node Localization Scheme for UWASNs Considering Noises and Aided with Neurodynamics Model

研究背景 水声传感器网络凭借强大的水下监测能力以及部署灵活性，在海洋科学领域有着广泛的应用前景。基于到达时间差的测距方案因具有较高的定位精度，成为水声传感器网络中满足精准时空数据需求的首选方案。近年来，各种带有移动功能的航行器得以应用，这在提高网络可扩展性的同时为节点定位带来了挑战。并且，与陆地传感器节点不同的是，处在水下的节点在洋流的作用下不可避免地持续产生动态位移。然而，传统的测距定位方法由于缺乏时间导数信息而难以实现动态场景下的精确定位。此外，在实际应用中，定位参数信息的获取过程中受环境噪声影响，导致定位精度严重减退。归零神经动力学方法为解决上述挑战提供了一种新的思路。“归零”在于把待求的位置计算问题转变为常微分方程形式的误差寻零问题，通过利用时间导数项，以迭代的方式寻求常微分方程的平衡点。综上，本文针对动态场景下受噪声影响的测距定位，提出了一种基于归零神经动力学的定位方法。

成果介绍 青海师范大学计算机学院杜秀娟教授团队提出了一种面向水声网络考虑噪声并辅以神经动力学模型的测距定位方法。该方法卡尔曼滤波技术以及带有积分反馈的归零神经动力学模型，实现了适应水下复杂环境且具有较高定位精度以及移动定位稳健性。此外，还探究了锚节点个数对于定位性能的影响，适当增加锚节点的数量有利于提高该方法的定位精度。研究成果“A Range-Based Node Localization Scheme for UWASNs Considering Noises and Aided with Neurodynamics Model”发表于IEEE/CAA Journal of Automatica Sinica 2023年第10期, DOI: 10.1109/JAS.2023.123348.

本文研究问题面临节点位置动态变化以及环境噪声干扰等挑战，因此，本文旨在为动态场景下受噪声影响的测距定位，提出了一种基于鲁棒归零神经动力学的定位方法。具体而言，利用卡尔曼滤波技术处理距离测量信息中携带的测量噪声和过程噪声，以补偿测量偏差，保证位置反馈的准确性；继而，将滤波结果作为归零神经动力学模型的输入，用于确定目标节点的位置。同时，引入积分反馈项，抵消求解过程中系统遭遇的内部扰动，进一步提高定位方法的鲁棒性。提出的定位方法应用于理想的零扰动环境下二维/三维节点定位问题的仿真结果如图1所示，该方法在不同扰动空间下的定位效果如图2所示，仿真结果表明提出的定位方法在水下噪声干扰严重时，仍能实现高精度的定位效果。

图1 零扰动环境下的定位效果图

图2 不同扰动空间下的定位效果图

作者及团队

王丽娟，青海师范大学讲师，硕士生导师，入选青海省“昆仑英才”拔尖人才。主要研究方向包括无线网络与安全、神经网络等。

杜秀娟，青海师范大学教授，博士生导师，教育部新世纪优秀人才，青海省“昆仑英才”专业技术领军人才，青海省自然科学与工程技术优秀学科带头人。多年从事无线网络与安全、物联网技术等Web智方面的研究，主持国家自然科学基金地区基金、973前期研究专项等项目；相关成果获CCF科技进步二等奖、青海省科技进步三等奖。

李冲，青海师范大学博士研究生，主要研究方向包括水声传感器网络路由算法以及媒体访问控制机制等。

Noise-Tolerant ZNN-Based Data-Driven Iterative Learning Control for Discrete Nonaffine Nonlinear MIMO Repetitive Systems

研究背景 高速列车和机械臂等系统都具有在有限的时间内重复地执行相同控制任务的特性。迭代学习控制为这类具有重复特性的系统提供了一种有效的解决方法。迭代学习控制中的“学习”是指在构造当前控制算法时，利用存储设备中存储的前几次迭代过程中产生的控制输入和跟踪误差信息，对当前控制输入进行学习和修正，以提高当前迭代的控制性能。数据驱动控制是指在控制器设计中不明确包含被控过程的数学模型信息，而仅利用被控系统的在线或离线输入输出数据以及通过数据处理获得的知识来设计控制器，数据驱动控制方法为复杂系统的精确控制和优化提供了一种新的思路。此外，在实际工程应用中，噪声是普遍存在且不可避免的，这可能导致一些算法求解任务失败。综上，本文针对一类受各种噪声污染的离散非仿射非线性多输入多输出系统，提出了一种新的数据驱动迭代学习控制方法。

成果介绍 吉林大学通信工程学院胡云峰教授团队联合同济大学电子与信息工程学院陈虹教授团队，提出了一种面向多输入多输出重复系统的抗噪型数据驱动迭代学习控制方法，该方法利用动态线性化技术以及抗噪调零神经网络，实现了对受各种噪声污染的离散非仿射非线性系统的精确控制。此外，该方法成功应用到了燃料电池热管理系统，实现了对燃料电池电堆温度的精确控制。研究成果“Noise-Tolerant ZNN-Based Data-Driven Iterative Learning Control for Discrete Nonaffine Nonlinear MIMO Repetitive Systems”发表于IEEE/CAA Journal of Automatica Sinica 2024年第2期, DOI: 10.1109/JAS.2023.123603.

本文研究问题所面临控制挑战如图1（b）所示：非线性控制、多输入多输出系统的解耦控制和数据噪声污染抑制。因此，本文旨在为受到噪声污染的离散非仿射非线性多输入多输出重复系统，提出一种特定的数据驱动迭代学习控制方法。具体而言，利用迭代动态线性化技术和迭代扩展状态观测器得到与原系统等价的解耦动态线性化数据模型，用于后续控制器的综合，如图1（a）所示。在此基础上，融合数据模型和抗噪调零神经网络，提出了迭代学习控制方法，系统控制框图如图1（c）所示。提出的数据驱动迭代学习控制方法应用于燃料电池热管理系统，其原理图如图2所示，控制效果如图3所示，仿真结果表明提出的控制方法在系统输出受到噪声污染时，仍能实现高精度的控制效果。

图1 基于抗噪调零神经网络的数据驱动迭代学习控制方法

图2 燃料电池热管理系统原理图

图3 燃料电池热管理系统性能验证

作者及团队

胡云峰，吉林大学唐敖庆特聘教授，博士生导师，入选国家级青年人才，吉林省杰青，长春市第八批有突出贡献专家。主要从事汽车动力总成系统建模与优化控制、智能汽车规划控制及测试评价方面的研究工作。主持国家自然科学基金区域创新发展联合基金、科技创新2030-“新一代人工智能”重大专项-课题等项目；相关成果获中国自动化学会技术发明一等奖1项、中国交通运输协会科学技术奖一等奖1项、吉林省科技进步二等奖1项。