浓密机示意图

在此，北京科技大学班晓娟教授团队探索了强化学习方法在工业领域中的应用，构建了工业浓密机物理模型，验证了方法的有效性，主要贡献总结如下:

1) 提出了一种基于ADP 算法架构的启发式评价网络值迭代算法 (Heuristic critic network valueiteration， HCNVI)。该算法仅通过评价网络、模型网络和梯度优化算法即可求解系统最优控制输入。

2) 提出了一种适用于评价网络训练的短期经验回放技术。训练评价网络时， 将短期内系统运行轨迹数据共同用于模型训练， 该方法可以有效增强评价网络收敛速度。

3) 通过浓密机仿真实验验证了HCNVI 算法的有效性。实验结果表明本文提出方法在时间消耗、控制精度上均优于其他对比方法。

HCNVI算法结构示意图

在控制动作决策算法设计部分，本文提出了一种不需要引入动作网络，直接利用迭代梯度下降算法即可求解系统最优控制输入的高效优化算法，算法流程如下所示：

迭代梯度下降控制算法流程

为了验证利用迭代梯度下降算法计算控制动作的有效性，对计算迭代过程做可视化，图中颜色深浅代表控制策略的长期性能评价，可以发现该方法能够精确地找到符合最优控制的极值点。

迭代梯度下降过程可视化

为了更直观地展示增加短期经验回放对评价网络学习过程的影响， 本文对评价网络的输出进行了可视化，说明短期经验回放技术可以提高网络学习效率。

控制实验环节，本文采用浓密机仿真模型，比较了浓密机进料在高斯噪声波动下，不同方法的对于浓密机底流浓度的控制结果。从底流浓度变化和效用值变化可以看出本文的HCNVI算法在控制效果和计算时间消耗都优于其他算法。

底流浓度变化

效用函数值变化

HCNVI算法与HDP算法在时间消耗上的对比

本文提出的短期经验回放技术可以很好地增强评价网络训练的稳定性，在其他自适应动态规划算法中也具有较好通用性。根据仿真实验验证结果可以发现，相比其他在线ADP 算法，由于HCNVI算法模型结构简单，且具有较高的学习敏捷性，因此在浓密机仿真系统控制问题中，HCNVI 算法消耗了更少的训练时间但获得了更优的控制效果。 

HCNVI算法也存在自身的局限性，其去掉动作网络的可行性是建立浓密机具有运行缓慢、稳定的特性基础之上的。但是当被控系统相对复杂且不再具有此特性时，如系统状态量变化过程并不连续或系统运行速度较快，HCNVI 依靠迭代算法求解的控制量难以保持最优性， 控制性能极有可能产生退化。如何使HCNVI 算法以及其他无动作网络类自适应动态规划类算法适用于此类复杂被控系统，在优化训练时间消耗的同时保证其控制性能与收敛速度， 将是未来非常有意义的研究方向。