控制类收藏夹分享 http://blog.sciencenet.cn/u/lugh56

博文

【知乎】多智能体协同控制未来的前景和方向如何?

已有 2152 次阅读 2022-3-31 16:18 |系统分类:科研笔记

多智能体协同控制产生于21世纪初。到如今已经发展了二十余年。积累了大量的论文,也是时候开始讨论讨论未来的走向了。在这里就用六千字的啰嗦,说明一下个人的感受,供各位批评指正。

1.从基本一致性出发

正如其他答案所说,关于多智能体系统协同控制主要研究在于一致性。一致性,简单理解,就是网络当中的每一个个体都达到了同一个状态。如果我们从数学角度理解的话,就可以归结成微分方程的稳定性问题。关于稳定性问题,我们有很多的研究工具。特别对于多智能体系统而言,针对拉普拉斯矩阵的性质。也有一些比较成熟的处理工具,大家如果看这方面认为比较多的话,相信都会有这样一个感觉:场景虽然不同,但是核心方法都是类似的。如何构造组合出这些场景,其他答案已经说的非常的清晰了,所以说这里就不再重复。放张图吧

顺带一提,场景上的新东西,大多一阵阵的都火上几年,然后又一阵阵被更新的东西所代替,如果入场晚,像其他答案所说,一方面容易无效卷起来,另一方面也会对热情产生损害,研究问题当中本来解决不了已经存在的困难就够心塞了,自己给自己制造困难则更为难受。当然,最开始或者较早开始做的感受就不一样了。而站在今天来看,什么算早入场,这是本篇回答所重点关注的地方。希望能通过这种简单的记录,帮助思考一下这个问题。

既然问题是探讨未来,未来这个词又太过于宏大。一个好的办法是通过现在的研究基础慢慢展望一下。那么,首先我们来看这个一致性的定义。网络中的每一个个体都达到同一个状态。比如说这个状态是位置信息的话,那么说。全部的个体从四面八方而来,都汇集到了一个位置。那么一个很自然的拓展就是,如果我们设计的目的是:要求一部分个体去A点会合,一部分个体去B点会合。或者说类似的这类情况。那么这种情况又该如何处理呢?这里就引出了一个有关键词。叫分组一致或者聚类一致(gourp consensus or cluster consensus or multi consensus)。这方面的研究基础是讨论矩阵的零特征值的重数,结合比较特殊的网络结构(比如Eqiutable partition or Acyclic partition)或者满足一定条件的组间耦合关系。

又比如近几年的研究当中,出现了对于一致性的进一步限定。比如positive consensus:

The positive systems mean that the states of the systems can be always nonnegative for any nonnegative initial conditions. Some significant conclusions have been acquired for the positive consensus of integer-order multiagent systems (IOMASs).

再比如搞研究时经常想到的“有何必要”疑问,如何我们按这个角度来看,让所有个体都精确达到一个相同的状态,是永远必要的吗?比如我们需要驱赶群体越过某条线,大于某个值算个体通过,而不去管它究竟大了多少,或者对于投票模型,设定个体状态超过某个数即为同意,只关心是不是同意票,而不关心个体同意的程度。这个目标在2018年被拿出来单独研究,至今也产生了那么几篇文章吧,称作Herdability,属于刚开始的研究阶段。诸如此类有意思的概念,等等等等。

2.社会网络与多智能体

第一部分提到了目前对于基本一致性概念的一些改进和拓展。提到了几个,算是比较新的。但也是能够归为一致性一类的概念。但仅仅有某个研究目标或理想状态是完全不够的。这部分就把思维稍微的发散一下。考虑一下场景问题。

当然,这里所提到的场景,不是指之前提到的罗列关键词的列表式场景,也不是将理论用到工程应用比如编队的场景,这两部分其他的回答已经讨论的比较详细了。本片回答还是主要以理论视角为主。

多智能体系统,不仅可以用来建模工程系统,还可以用来建模社会系统。一旦有了这么一个认识,那么很自然的就可以去考虑比如观点动力学(Opinion Dynamic)问题,疾病传播动力学问题。比如拿观点动力学问题来说,虽然模型与工程系统不一样,但是仍然存在着如何通过调控,使得最终群体达到一致意见的需求。而对于疾病传播动力学模型,大家可能看过这样一个视频:

简单算算,你宅在家里究竟能为抗击肺炎疫情做出多大贡献?_哔哩哔哩_bilibiliwww.bilibili.com/video/av85508117

虽然无论是观点动力学还是疾病传播动力学问题,在以往其他领域都得到了大量的关注。但在这几年,相关的研究在控制领域逐渐开始兴起。人们开始利用控制理论的视角去分析了这些问题,相关的工作,可以关注一下Ming Cao、Mengbin Ye等相关课题组的工作。利用已经有的研究基础,无论是控制系统的指标还是控制系统的设计方法,在这样一个新背景下,能否得到新的结论,挖掘新的特性,都是一个未知的内容。这也是交叉学科的独特魅力之一。

在连锁提及的观点动力学和疾病传播动力学仅仅是两个例子。在近些年的控制领域顶刊上,我们还可以看到对社会系统进行建模的,比如决策系统、投票系统都是属于这一类,在这些理论的新背景下相关的研究,将推进我们对于一致性机制的理解。

3.群体复杂行为

其实在第二部分的研究的一些成果当中已经有所提醒,我们所追求的协同控制,它的关键点应该落在哪里?或者说多智能体领域最初的研究动机是?我们这里引用一段博客来回顾一下多智能体系统研究的起源:

匈牙利Vicsek等人1995年发表在物理杂志PRL上的一篇文章,考虑在平面上运动的多个粒子,采用nearest neighbor rule相互局部协调,最终达到整体一致运动。这篇以仿真为主的文章在刚发表的几年里没有引起多大的关注,也没有多少文章引用。Vicsek, T., Czirók, A., Ben-Jacob, E., Cohen, I., & Shochet, O. (1995). Novel type of phase transition in a system of self-driven particles. Physical Review Letters, 75(6), 1226.
2003年,从Vicsek模型出发,耶鲁大学Morse及其研究生采用非负矩阵、切换系统、稳定性理论等工具讨论了时变拓扑下离散系统的一致性问题,发表在IEEE TAC上,立刻引起了控制界的极大关注。在随后几年里,这两篇文章都有极高的引用率。A. Jadbabaie, J. Lin, and A. S. Morse. Coordination of groups of mobile autonomous agents using nearest neighbor rules. IEEE Transactions on Automatic Control, 46(6): 988-1001, 2003.
美国加州理工Murray课题组抓住战机、快马加鞭,在IEEE TAC上也占了一席之地。Morse和Murray这两篇文章引发了随后10多年的多智能体系统(multi-agent systems)热。Olfati-Saber, R., & Murray, R. M. (2004). Consensus problems in networks of agents with switching topology and time-delays. IEEE Transactions on Automatic Control, 49(9), 1520-1533.
随着信息化、网络化、智能化的发展,多智能体研究在国内外越来越火爆。据说这两篇TAC文章的引用数已经超过了给出H无穷控制问题状态空间解法的著名DGKF论文,在所有控制类论文中排名第一第二。

科学网-控制界的两个著名睡美人-王龙的博文wap.sciencenet.cn/blog-467514-1217048.html?mobile=1

我们可以很清晰的看到,虽然我们现在看到的大多数文章都是在研究一致性,但是,一开始的研究并不是为了追求一致性,而是重点放在了基于邻居的规则。也就是代表了这样的一个科学问题:通过局部的邻居之间的简单交互,如何去产生全局性的复杂的行为?

站在现在这个角度上。我们已经知道的是,人们从控制协议的角度上针对不同场景提出了多种的方案设计。理论证明都能够达到一致和预期的设计目标。但是这仅仅是问题的第一步。也就是说我们利用了已有的控制理论。实现了这一效果。但是有没有更好的方式?需要打一个问号。因此研究者们,从生物学的角度也进行了进一步的探索,提出了一些仿生机理的方法

下面我们拿几个研究工作举例:

群体智能与无人机艇跨域编队协同-智能制造与数据科学实验室imds.aia.hust.edu.cn/yjfx/qtznywrjtkybdxt.htm

还有

这些代表性的工作是从局部规则与群体行为的关系入手去考虑的,它代表着人们对于生物界中存在的群体行为的理解。而群体行为这不仅仅是达到一致就可以完满结束了,这个问题到目前为止仍然没有得到很好的解决。

当然了,这种问题跨度大,难度高。是多个学科共同关注的问题,并且多次入选了自然杂志年度科学问题表里面。无论是数学界、生物界、物理界还是计算机界等,都有大量的学者在探索这个问题,但是每个学科都有其独特的方法论。对于我们而言,虽然不能一下子就全部跳到这个领域进行攻关,但是这种思想我们是可以借鉴。

比如说,我们可以使得考虑的问题稍微接近一点。比如对于每个个体引入博弈的因素。这在观念传播动力学模型近期研究文章当中是比较常见的方法。也就是说,如果赋予每个个体一定自主性(选择权利),那么最终群体行为又是如何变化的?这个问题的解决,将为我们进一步理解群体行为的内部机理提供助力,至少是往前走了那么一小步。

近几年,计算机界风起云涌,机器学习这个概念从课本走向大众。而在众多的机器学习的概念当中,多智能体强化学习,同样带有这四个字。那么这就启发我们。如果给每个个体引入学习的能力,放在我们所熟知的网络里面,去探讨我们上面提到的问题。又会得到怎样的一种新的启示?这也是探索复杂群体行为产生机理的一种重要的方式。

以上是对复杂群体行为的探索,对于控制学科来说,我们不仅期望的是探索机理,我们更期望的是受到启发设计调控的方式

那我们就可以按照工程的角度去重新思考一下协同控制的内容,看看能不能有一些理论研究上的启发。

首先一个工程上的群体,我们需要给他安排一个任务。这个任务是需要共同完成的,那么这里就出现了第一个问题:也就是谁去完成这个任务?是所有的人都去,还是一部分一部分的对任务进行分解之后,再去完成子任务,最后汇总成目标。第二,如果是分解成子任务,那么分配就是一个关键问题,谁去比较合适?去多少人比较合适?第三,既然是工程系统,那么一定少不了应变的能力。我们以往考虑的系统往往都是固定的拓扑或者是按照一定规律切换的拓扑。而控制的惯有思维是改变信息传输的方式,只改变控制协议,很少在拓扑上动手脚。这种很少改变系统固有特性的方法,对于传统的控制系统是适用的,因为我们按照物理学规律建立的模型。很难进行系统结构上的调整。但是对于多智能体系统来说,改变结构特性有可能仅仅是建立条新连接或者断掉一条旧连接所完成的事情。问题在于,如果我们遇到一种突发情况,需要我们去改变拓扑的时候,那么这个改变的机制又是如何设计?

这些问题很少出现在控制理论的研究当中,但是在多机器人领域的研究还是比较多

4.网络系统的主干剖析:图论

以上三个部分分别讨论了几种一致性的概念、从基本的一致性理论衍生出的观点动力学和疾病传播动力学等相关背景下的新研究、对协同控制当中的协同二字所代表的群体复杂性行为的产生机理,从生物学、博弈控制系统、多智能体强化学习等角度的探索路径,和工程应用当中一些理论性的问题进行了整理。受篇幅所限,研究主线就暂时整理到这里。

这部分我们来探讨一下辅助性的研究内容。在阅读相关文章中,我们很多时候能够看到作者。对于网络的结构进行的一些假设,比如包含一棵有向生成树,图是连通的等等,这些假设是为了后续结论的讨论和证明方便而设立的。如果我们把多智能体系统不断简化提炼,那么我们得到的就是一张图。这也启发我们,对于网络尤其是特殊网络结构的研究,能够产生帮助我们理解、辅助我们设计的有效工具。这里我们举一个例子:

在图论里面有一个概念叫做Equitable partition,为了讨论方便,我们这里讨论最为简单的图。即无向无权重无符号图。我们将具有相同邻居节点的个体称为等价节点,这种节点的重要标志是它接收的和传出的信息是完全一样的。因此在全过程里,它们状态始终一致,在不引入新的控制信号条件下,无法使得它们之间达到不一样的状态。也就是控制理论当中所描述的不可控情况。当然这里描述的比较简单,具体证明就不展开了。受这个现象启发,对于任何一个网络化系统,只要根据该网络化系统的特点,找到接收和发出信号完全一样的节点,并给出针对性的寻找方法,那么我们就可以在可控性上得到相关的结论。这是本菜鸡之前做的一个工作里的一个部分,这里就不多提了。这种节点间状态始终一致的现象,在研究分组一致时获得了高度重视。我们今天去搜索这个关键词时,除了从图论角度讨论数学问题的文章,基本都是在各个领域应用这一特性讨论分组一致的文章,大多发表于物理学期刊,有些文章也发表在了控制领域的顶级期刊上。目前这种工具已经成为分组一致研究领域一种常用的工具。

对于网络结构的研究,可以大体分为以下几个角度。

第一就是某种网络结构对于系统性能的影响,这里面涉及的内容比较多。像路图、树图,环图等,图论当中的扩张、匹配等,还有一些图的工具,比如独立强连通分量、等价划分、零迫集等。研究的性能指标也相当的多,像可控性、可观性、鲁棒性、可镇定性、结构可控性、结构可观性等等等等。

第二,也是某种网络结构对系统控制方式设计的影响。比如对于某个特殊的网络结构,对于同样的目标,我们应该设计怎样的控制协议才是最好的。是目前在关注的一个问题。

第三。就是网络的建模。比如超图。也诞生了一些比较不错的工作。

到了这里按照统计已经是五千余字了,还有一些比较关注的工作,限于篇幅有限,就不在一一提及了。这个回答既是对多智能体系统到目前为止一个非常简单的梳理。也是在写作的过程中,探索有没有新点子的记录。





https://wap.sciencenet.cn/blog-3387802-1331873.html

上一篇:控制理论几个基本问题的初步讨论
下一篇:工科专业的一则小故事
收藏 IP: 112.6.124.*| 热度|

1 陆泽橼

该博文允许注册用户评论 请点击登录 评论 (0 个评论)

数据加载中...
扫一扫,分享此博文

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2022-9-27 03:31

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部