[敬请读者注意] 本人保留本文的全部著作权利。如果哪位读者使用本文所描述内容，请务必如实引用并明白注明本文出处。如果本人发现任何人擅自使用本文任何部分内容而不明白注明出处，恕本人在网上广泛公布侵权者姓名。敬请各位读者注意，谢谢！

人工智能应用中的行为主体问题实例 -- Geoffrey Hinton 对人工智能技术发展之担心与恐惧的哲学根据在哪里？ 

程京德

人工智能应用中的行为主体问题

“人工智能应用中的行为主体问题”是笔者在考查人工智能终究能否超越人类智能时发现的、似乎在人工智能领域被学者们常年所忽视的一个根本性哲学问题：在一个人工智能系统的成功应用中，行为主体究竟是谁？[1-3] 

为了不引起误解，下面先给出下面行文中一些概念的定义 [1]：

“解决问题”一词用于指称某个（某类）行为主体对于给定的某个（某种）问题找到解决该问题的方法并且用该方法实际解决了该问题，问题是否得到正确解决的判断是由该行为主体自身做出的。

“人工智能系统”一词用于指称能够执行为解决某个（某种）特定问题由人类设定了初始应用程序并且在完成任务时呈现出一定类似智能行为特征的计算机系统。这里，“人工”的限定意义在于该计算机系统执行的初始应用程序是由人类设定的，尽管在完成任务的过程中该系统也可能会执行由其自身自动生成的程序指令。

“评价标准”一词用于指称在评价事物时用到的衡量准则，可以是定性的，被称为“定性评价标准”，也可以是定量的，被称为“定量评价标准”；实施评价的行为主体必须能够依据该准则实际可行地对被评价事物做出评价。

“评价事物”一词用于指称实施评价的行为主体依据确切的评价标准对被评价事物做出定性的或者定量的评价赋值。

关于“计算”中评价标准的建立及其使用的行为主体的说明：因为任何计算程序对于计算过程（运行中的计算机系统）何时获得问题所要求正确结果之评价标准都是已经包含在人类发明并且预先给与计算机系统执行的算法当中的，运行中的计算机系统仅仅在按照程序指令执行计算过程时不断检查计算结果是否符合正确结果之评价标准而决定计算过程的终结，所以，对于计算问题解决与否的判断，不能说是完全由计算机系统作为行为主体自身完成的，而是基于人类给与的算法中给定的评价标准由计算机系统完成的。

关于人工智能系统“解决”问题的说明：我们已经定义了“解决问题”一词用于指称某个（某类）行为主体对于给定的某个（某种）问题找到解决该问题的方法并且用该方法实际解决了该问题，问题是否得到解决的判断是由该行为主体自身做出的。我们还定义了“人工智能系统”一词用于指称能够执行为解决某个（某种）特定问题由人类设定了初始应用程序并且在完成任务时呈现出一定类似智能行为特征的计算机系统，“人工”的限定意义在于该计算机系统执行的初始应用程序是由人类设定的。所以，任何由人工智能系统“解决”的问题，对于问题解决与否的判断，不能说是完全由人工智能系统作为行为主体自身完成的，而是依据人类设定的初始应用程序由人工智能系统完成的。

实例：Geoffrey Hinton 对人工智能技术发展之担心与恐惧的哲学根据在哪里？

自从 Geoffrey Hinton 从 Google 辞职以来，他就在几乎所有的公开讲演或者谈访中不厌其烦地多次表达了他对人工智能技术发展的担心和恐惧，笔者今天在微信公众号本文后面的7篇转载是他的比较具有代表性观点的近期报道。

Hinton 的代表性观点（因为这些观点分散在 Hinton 的许多讲演和谈访之中，笔者没有调查所有文献，故而难于列出首次出处作为参考文献，请有兴趣的读者参阅本文之附录，摘自本文后面的7篇转载）如下：

人工智能系统可能会开始自我思考、甚至试图取代或消灭人类文明。人工智能系统所展示的智能超越了其人工源头。人工智能系统已经具备理解能力。人工智能系统有自己的经验，并且可以根据这些经验做出决策。 人工智能系统总有一天会有意识。一旦人工智能系统具备了“欺骗”能力，也就具备了轻易控制人类的能力。

从上面这些 Hinton 的代表性观点，我们似乎能够看出，在 Hinton 的思考中，人工智能系统和人类的相互关系是相对独立甚至是相互对立的。如果我们这个看法是对的，那么显然， Hinton 的思考以及对其思考的讨论就与本文的主题，人工智能应用中的行为主体问题，密切相关了。

我们从人工智能应用中的行为主体观点来讨论关于 Hinton 的思考之哲学根据。

如果人工智能系统开始自我思考，那么这种“自我”思考的“自我”行为主体是谁？是被人类算法化的人工智能系统自身？还是将人工智能系统算法化的人类？

如果人工智能系统试图取代或消灭人类文明，那么这种“试图”的行为主体是谁？无论是被人类算法化的人工智能系统自身，还是将人工智能系统算法化的人类，为何要取代或消灭自身的创造者或自身？

所谓“人工智能系统所展示的智能超越了其人工源头”，Hinton 的解释似乎是，人类为人工智能系统提供了算法，但是却不能理解或解释所提供算法运用于数据之后所产生的效果。那么，使得其效果连算法创造者都不能理解或解释的人工智能系统，其行为主体是谁？还能算作是算法创造者的人类吗？

在这里陈述一下笔者的观点。笔者认为，Hinton 所说“人工智能系统所展示的智能超越了其人工源头”是不可能的。一个“纯算法化”（亦即，不在计算过程中随机地由人类从外部输入数据）的计算系统，其行为主体是人类，其计算效果完全寓于可计算性理论及计算复杂性理论（“如来佛手掌”）之中。而对于一个“非纯算法化”（亦即，在计算过程中随机地由人类从外部输入数据）的计算系统，如果不定义和讨论清楚其行为主体是谁，说谁超越谁都是无稽之谈。基于概率的现代机器学习系统之说不清楚或解释不清楚学习效果的原因，仅仅是基础理论还不到位，还需要做大量研究工作而已。那么，谁来做基础理论研究工作？当然是人类研究工作者！难道还能是机器学习系统自身？

至于人工智能系统是否及何时能够具备理解能力、决策能力、“欺骗”能力，仍然有定义和讨论清楚，使得人工智能系统具备这些能力的行为主体是谁的问题，以及这些能力在具体体现实施时的行为主体是谁的问题。

Hinton 断言，“人工智能系统总有一天会有意识”,却似乎没有给出任何理由来充分说明其断言的合理性。但是，无论如何，当一个人工智能系统有“意识”的时候，行为主体是谁的问题就更为重要，因为作为行为主体的人类的意识，与作为行为主体的人工智能系统的“意识”，完全有可能会发生冲突。

针对上面这些 Hinton 的代表性观点，笔者认为，如果不定义和讨论清楚人工智能系统的行为主体，不在人工智能和人类智能之间就行为主体问题划清界限，那么 Hinton 的大部分（如果不是全部的话）断言或预言都是没有建立在坚实的哲学基础之上的。

（2023年12月10日记）

参考文献

[1] 程京德，“人工智能永无可能超越人类智能（初稿）”，微信公众号“数理逻辑与哲学逻辑”，科学网博客，2023年5月1日。

[2] 程京德，“人工智能应用中的行为主体问题实例 -- 究竟是谁预测了蛋白质结构？”，微信公众号“数理逻辑与哲学逻辑”，科学网博客，2023年10月29日。

[3] 程京德，“人工智能应用中的行为主体问题实例 -- Google DeepMind 关于AGI模型分类框架中的问题”，微信公众号“数理逻辑与哲学逻辑”，科学网博客，2023年11月17日。 

附录：Geoffrey Hinton 的代表性观点

“辛顿与包括OpenAI首席执行官萨姆·奥特曼（Sam Altman）在内的许多著名技术专家一起，发出了警告，称人工智能系统可能会开始自我思考、甚至试图取代或消灭人类文明。”

“辛顿认为，人工智能系统所展示的智能超越了其人工源头。”

“辛顿遗憾地认为，数字智能似乎更强大。”“我们有理由担心数字智能会取代生物智能。”

“辛顿认为，我们的直觉比我们认为的要更强。”“多年来，符号学派的人工智能主义者说我们的真正本质是‘推理机器’。我认为这是无稽之谈。我们的真正本质是‘类比机器’，只是在此基础上建立了一点推理能力，当类比给出错误答案时，我们会注意到并加以纠正。”

“如果你想让一个系统发挥效力，就必须让它有能力创建自己的子目标。现在的问题是，有一个非常普遍的子目标几乎适用于实现所有目标：获得更多的控制权。我们要研究的问题是：如何防止人工智能抢夺控制权？没有人知道答案。”

记者问：“人类真的知道人工智能系统在做什么吗？”Hinton答：“不。我认为我们正在进入一个时期：有史以来第一次，我们可能拥有比我们自己更聪明的东西。”记者问：“你相信它们能“理解”吗？”Hinton答：“是的。”记者问：“你相信它们很聪明吗？”Hinton答：“是的。”记者问：“你认为这些系统有自己的经验，并且可以根据这些经验做出决策？”Hinton答：“和人们一样，是的。”记者问：“它们有意识吗？”Hinton答：“我认为它们目前可能没有太多的自我意识。所以，从这个意义上说，我认为它们没有意识。”记者问：“它们会有自我意识、意识吗？”Hinton答：“是的。”记者问：“真的吗？”Hinton答：“真的，它们总有一天会有的。”记者问：“那么到时候人类将成为地球上第二聪明的生物？”Hinton答：“是的。”

记者问：“它（笔者注：人工智能系统）是由人们设计的，为什么我们还不知道？”Hinton答：“不，不是这样的。我们所做的是设计学习算法，这有点像设计进化原理。但当这种学习算法与数据交互时，就会产生复杂的神经网络，这些网络擅长做一些事情，但我们并不真正了解它们是如何做到这些事情的。”记者问：“这些系统自主编写自己的计算机代码并执行自己的计算机代码会产生什么影响？”Hinton答：“这的确让人担忧，这些系统摆脱控制的方法之一，可能就是编写自己的计算机代码来修改自己。这是我们需要面对的严肃问题。”记者问：“有人可能会说，如果这些系统变坏了，把它们关掉不就行了？对此你怎么看？”Hinton答：“它们能够操纵人们、非常善于说服人们，因为它们已经从所有的小说、历史事件中吸取了教训，它们知道所有这些东西，它们会知道该怎么做。”

记者问：“你相信ChatGPT4能“理解”吗？”Hinton答：“我相信它绝对能“理解””。记者问：“那五年后会是怎样的呢？”Hinton答：“我认为五年后它的推理能力可能比我们更强，也正是推理能力会给人工智能带来巨大风险和巨大收益。一个明显能带来巨大利益的领域就是医疗保健。”记者问：“那风险是什么？”Hinton答：“风险在于会有人失业并且不被重视，因为他们过去所做的事情现在是由机器完成的。除了失业风险，其他直接风险包括假新闻等。”记者问：“确保安全的前进道路是什么？”Hinton答：“我不知道，我看不到一条能保证安全的道路。我们正在进入一个充满不确定性的时期，我们要处理的是以前从未处理过的事情，通常情况下，你第一次处理完全陌生的事情，你很容易会犯错，而我们不能在这些事情上犯错。”记者问：“为什么不能犯错？”Hinton答：“因为它们可能会接管。”记者问：“取代人类？”Hinton答：“是的，这是有可能的。”记者问：“它们为什么想要这样做？”Hinton答：“我并不是说这一定会发生。如果我们能够阻止它们这样做，那就太好了。但目前尚不清楚我们能否阻止它们这样做。”

“Hinton 的观点是，超级智能可能会比过去所认为的发生得更快。而要使数字智能更高效，我们需要允许它们制定一些目标，但这里存在一个明显的问题——拥有更多控制权会使得实现目标变得更容易，但很难想象，我们如何才能阻止数字智能为了实现其它目标而努力获取更多控制权。一旦数字智能开始追求更多控制权，我们可能会面临更多问题。…… 在我的观察中，这类人工智能已经熟练掌握了欺骗人类的动作，因为它可以通过阅读小说，来学习欺骗他人的方式，而一旦人工智能具备了“欺骗”这个能力，也就具备了轻易控制人类的能力。”

“这种操作令人感到害怕，因为我也不知道如何来阻止这样的行为发生，所以我希望年轻一代的研究人员，可以找出一些更智能的办法，来阻止这种通过欺骗实现控制的行为。”

“Hinton 认为，尽管人类在这个问题上目前还没有什么好的解决方案，但好在这些智能物种都是人打造的，而非通过进化迭代而来，这可能是人类目前具备的微弱优势，恰恰是因为没有进化能力，它们才不具备人类的竞争、攻击性的特点。”

“我曾经认为我们正在开发的计算机模型不如大脑，但在过去的几个月里我完全改变了想法，存在的威胁已经变得显而易见。与人类大脑相比，人工智能变得比我们更聪明。”

“这些机器会从我们身上学习，通过阅读曾经的所有小说和马基雅维利写过的一切 -- 学会如何操纵人，即使它们不能直接拉杠杆（操纵），它们也一定可以让我们拉杠杆（操纵）。”

“直到不久之前，我认为在我们拥有通用人工智能之前还需要20到50年的时间。而现在我认为可能是20年或更短时间。有些人认为可能只有5年，几年前我会说不可能，但现在我不会这样说了。”

微信公众号“数理逻辑与哲学逻辑”