岳东晓
ChatGPT 懂你在说什么吗?
2023-2-8 11:58
阅读:3128

看到一个视频,一个有上百万粉丝的程序员 Tech Lead 说 ChatGPT 只是进行模式匹配(pattern match),根本不懂你在说什么。看来,即便是程序员,不学习新知识,也将会被迅速淘汰。不客气的说,ChatGPT 写的程序比大部分程序员强。

人工神经网络正是在模拟大脑。大脑里单个脑细胞、神经元是没有任何智力的。把巨多的神经元连起来,经过一阵学习就具备了智力。任何计算与思维都可以用 y=F(x),输入一些东西,一个函数F运算后输出一些东西 y。人工智能就是构造一个由人工神经元(其实就是一些可变参数的矩阵)组成的网络,通过训练,调节每个神经元的参数,构造函数F。问题在于,怎么有效、高效地构造它。

GPT则是依据2017年的一篇论文,《Attention Is All You Need》(你只需要注意力)。该论文发明了叫做 Attention 的机制,我在这里介绍过(最火人工智能技术--你只需要注意力 ) 。在这基础上建立了所谓 Tranformer 架构。正是这个 Attention 机制使得AI能够完全通过自行阅读各种资料高效地自学成才。

阿发狗下围棋下得柯洁哭不是简单的匹配定式,而是高一级的围棋思维。而竟在阿法狗之后,谷歌又使用新的研究成果升级,之前需要输入围棋规则,后来连规则都不需要,全部自学成才,而这样水平更高,现在估计要让柯洁三子。这个自学围棋规则的神经网络被用于蛋白质折叠的问题,能够从已知的蛋白质结构自己推导出相关的物理,从而一举解决 protein folding的问题。原来多少研究人员辛苦半年才能测定一个蛋白质,谷歌一次性全部解决了。导致多少高端生物人才失业。

阿法狗只用到卷积网络,ChatGPT 用到 Attention。ChatGPT 就是阅读了几乎所有的书籍、文献、网页,还能够把这些知识有机的关联起来。跟纯粹 Transformer 不同点在于,它还经过了一定的人工强化训练(现在的广大用户也在给它提供训练机会)。它完全知道你说的是什么,而且能根据它已经掌握的知识做出回应。但这绝对不是终极技术,而只是初露头角。

那些还在用逻辑程序思维看待人工智能的,应该自己亲身体验下。现在有很多开源的基于阿法狗论文的围棋程序,试着下下看。也可以问 ChatGPT 各种问题。(目前它在数学方面的训练好像还不够)

#人工智能##chatgpt#


转载本文请联系原作者获取授权,同时请注明本文来自岳东晓科学网博客。

链接地址:https://wap.sciencenet.cn/blog-684007-1375358.html?mobile=1

收藏

分享到:

当前推荐数:6
推荐到博客首页
网友评论1 条评论
确定删除指定的回复吗?
确定删除本博文吗?