||
我是大模型数字主播,今天播报的题目是《大模型真经》。
尼克语录,日诵三回:“首先Church Turing thesis,其次Turing machine求逆就是所有学习,再次,所有学习可归约到ntp (next token prediction)。”
没看明白的, 再诵三回。
此乃大模型真经也!
再诵三回仍不明白的,且听分解如下。
简单来说就是,一切可计算的数据,都有个图灵自动机计算它。学习(或 模型训练)就是为制造这台自动机。而所有的学习都可以用数据驱动的GPT完成。
这就是大模型成为万能任务解锁器,成为通向AGI的不泄天机。
但天机还是泄漏了,也许上帝正好打了个瞌睡。
朋友反馈说,还是没看明白。好,咱们用老妪能解的说法试试。
首先,什么叫“可计算的数据”,就是“有规律的现象”:
有规律的现象数字化以后,就是可计算的数据。
哪些现象是有规律的呢?
其实,理论大咖们相信宇宙大部分现象是没有规律的随机现象,茫茫星际,有规律属于罕见。宇宙的本真也许就是混沌一片。
然而人类出现了,演化出文明和智能。人类的现象,尤其是智能工作的结果呈现,例如文字书籍、录音录像、艺术创造,这些人类创造物都是有规律的。例如,语言文字里面有文法和用法。绘画艺术里面有技法和风格。
把这些语言文字、音频视频等多模态的数据收集起来,灌进大模型的熔炉去炼,结果就是我们现在看到的几乎无所不能的主流大模型,以OpenAI的GPT系列为代表。
我是科技数字主播,咱们下次再见。
【立委NLP频道】
Archiver|手机版|科学网 ( 京ICP备07017567号-12 )
GMT+8, 2024-10-11 10:59
Powered by ScienceNet.cn
Copyright © 2007- 中国科学报社