博文
短视频：大模型奥秘
||
我是大模型数字主播，今天播报的题目是《大模型真经》。
尼克语录，日诵三回：“首先Church Turing thesis，其次Turing machine求逆就是所有学习，再次，所有学习可归约到ntp (next token prediction)。”
没看明白的, 再诵三回。
此乃大模型真经也！
再诵三回仍不明白的，且听分解如下。
简单来说就是，一切可计算的数据，都有个图灵自动机计算它。学习（或 模型训练）就是为制造这台自动机。而所有的学习都可以用数据驱动的GPT完成。
这就是大模型成为万能任务解锁器，成为通向AGI的不泄天机。
但天机还是泄漏了，也许上帝正好打了个瞌睡。
朋友反馈说，还是没看明白。好，咱们用老妪能解的说法试试。
首先，什么叫“可计算的数据”，就是“有规律的现象”：
有规律的现象数字化以后，就是可计算的数据。
哪些现象是有规律的呢？
其实，理论大咖们相信宇宙大部分现象是没有规律的随机现象，茫茫星际，有规律属于罕见。宇宙的本真也许就是混沌一片。
然而人类出现了，演化出文明和智能。人类的现象，尤其是智能工作的结果呈现，例如文字书籍、录音录像、艺术创造，这些人类创造物都是有规律的。例如，语言文字里面有文法和用法。绘画艺术里面有技法和风格。
把这些语言文字、音频视频等多模态的数据收集起来，灌进大模型的熔炉去炼，结果就是我们现在看到的几乎无所不能的主流大模型，以OpenAI的GPT系列为代表。
我是科技数字主播，咱们下次再见。
【立委NLP频道】
https://wap.sciencenet.cn/blog-362400-1440137.html
上一篇：大模型的理论奥秘
