《镜子大全》《朝华午拾》

Yann LeCun 所鼓吹的「世界模型」（World Model）是一種旨在模仿人類和動物學習世界運作方式的新興 AI 概念 。他認為，這條路徑不同於主流的 GPT/Diffusion 模型所依賴的大數據、大參數和自迴歸 Transformer 架構，是實現通用人工智慧（AGI）的關鍵 。 以下將從實際能力、優缺點等方面，對最新發布的 LeCun 世界模型（ ...

“视觉是连续空间的模拟信号，每个像素点就是一个连续变量。”这是很多计算机视觉教材和模型论文中默认的假设。听起来合理，似乎也和物理世界接轨。但只要稍加推敲，就会暴露出它并非科学结论，而是工程手段的一种近似表达。 我们必须首先区分几个层面： 一、在物理上，光照和颜色确实是连续信号 自然界的光波、亮度和 ...

老爸出身于一个破落的知识分子家庭。那座承载着岁月沧桑的青瓦老宅，宛如一位沉默的老人，见证着家族的兴衰荣辱。墙皮早已剥落，露出内里斑驳的砖石，每一道裂痕都像是岁月刻下的皱纹，又仿佛是他布满补丁的童年写照。因交不起学费，他从未踏入过小学的校门，爷爷用废旧报纸装订的课本，成了他最初的启蒙老师。在昏 ...

1 ． 大年三十的急诊 有一年春节，我回老家陪老爸过年。 除夕夜，暖黄色的灯光洒在房间里，一家人围坐在电视机前，春晚的欢声笑语和瓜子嗑开的脆响交织在一起，营造出浓浓的年味。老爸斜靠在那张老藤椅上，保温杯里的枸杞随着他偶尔的晃动轻轻沉浮，这是他一年中难得的清闲时刻。 然而，十一点的钟声还未敲响，茶几上 ...

立委按：鉴于语言大模型GPT的重要性，特此根据AI大神Karpathy的nanoGPT讲座，编纂此科普系列。 你可能已经听说过GPT（Generative Pre-trained Transformer）的鼎鼎大名，无论是能与你流畅对话的ChatGPT，还是能帮你写代码、写诗歌的AI助手，它们背后都有GPT的强大身影。但是，这个神奇的“黑箱”究竟是如何运作的呢 ...

立委按：鉴于语言大模型GPT的重要性，特此根据AI大神Karpathy的nanoGPT讲座，编纂此科普系列，计五篇，其中此篇没有代码和数学公式，是最通俗的科普。其他四篇包括一篇英文，均附带可验证的Python代码，并给予不同角度的详细解说，面对有工程背景的对象。 ChatGPT这样的大语言模型在今天已展现出惊人的能力：它们能与 ...

立委按：LLM的强化学习后训练是当前热点，也是最新思维链（CoT）推理模型范式的红利期。推理强化后的模型在复杂任务的表现上普遍性能提升。强化后训练的新范式正在不断推广到不同场景，而且也在多模态方面取得进展。应该是了解一点强化学习的基本工作流程的时候了。一、训练阶段：延迟奖励如何影响参数更新 1.1 生成一个完 ...