GPT作为序列数据的无损压缩器 2025-07-08

预测下一词的自回归大模型GPT早已风靡全球。压缩即智能的说法已经广为人知，但关于其无损压缩的能力貌似一直有争议。GPT压缩到底是无损还是有损呢？ 这是一个 ...

(969)次阅读|(0)个评论

与尼克等老友唠大模型压缩理论 2025-07-08

1. 为什么中心节点看起来最“省比特” 在语义压缩框架里，发送端和接收端都共享一个超大的知识库（也就是大语言模型GPT本身）。只要两边都装好了这台“超级预 ...

(456)次阅读|(0)个评论

破除“无损压缩即智能”的迷思 2025-07-08

立委按：这两天跟大模型压缩理论干上了，发现，这里面目前在市面上仍然充满了迷思和误解。要命的是，压缩问题是大模型革命的首要问题，反映了大模型背后的奥秘和 ...

(661)次阅读|(0)个评论

Demystifying the misconception of "Lossless Compression as I 2025-07-08

Demystifying the misconception of "Lossless Compression as Intelligence" Debates on LLM compression theory reveal p ...

(931)次阅读|(0)个评论

要区分GPT训练中的压缩，与拿GPT当压缩器工具 2025-07-07

GPT训练中的压缩，与拿GPT当压缩器工具不是一回事，二者有很大的关联，但不是同一个层面的问题。GPT是无损还是有损压缩的混淆与争论，就是搞错了这个层面和视角 ...

(465)次阅读|(0)个评论

信息论科普：GPT对给定序列无损压缩的最终区间 2025-07-07

可以用GPT无损压缩的算术编码作为例示 一、最终区间的本质：概率宇宙中的精确坐标 想象一个包含所有可能文本序列的宇宙（概率空间）： 词汇表 概率分布 ...

(835)次阅读|(0)个评论

信息论科普：香农极限（Shannon Limit） 2025-07-07

香农极限（Shannon Limit）是信息论中最深刻、最优雅的概念之一，由“信息论之父”克劳德·香农（Claude Shannon）在1948年奠基性论文《通信的数学理论》中提出 ...

(496)次阅读|(0)个评论

GPT无损压缩小问答（3）：算术编码 2025-07-07

GPT+算术编码是对数据的无损压缩。什么是算术编码？它是怎么工作的？ 算术编码：GPT压缩的“比特转换器” 算术编码 (Arithmetic Coding)  是经典的无损 ...

(480)次阅读|(0)个评论

GPT无损压缩小问答（2）：为什么说GPT是无损压缩？ 2025-07-07

GPT生成还原的不是训练数据的原文，为什么说“GPT压缩是无损压缩”？ 常听到这句话，但其实这句话有歧义，不准确。GPT赋能无损压缩到对象不是训练数据，对于训练 ...

(286)次阅读|(0)个评论

GPT无损压缩小问答（1）： 高压缩率导致系统脆弱 2025-07-07

压缩率不够高不是更容易还原原文吗？从无损还原角度，我们其实不想模型压缩率“过高”。 这个问题非常犀利，直接点中了无损压缩理论中一个反直觉的关键点，质疑 ...

(873)次阅读|(0)个评论

Yann LeCun 所鼓吹的「世界模型」与GPT+Diffusion有什么不同 2025-06-22

Yann LeCun 所鼓吹的「世界模型」（World Model）是一種旨在模仿人類和動物學習世界咦鞣绞降男屡d AI 概念 。他認為，這條路徑不同於主流的 GPT/Diffusion 模 ...

(722)次阅读|(0)个评论

像素值是“连续变量”，还是工程上的伪装？ 2025-06-22

“视觉是连续空间的模拟信号，每个像素点就是一个连续变量。”这是很多计算机视觉教材和模型论文中默认的假设。听起来合理，似乎也和物理世界接轨。但只要稍加 ...

(434)次阅读|(0)个评论

父亲节：老爸 2025-06-22

老爸出身于一个破落的知识分子家庭。那座承载着岁月沧桑的青瓦老宅，宛如一位沉默的老人，见证着家族的兴衰荣辱。墙皮早已剥落，露出内里斑驳的砖石，每 ...

(844)次阅读|(0)个评论

老爸的四则小故事 2025-06-22

1 ． 大年三十的急诊 有一年春节，我回老家陪老爸过年。 除夕夜，暖黄色的灯光洒在房间里，一家人围坐在电视机前，春晚的欢声笑语和瓜子嗑开的脆响交织在一 ...

(1073)次阅读|(3)个评论

从0实现并理解GPT 2025-06-04

立委按：鉴于语言大模型GPT的重要性，特此根据AI大神Karpathy的nanoGPT讲座，编纂此科普系列。 你可能已经听说过GPT（Generative Pre-trained Transform ...

(927)次阅读|(0)个评论

大模型科普：探秘莎翁风格的诞生之旅（无代码版） 2025-06-03

立委按：鉴于语言大模型GPT的重要性，特此根据AI大神Karpathy的nanoGPT讲座，编纂此科普系列，计五篇，其中此篇没有代码和数学公式，是最通俗的科普。其他四 ...

(811)次阅读|(0)个评论

LLM的后训练强化学习是怎么工作的 2025-06-02

立委按：LLM的强化学习后训练是当前热点，也是最新思维链（CoT）推理模型范式的红利期。推理强化后的模型在复杂任务的表现上普遍性能提升。强化后训练的新范式正 ...

(1075)次阅读|(0)个评论

查看更多