科学网—liwei999的博文

李维 2025-9-13 01:37

大语言模型（LLM）延展至音频，一路狂飙，LLM-native 的语音技术大约在半年多前开始成熟，全行业都起来了。技术成熟的重要标志是两个重要的 featrures：超写实与全双工。像LLM类似的音频token化，不只造就了模型音乐家（代表产品Suno，另文介绍），更重要的是直接催生了两件真正改变语言交互的事：超写实的语音合成，和 ...

个人分类: AI 浪潮|9828 次阅读|没有评论

注意力塌缩：关于“秩”的误会与真相

李维 2025-8-30 12:03

话题听上去冷僻，却关乎大模型的命脉。进入技术话题之前，熟悉一下基本概念什么是矩阵的秩（Rank）？你可以把一个矩阵想象成一堆向量排成的表格。秩 (rank) 就是这个表格里真正「独立信息」的数量。举个例子：矩阵里面两行完全不同，能提供两条独立信息 → 秩 = 2。矩阵第 ...

个人分类: AI 浪潮|9717 次阅读|没有评论

大模型如何解锁AI各种任务成为通用引擎的？

热度 2 李维 2025-3-29 12:36

大模型的出现让AI变得像个“全能选手”：你随便扔给它一个任务，比如“翻译句子”“生成图片”甚至“模拟机器人走路”，它居然能立刻上手，连样例都不用看。这种“零样本”（zero-shot）能力背后有个简单却强大的秘密：模式学习与模式对齐。这是怎么回事呢？一、AI任务的本质：对齐模式的过程化 AI任务就是在两个对 ...

个人分类: AI 浪潮|8629 次阅读|2 个评论热度 2

o3 deep research: LLM 驱动的 Agent 综述

热度 1 李维 2025-3-8 23:49

引言大型语言模型（LLM）的崛起在过去几年引发了人工智能领域的飞跃式发展。尤其是 2022 年底 OpenAI 推出的 ChatGPT，短短两个月内月活用户就突破一亿，成为史上用户增长最快的消费者应用 ( ChatGPT sets record for fastest-growing user base - analyst note | Reuters )。ChatGPT 所展现的强大自然语言对话和内容生 ...

个人分类: AI 浪潮|10130 次阅读|1 个评论热度 1

再谈自然模态数据是高维空间的低维流形

李维 2025-3-4 09:12

这个话题实际上涉及流形假设（Manifold Hypothesis）、对抗样本攻击（Adversarial Attacks）和高维几何的脆弱性。 1. Normal Bundle 在高维空间的“刺猬”形象 normal bundel 是微分几何里的一个重要术语，中文翻译叫“法丛”，对于欠缺数学背景的我们来说，这个术语不好理解，但理解它对于大模 ...

个人分类: AI 浪潮|7750 次阅读|没有评论

RPA 赛道与大模型Co-pilots早期创业者的困局

李维 2025-2-27 12:31

在大模型技术狂飙的当下，LLMAgents（基于大语言模型的智能体）正以前所未有的速度重构自动化版图。这场革命不仅冲击着传统RPA（机器人流程自动化）的生存空间，更将早期依赖规则引擎或小模型的RPA创业者以及co-pilot的大模型应用的早期创业者逼至悬崖边缘。这场技术迭代的本质，是在复杂、多变、非结构化数据 ...

个人分类: AI 浪潮|7098 次阅读|没有评论

DeepSeek爆火真相：不靠“人盯”，让AI自己学会慢思考

热度 2 李维 2025-2-15 11:01

本文整理自InfoQ策划的DeepSeek系列直播第二期节目——DeepSeek爆火背后DeepSeek，纯强化学习路线到底有何不同。在直播中，出门问问大模型团队前工程副总李维博士聚焦推理范式的创新，分析了R1Zero对推理模型平民化的创新贡献。他提到，DeepSeek通过开源和透明化，证明了不需要过程监督，仅通过结果控制就能训 ...

个人分类: AI 浪潮|13735 次阅读|1 个评论热度 2

从R1幻觉谈起，大模型幻觉是缺陷还是创意火花？

李维 2025-2-10 02:17

主持人：大家好，欢迎来到今天的访谈。最近，大模型的“幻觉”问题引发了热议，尤其是DeepSeek-R1，它的幻觉率似乎比自己的基座大模型DeepSeek-V3高不少。今天我们请到了资深AI研究员立委博士，来跟大家聊聊这个话题。立委，您好！立委：主持人好，大家好！主持人：老李，咱们先来个灵魂拷问 ...

个人分类: AI 浪潮|8690 次阅读|1 个评论

推理强化模型中思维链的本质

热度 2 李维 2025-2-8 04:11

DeepSeek R1 的出圈是近来最大热度的焦点。它不仅在数学、代码等强推理能力上追平了 OpenAI 头部推理模型 o 系列，而且在语言文字的创造力和模仿力方面产生让人惊艳的效果。尤其是在中文（国学）的能力方面，大家都体会到了奇迹般的能力跃升。这一切都要感谢推理强化的 CoT（思维链）。CoT 为什么这么有效，这么神奇，文 ...

个人分类: AI 浪潮|8458 次阅读|2 个评论热度 2

推理强化学习是端到端的监督，推理过程的非监督

热度 1 李维 2025-2-1 14:00

DeepSeek R1 的数学和代码数据究竟是有监督还是无监督？是人造数据还是再生数据？很多人其实没究细节：实际上这些数据是人造也是再生，是监督学习，也是非监督学习（强化学习）。怎么讲？这些训练数据，从源头和结果（黄金标准）上看，是地地道道的人造数据。用的是各种数学测试题，以及 github 开源社区的人类（码 ...

个人分类: AI 浪潮|8501 次阅读|1 个评论热度 1

帐号		自动登录	找回密码
密码			注册

关闭 安全验证

liwei999

关闭安全验证