迭代算法，人工智能，守株待兔

许秋雨，2025.6.22

最早的迭代算法至少应该追朔到牛顿时代。牛顿对微积分的发现是近代数学的开始。微积分中的导数有两个最直接的应用，一个是求最优解，另一个是求一个函数的零点。而对求函数零点就有了牛顿迭代法。所以，牛顿迭代法应该是最早的迭代算法之一。

后来的迭代法有，如线性方程组的迭代解法，维纳滤波的自适应算法（上世纪60年代Widrow的LMS算法），神经网/人工智能学习算法，Turbo/LDPC迭代解码 等等。 所以现在人工智能里的迭代学习算法最早应追朔到60年代信号处理里的LMS算法，它也是最简单的学习算法，即线性学习算法。遗憾的是，现在有些学校的信号处理课程里只讲深度学习而不讲LMS算法了。

现在似乎哪里都用深度学习，即迭代算法，只需关心进和出，无需了解任何中间过程，把输入数据输入后，等着即可，以至于最简单的数学表达都写不清楚。这让我想起了中国的古成语，守株待兔。一早就到株处等着出结果，啥别的也不用做。只是现在大家守着的是Nvidia的显卡，都指望万物都能被几个显卡迭代出来。