【新智元简介】近日，LSTM之父于尔根·施密德胡伯(Jürgen Schmidhuber)梳理了自17世纪以来的人工智能历史。在这篇一万字的长文中，Schmidhuber为读者提供了一个重大事件的年表，包括神经网络、深度学习、人工智能等领域的重要事件，以及那些为AI奠定基础的科学家。
“人工智能”这个术语是由约翰·麦卡锡等人在1956年的达特茅斯会议上首次提出的。
它是艾从实际出发提出的，最早可以追溯到1914年。当时，莱昂纳多·托雷斯(Leonardo Torres y Quevedo)建造了第一台工作的国际象棋机器终端游戏玩家。那时，国际象棋被认为是一种局限于智能生物学领域的活动。
至于人工智能的理论，可以追溯到1931-34年。当时，库尔特·哥德尔确定了任何一种基于计算的人工智能的基本限制。
说到80年代，此时的AI历史会强调定理证明、逻辑编程、专家系统、启发式搜索等话题。
21世纪初的人工智能历史将更加强调支持向量机和核方法等主题。贝叶斯推理和其他概率论和统计学的概念，决策树，整合方法，群体智能和进化计算，这样的技术促进了许多成功的AI应用。
相反，2020年代的AI研究更“复古”，比如强调链规则、梯度下降训练的深度非线性人工神经网络等概念，尤其是基于反馈的环路网络。
Schmidhuber表示，这篇文章纠正了误导性的“深度学习历史”。在他看来，之前的深度学习史忽略了文章中提到的大部分开创性工作。
此外，Schmidhuber还驳斥了一个常见的错误，即神经网络“是在20世纪80年代作为帮助计算机识别模式和模拟人类智能的工具而被引入的”。事实上，神经网络早在20世纪80年代就出现了。
I. 1676:反向信用分配的链式法则
1676年，戈特弗里德·威廉·莱布尼茨在回忆录中发表了微积分的链式法则。如今，这一规则已经成为深度神经网络中信用分配的核心，成为现代深度学习的基础。
戈特弗里德·威廉·莱布尼茨
神经网络具有计算来自其他神经元的输入的可微分函数的节点或神经元，这些节点或神经元又计算来自其他神经元的输入的可微分函数。如果想知道修改早期函数的参数或权重后最终函数输出的变化，就需要用到链式法则。
这个答案也用于梯度下降技术。为了教会神经网络将来自训练集的输入模式转换为所需的输出模式，所有神经网络权重都朝着最大局部改进迭代地改变一点，以创建稍微更好的神经网络，以此类推，逐渐接近权重和偏移的最佳组合，从而最小化损失函数。
值得注意的是，莱布尼茨也是第一个发现微积分的数学家。他和艾萨克·牛顿先后独立发现了微积分，他所使用的微积分的数学符号应用更加广泛。莱布尼茨发明的符号一般被认为更全面，更适用。
何况莱布尼茨是“世界上第一个计算机科学家”。1673年，他设计了第一台可以进行全部四种算术运算的机器，奠定了现代计算机科学的基础。
二。19世纪早期:神经网络、线性回归和浅层学习
1805年，Adrien Adrien-Marie Legendre发表了现在通常所说的线性神经网络。
阿德里安·玛丽·勒让德
后来，约翰·卡尔·约翰·卡尔·弗里德里希·高斯因他的类似研究而受到赞扬。
这个200多年前的神经网络有两层:具有多个输入单元的输入层和输出层。每个输入单元可以保存一个实值，并通过一个具有实值权重的连接连接到输出。
神经网络的输出是输入与其权重的乘积之和。给定输入向量的训练集和每个向量的期望目标值，调整权重以最小化神经网络的输出和相应目标之间的误差平方和。
当然，那时候还不叫神经网络。叫做最小二乘法，也就是俗称的线性回归。但它在数学上和今天的线性神经网络是一样的:同样的基本算法，同样的误差函数，同样的自适应参数/权重。