1. 神经网络的发展史
神经网络主要分为三个阶段，第一阶段是萌芽，是开始，第二阶段反向传播算法的提出尽管有些缺陷，但为深度学习打下坚实的理论基础，第三阶段算力、算法、数据三驾马车为深度学习再次赋能，人们对于深度学习的热情再次被点燃，至此，深度学习方兴未艾。
神经学家 Warren Mc Cullon 和数学家 Walter Pitts[39] 在 1943 年提出的Mccolloch-Pitts（MP）模型，该方法的提出主要受生物处理信息结构的启发，模拟人类神经元的结构和工作原理。还有Rosenblatt 于二十世纪五十年代末提出了基于监督学习感知机模型，该方法不能设置多层网络，并且连最简单的线性不可分问题都不能解决，再加上当时的硬件软件水平的限制，神经网络理论研究陷入瓶颈。但正是有了这一阶段的铺垫，后期神经网络才得以发展；
二十世纪八十年代，Geoffrey Hinton 提出一种能够解决非线性分类问题的反向传播算法，该方法是在原有前向神经网络加入了偏差，然后通过链式求导法则进行反向传播，不断地求导、最小化误差、得到新的权重，再求导，最小化误差、再得到新的误差，不断迭代直到误差最小，得到合适的权重，但当神经网络层数变多时该方法的运算量会呈指数上升，甚至会出现梯度爆炸和梯度消失的现象，另外，当时机器学习理论空前发展，SVM、决策树、随机森林隐马尔可夫模型和多层感知器等算法逐步被提出，并且较神经网络，此类浅层机器学习算法解释性比较强，局限于当时的算力、算法，类似的浅层机器学习算法更适合当时的发展，于是神经网络的发展再次陷入瓶颈。
2006年，杰弗里·辛顿以及他的学生鲁斯兰·萨拉赫丁诺夫正式提出了深度学习的概念。他们在世界顶级学术期刊《Science》发表的一篇文章中详细的给出了“梯度消失”问题的解决方案——通过无监督的学习方法逐层训练算法，再使用有监督的反向传播算法进行调优。该深度学习方法的提出，立即在学术圈引起了巨大的反响，深度学习在高校进行地如火如荼，这把火而后又烧到了工业界，2014年AlexNet 不仅很大程度上解决了梯度消失问题，同时采用GPU处理信息，极大地提高了模型的训练速度,同年VGG模型在ILSVRC竞赛夺得第二名，但是后来事实证明，该模型在CNN中提取特征，迁移学习方面有着强大的性能。
神经网络发展史
神经网络发展史
