说起来关于人工神经网络的研究由来已久。
1943年，沃伦·麦卡洛克和沃尔特·皮茨基于数学和一种称为阈值逻辑的算法创造了一种神经网络的计算模型。
这种模型使得神经网络的研究分裂为两种不同研究思路。
一种主要关注大脑中的生物学过程，另一种主要关注神经网络在人工智能里的应用。
二十世纪40年代后期，心理学家唐纳德·赫布根据神经可塑性的机制创造了一种对学习的假说，现在称作赫布型学习。
赫布型学习被认为是一种典型的非监督式学习规则，它后来的变种是长期增强作用的早期模型。
从1948年开始，研究人员将这种计算模型的思想应用到b型图灵机上。
1954年，法利和韦斯利·a·克拉克首次使用计算机（当时称作计算器），在麻省理工学院模拟了一个赫布网络。
后来，弗兰克·罗森布拉特创造了感知机。
这是一种模式识别算法，用简单的加减法实现了两层的计算机学习网络。
罗森布拉特也用数学符号描述了基本感知机里没有的回路，例如异或回路。
这种回路一直无法被神经网络处理，直到保罗·韦伯斯1975创造了反向传播算法。
看起来进展不错，然鹅此后，神经网络的研究停滞不前。
人们发现了神经网络的两个关键问题。
第一是基本感知机无法处理异或回路。
第二个重要的问题是电脑没有足够的能力来处理大型神经网络所需要的很长的计算时间。
直到计算机具有更强的计算能力之前，神经网络的研究进展缓慢。
直到1975年保罗·韦伯斯发明的反向传播算法。
这个算法有效地解决了异或的问题，还有更普遍的训练多层神经网络的问题。
在二十世纪80年代中期，分布式并行处理（当时称作联结主义）流行起来。
戴维·鲁姆哈特和詹姆斯·麦克里兰德的教材对于联结主义在计算机模拟神经活动中的应用了全面的论述。
神经网络传统上被认为是大脑中的神经活动的简化模型，虽然这个模型和大脑的生理结构之间的关联存在争议。
人们不清楚人工神经网络能多大程度地反映大脑的功能。
这之后人们对于人工神经网络的兴趣就消极了起来。
2014年出现了残差神经网络，该网络极大解放了神经网络的深度限制，出现了深度学习的概念。
可以说，是深度学习重新激发了人们对神经网络的兴趣。
这也是章杉所提到的契机之所在。
人工神经网络和机器学习息息相关。
而机器学习，是人工智能的一个分支。
人工智能的研究历史有着一条从以“推理”为重点，到以“知识”为重点，再到以“学习”为重点的自然、清晰的脉络。
机器学习在近30多年已发展为一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。
机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。
机器学习算法是一类从数据中自动分析获得规律，并利用规律对未知数据进行预测的算法。
因为学习算法中涉及了大量的统计学理论，机器学习与推断统计学联系尤为密切，也被称为统计学习理论。
算法设计方面，机器学习理论关注可以实现的，行之有效的学习算法。
很多推论问题属于无程序可循难度，所以部分的机器学习研究是开发容易处理的近似算法。
机器学习已广泛应用于数据挖掘、计算机视觉、自然语言处理、生物特征识