深度学习框架,尤其是基于人工神经网络的框架可以追溯到1980年福岛邦彦提出的新认知机,而人工神经网络的历史则更为久远,甚至可以追溯到公元前亚里士多德为了解释人类大脑的运行规律而提出的联想主义心理学。1989年,扬·勒丘恩(Yann LeCun)等人开始将1974年提出的标准反向传播算法应用于深度神经网络,这一网络被用于手写邮政编码识别,并且在美国成功地被银行商业化应用了,轰动一时。2007年前后,杰弗里·辛顿和鲁斯兰·萨拉赫丁诺夫(Ruslan Salakhutdinov)提出了一种在前馈神经网络中进行有效训练的算法。这一算法将网络中的每一层视为无监督的受限玻尔兹曼机(RBM),再使用有监督的反向传播算法进行调优。之后,由Hinton等人创造的深度置信网络(DBN)指出,RBM可以以贪婪的方式进行堆叠和训练,也掀起了深度学习的研究热潮。2009年,又进一步提出Deep Boltzmann Machine,它与DBN的区别在于,DBM允许在底层中双向连接。因此,用DBM表示堆叠的RBM,比用DBN好得多。

下表罗列了深度学习发展历史上的里程碑: