深度学习中文版

根据Google 图书中短语“控制论’’、“联结主义’’ 或“神经网络’’ 频率衡量的人工神经网络研究的历史浪潮（图中展示了三次浪潮的前两次，第三次最近才出现）。第一次浪潮开始于20 世纪40 年代到20 世纪60 年代的控制论，随着生物学习理论的发展(McCulloch and Pitts,1943; Hebb, 1949) 和第一个模型的实现（如感知机(Rosenblatt, 1958)），能实现单个神经元的训练。第二次浪潮开始于1980-1995 年间的联结主义方法，可以使用反向传播(Rumelhart et al.,1986a) 训练具有一两个隐藏层的神经网络。当前第三次浪潮，也就是深度学习，大约始于2006 年(Hinton et al., 2006a; Bengio et al., 2007a; Ranzato et al., 2007a)，并且现在在2016 年以书的形式出现。另外两次浪潮类似地出现在书中的时间比相应的科学活动晚得多。

在整个计算机科学乃至日常生活中，对表示的依赖都是一个普遍现象。在计算机科学中，如果数据集合被精巧地结构化并被智能地索引，那么诸如搜索之类的操作的处理速度就可以成指数级地加快。人们可以很容易地在阿拉伯数字的表示下进行算术运算，但在罗马数字的表示下运算会比较耗时。因此，毫不奇怪，表示的选择会对机器学习算法的性能产生巨大的影响。