目录

第1章 深度学习概述 1

1.1 什么是深度学习 1

1.1.1 深度学习与表示学习 7

1.1.2 深度学习与神经网络 8

1.2 本章小结 11

第2章 神经网络 13

2.1 神经网络的基本原理 14

2.1.1 硬阈值单元(阶跃激活函数)和符号函数 14

2.1.2 常见的激活函数 15

2.1.3 近似生物神经激活函数：Softplus和ReLU 16

2.2 神经网络的结构 18

2.3 本章小结 23

第3章 与深度学习相关的化算法 24

3.1 无约束优化 24

3.1.1 与梯度相关的无约束化方法 25

3.1.2 线性搜索 27

3.1.3 基于梯度化方法的收敛性 30

3.2 约束优化 32

3.2.1 约束优化的基础知识 32

3.2.2 凸优化 34

3.2.3 求解凸优化的方法 39

3.3 梯度法 43

3.4 本章小结 47

第4章 自编码器 49

4.1 稀疏自编码器 56

4.2 栈式自编码器 61

4.3 去噪自编码器 62

4.4 收缩自编码器 69

4.5 本章小结 71

第5章 Boltzmann机与深度信念网 72

5.1 生成模型 72

5.2 受限Boltzmann机 80

5.2.1 能量模型 81

5.2.2 Boltzmann机 82

5.2.3 受限的Boltzmann机 83

5.3 深度信念网 87

5.4 本章小结 91

第6章 卷积神经网络 92

6.1 尺度不变特征变换 93

6.2 方向梯度直方图 97

6.3 局部二值模型 99

6.4 卷积神经网络概述 103

6.4.1 卷积运算 103

6.4.2 卷积神经网络的基本概念 107

6.4.3 卷积神经网络的结构 109

6.4.4 计算卷积神经网络的梯度 111

6.5 卷积神经网络的新进展 113

6.5.1 图像分类中的卷积神经网络 113

6.5.2 目标检测中的卷积神经网络 117

6.5.3 空间金字塔匹配的基本原理 128

6.6 本章小结 130

第7章 深度学习应用 131

7.1 深度学习框架 131

7.2 Caffe简介 131

7.3 一个简单的Caffe例子 132

7.3.1 读取Caffe框架中每层参数和数据 135

7.3.2 读取配置文件中各层参数和数据例子 136

7.3.3 读取已训练好的模型参数 139

7.4 本章小节 140

附录 141

附录A Windows下Caffe的编译与测试 141

附录B 稀疏自编码的模拟 147

参考文献 148