深度神经网络是年来受到广泛关注的研究方向，它已成为人工智能2.0的主要组成部分。本书系统地论述了深度神经网络基本理论、算法及应用。全书共十六章，分为两个部分；靠前部分(靠前章到第十章)系统论述了理论及算法，包括深度前馈神经网络、深度卷积神经网络、深度堆栈神经网络、深度递归神经网络、深度生成网络、深度融合网络等；第二部分(第十一章到第十五章)论述了常用的深度学习平台，以及在高光谱图像、自然图像、SAR与极化SAR影像等领域的应用；第十六章为总结与展望，给出了深度学习发展的历史图、前沿方及近期新进展。每章都附有相关阅读材料及仿真代码，以便有兴趣的读者进一步钻研探索。
本书可为高等院校计算机科学、电子科学与技术、信息科学、控制科学与工程、人工智能等领域的研究人员提供参考，以及作为相关专业本科生及研究生教学参考书，同时可供深度学习及其应用感兴趣的研究人员和工程技术人员参考。
《深度学习、优化与识别》的特色
深度学习是计算机科学与人工智能的重要组成部分。全书16章，分为理论与实践应用两部分，同时介绍5种深度学习主流平台的特性与应用，后给出了深度学习的前沿进展介绍，另附带47种相关网络模型的实现代码。本书具有以下的特点：
一、内容系统
全书16章，覆盖了深度学习当前出现的诸多经典框架或模型，分为两个部分。部分系统地从数据、模型、优化目标函数和求解等四个方面论述了深度学习的理论及算法，如卷积神经网络、深度生成模型等；第二部分基于5种主流的深度学习平台给出了深度网络在自然图像、卫星遥感影像等领域的应用，如分类、变化检测、目标检测与识别等任务。另外给出了深度学习发展的脉络图及研究进展，提供可基于5种平台实现的47中深度网络代码，以便有兴趣的读者进一步钻研探索。
二、叙述立场客观
作为深度学习的入门教材，尽可能不带偏见地对材料进行分析、加工以及客观介绍。本书理论部分均从模型产生的本源来介绍，并给出各个经典模型之间内在的相互联系。本书实践应用部分对相关任务做了详尽的分析，并给出深度学习应用实践的经验总结。
三、设计装帧精美
该书设计人性化，文字、公式、数学符号混排格式美观精致，特别是，全书采用全彩印制，软精装装帧。封面设计清新却不脱俗、学术化，足可以看出出版社和作者的用心。
焦李成，男，1959年10月生, 西安电子科技大学教授、博导，智能感知与图像理解教育部重点实验室主任、国际智能感知与计算研究中心主任、国家"111"计划创新引智基地负责人、教育部长江学者创新团队首席专家。担任国务院学位委员会学科评议组成员、教育部本科教学水平评估专家、国家自然科学基金委员会信息学部会审专家、国家博士后管理委会专家评审委员会专家。兼任中国人工智能学会副理事长、中国电子学会监事、IET西安分会，IEEE西安分会奖励委员会、IEEE 计算智能学会西安chapter。主要研究领域为非线性信号与图像处理，自然计算和智能信息处理，发表专著10余部，在国内外刊物上200余篇，获国家发明专利授权50余项，研究成果获2013年国家自然科学奖。1992年起享受国务院政府特殊津贴，首批入选国家"百千万人才工程"(、二层次)和陕西省首批"三五人才"层次，荣获中国青年科技奖、陕西省有突出贡献的专家、陕西省师德标兵等称号，为全国百篇很好博士学位论文指导教师。2014年荣获"全国模范教师"称号。
第1章 深度学习基础 1
1.1 数学基础 2
1.1.1 矩阵论 2
1.1.2 概率论 3
1.1.3 优化分析 5
1.1.4 框架分析 6
1.2 稀疏表示 8
1.2.1 稀疏表示初步 8
1.2.2 稀疏模型 20
1.2.3 稀疏认知学习、计算与识别的范式 24
1.3 机器学习与神经网络 31
1.3.1 机器学习 31
1.3.2 神经网络 36
参考文献 38
第2章 深度前馈神经网络 41
2.1 神经元的生物机理 42
2.1.1 生物机理 42
2.1.2 单隐层前馈神经网络 43
2.2 多隐层前馈神经网络 45
2.3 反向传播算法 47
2.4 深度前馈神经网络的学习范式 48
参考文献 51
第3章 深度卷积神经网络 54
3.1 卷积神经网络的生物机理及数学刻画 55
3.1.1 生物机理 55
3.1.2 卷积流的数学刻画 56
3.2 深度卷积神经网络 61
3.2.1 典型网络模型与框架 61
3.2.2 学习算法及训练策略 69
3.2.3 模型的优缺点分析 71
3.3 深度反卷积神经网络 73
3.3.1 卷积稀疏编码 74
3.3.2 深度反卷积神经网络 75
3.3.3 网络模型的性能分析与应用举例 77
3.4 全卷积神经网络 77
3.4.1 网络模型的数学刻画 77
3.4.2 网络模型的性能分析及应用举例 79
参考文献 80
第4章 深度堆栈自编码网络 83
4.1 自编码网络 84
4.1.1 逐层学习策略 84
4.1.2 自编码网络 84
4.1.3 自编码网络的常见范式 87
4.2 深度堆栈网络 90
4.3 深度置信网络/深度玻尔兹曼机网络 93
4.3.1 玻尔兹曼机/受限玻尔兹曼机 93
4.3.2 深度玻尔兹曼机/深度置信网络 94
参考文献 96
第5章 稀疏深度神经网络 99
5.1 稀疏性的生物机理 100
5.1.1 生物视觉机理 100
5.1.2 稀疏性响应与数学物理描述 102
5.2 稀疏深度网络模型及基本性质 102
5.2.1 数据的稀疏性 103
5.2.2 稀疏正则 103
5.2.3 稀疏连接 104
5.2.4 稀疏分类器设计 106
5.2.5 深度学习中关于稀疏的技巧与策略 108
5.3 网络模型的性能分析 110
5.3.1 稀疏性对深度学习的影响 110
5.3.2 对比实验及结果分析 110
参考文献 111
第6章 深度融合网络 113
6.1 深度SVM网络 114
6.1.1 从神经网络到SVM 114
6.1.2 网络模型的结构 115
6.1.3 训练技巧 117
6.2 深度PCA网络 117
6.3 深度ADMM网络 119
6.4 深度极限学习机 121
6.4.1 极限学习机 121
6.4.2 深度极限学习机 123
6.5 深度多尺度几何网络 125
6.5.1 深度脊波网络 125
6.5.2 深度轮廓波网络 127
6.6 深度森林 130
6.6.1 多分辨特性融合 131
6.6.2 级联特征深度处理 131
参考文献 133
第7章 深度生成网络 136
7.1 生成式对抗网络的基本原理 137
7.1.1 网络模型的动机 137
7.1.2 网络模型的数学物理描述 139
7.2 深度卷积对抗生成网络 141
7.2.1 网络模型的基本结构 141
7.2.2 网络模型的性能分析 144
7.2.3 网络模型的典型应用 146
7.3 深度生成网络模型的新范式 151
7.3.1 生成式对抗网络的新范式 151
7.3.2 网络框架的性能分析与改进 154
7.4 应用驱动下的两种新生成式对抗网络 155
7.4.1 堆栈生成式对抗网络 155
7.4.2 对偶学习范式下的生成式对抗网络 158
7.5 变分自编码器 160
参考文献 162
第8章 深度复卷积神经网络与深度二值神经网络 167
8.1 深度复卷积神经网络 168
8.1.1 网络模型构造的动机 168
8.1.2 网络模型的数学物理描述 168
8.2 深度二值神经网络 172
8.2.1 网络基本结构 172
8.2.2 网络的数学物理描述 173
8.2.3 讨论 176
参考文献 177
第9章 深度循环和递归神经网络 180
9.1 深度循环神经网络 181
9.1.1 循环神经网络的生物机理 181
9.1.2 简单的循环神经网络 181
9.1.3 深度循环神经网络的数学物理描述 183
9.2 深度递归神经网络 188
9.2.1 简单的递归神经网络 188
9.2.2 深度递归神经网络的优势 189
9.3 长短时记忆神经网络 190
9.3.1 改进动机分析 190
9.3.2 长短时记忆神经网络的数学分析 191
9.4 典型应用 192
9.4.1 深度循环神经网络的应用举例 193
9.4.2 深度递归神经网络的应用举例 194
参考文献 194
第10章 深度强化学习 197
10.1 深度强化学习基础 198
10.1.1 深度强化学习的基本思路 198
10.1.2 发展历程 198
10.1.3 应用的新方向 200
10.2 深度Q网络 201
10.2.1 网络基本模型与框架 201
10.2.2 深度Q网络的数学分析 202
10.3 应用举例—AlphaGo 204
10.3.1 AlphaGo原理分析 205
10.3.2 深度强化学习性能分析 206
参考文献 207
第11章 深度学习软件仿真平台及开发环境 209
11.1 Caffe平台 210
11.1.1 Caffe平台开发环境 210
11.1.2 AlexNet神经网络学习 210
11.1.3 AlexNet神经网络应用于图像分类 212
11.2 TensorFlow平台 215
11.2.1 TensorFlow平台开发环境 215
11.2.2 深度卷积生成式对抗网DCGAN 216
11.2.3 DAN应用于样本扩充 217
11.3 MXNet平台 220
11.3.1 MXNet平台开发环境 220
11.3.2 VGG-NET深度神经网络学习 222
11.3.3 图像分类应用任务 225
11.4 Torch 7平台 226
11.4.1 Torch 7平台开发环境 226
11.4.2 二值神经网络 227
11.4.3 二值神经网络应用于图像分类 239
11.5 Theano平台 233
11.5.1 Theano平台开发环境 233
11.5.2 递归神经网络 234
11.5.3 LSTM应用于情感分类任务 237
参考文献 238
第12章 基于深度神经网络的SAR/PolSAR影像地物分类 240
12.1 数据集及研究目的 241
12.1.1 数据集特性分析 241
12.1.2 基本数据集 244
12.1.3 研究目的 247
12.2 基于深度神经网络的SAR影像地物分类 251
12.2.1 基于自适应自编码和超像素的SAR图像分类 251
12.2.2 基于卷积中层特征学习的SAR图像分类 257
12.3 基于及时代深度神经网络的PolSAR影像地物分类 263
12.3.1 基于稀疏极化DBN的极化SAR地物分类 263
12.3.2 基于深度PCA网络的极化SAR影像地物分类 267
12.4 基于第二代深度神经网络的PolSAR影像地物分类 271
12.4.1 基于深度复卷积网络的极化PolSAR影像地物分类 271
12.4.2基于生成式对抗网的极化PolSAR影像地物分类 274
12.4.3基于深度残差网络的极化PolSAR影像地物分类 278
参考文献 280
第13章 基于深度神经网络的SAR影像变化检测 284
13.1 数据集特点及研究目的 285
13.1.1 研究目的 285
13.1.2 数据基本特性 288
13.1.3 典型数据集 291
13.2 基于深度学习和SIFT特征的SAR图像变化检测 293
13.2.1 基本方法与实现策略 284
13.2.2 对比实验结果分析 295
13.3基于SAE的SAR图像变化检测 299
13.3.1 基本方法与实现策略 299
13.3.2 对比实验结果分析 303
13.4基于CNN的SAR图像变化检测 305
13.4.1基本方法与实现策略 305
13.4.2对比实验结果分析 307
参考文献 309
第14章 基于深度神经网络的高光谱图像分类与压缩 311
14.1 数据集及研究目的 312
14.1.1 高光谱遥感技术 312
14.1.2 高光谱遥感的研究目的 313
14.1.3 常用的高光谱数据集 314
14.2 基于深度神经网络的高光谱影像的分类 318
14.2.1 基于堆栈自编码的高光谱影像的分类 319
14.2.2 基于卷积神经网络的高光谱影像的分类 325
14.3基于深度神经网络的高光谱影像的压缩 333
14.3.1 基于深度自编码网络的高光谱图像压缩方法 334
14.3.2 实验设计及分类结果 336
参考文献 338
第15章 基于深度神经网络的目标检测与识别 340
15.1 数据特性及研究目的 341
15.1.1 研究目的 341
15.1.2 常用数据集 343
15.2 基于快速CNN的目标检测与识别 345
15.2.1 R-CNN 346
15.2.2 Fast R-CNN 348
15.2.3 Faster R-CNN 349
15.2.4 对比实验结果与分析 352
15.3 基于回归学习的目标检测与识别 353
15.3.1 YOLO 353
15.3.2 SSD 356
15.3.3 对比实验结果分析 359
15.4 基于学习搜索的目标检测与识别 360
15.4.1 基于深度学习的主动目标定位 360
15.4.2 AttentionNet 363
15.4.3 对比实验结果分析 365
参考文献 366
第16章 总结与展望 368
16.1 深度学习发展历史图 369
16.1.1 从机器学习、稀疏表示学习到深度学习 370
16.1.2 深度学习、计算与认知的范式演进 371
16.1.3 深度学习形成脉络 375
16.2 深度学习的典型应用 375
16.2.1 目标检测与识别 375
16.2.2 超分辨 376
16.2.3 自然语言处理 376
16.3 深度神经网络的可塑性 377
16.3.1 旋转不变性 377
16.3.2 平移不变性 378
16.3.3 多尺度、多分辨和多通路特性 378
16.3.4 稀疏性 379
16.4 基于脑启发式的深度学习前沿方向 380
16.4.1 生物神经领域关于认知、识别、注意等的近期研究进展 380
16.4.2 深度神经网络的进一步研究方向 382
16.4.3 深度学习的可拓展性 383
