深度学习—卷积神经网络算法原理与应用

体系完整、通俗易懂，系统讲述卷积神经网络基本原理

详细阐述前向传播、反向传播、优化算法

系统介绍卷积神经网络和自编码器的常用算法

详尽分析算法实例应用

深度学习是机器学习研究中的一个新的领域，其动机在于建立、模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据。自2006年深度学习概念被提出以来，其以极高的发展速度在各行各业得到了广泛的应用。基于深度学习的新技术、新算法不断涌现。本书以深度学习中卷积神经网络算法原理为基础，对最近几年提出的卷积神经网络进行系统介绍。

本书力求体系完整、通俗易懂，书中系统地讲述了卷积神经网络的基本原理，从前向传播、反向传播、优化算法等方面详细阐述。同时对卷积神经网络和自编码器的常用算法进行介绍。针对算法实例应用进行分析。

本书资料搜集工作：袁国亮搜集整理第6章，吕朦搜集整理第4章、第8章，刘文洲搜集整理第5章，郑旭、万溪洲、郭钊搜集整理第2章、第3章、第7章、第8章。

本书在内容上注重精选、结合实际、突出应用。主要面向人工智能及相关专业的高年级本科生及研究生，也可做为从事深度学习的软件工程师的参考书目。

由于编者水平有限，加之时间仓促，书中难免存在不当和谬误之处，恳请有关专家和广大读者不吝赐教。

编 者

2019年1月

第1章 绪论 1
1.1 深度学习 1
1.1.1 概述 1
1.1.2 基本思想 2
1.1.3 基本分类 2
1.2 卷积神经网络技术的发展与应用 4
1.2.1 卷积神经网络的发展 4
1.2.2 卷积神经网络的应用 5
1.3 自编码器的发展及其应用 5
1.3.1 自编码器的发展 5
1.3.2 自编码器的应用 5
第2章 相关数学基础知识 7
2.1 矩阵 7
2.1.1 基本概念 7
2.1.2 矩阵运算 8
2.2 范数 11
2.2.1 范数的定义 11
2.2.2 范数的分类及性质 11
2.3 卷积运算 13
2.3.1 定义 13
2.3.2 多维数组的卷积 14
2.4 激活函数 15
2.4.1 线性激活函数 15
2.4.2 非线性激活函数 16
2.5 信息熵 24
2.5.1 定义 24
2.5.2 条件熵 25
2.5.3 相对熵 26
2.5.4 交叉熵 26
习题 27
第3章 神经网络 28
3.1 人工神经网络 28
3.1.1 人工神经元模型 28
3.1.2 人工神经网络结构 29
3.2 BP神经网络 30
3.2.1 原理 30
3.2.2 网络结构 31
3.2.3 BP神经算法原理 32
3.2.4 信号传递过程的实现 34
3.2.5 算法分析 35
习题 36
第4章 卷积神经网络 37
4.1 原理 37
4.1.1 动机 37
4.1.2 卷积神经网络特点 37
4.2 LeNet-5 38
4.2.1 网络总体结构 38
4.2.2 分层结构 39
4.3 反向传播 43
4.3.1 全连接的反向过程 43
4.3.2 卷积的反向过程 43
4.3.3 池化的反向过程 46
4.3.4 输出层反向传播 47
4.3.5 权值更新 48
习题 49
第5章 卷积神经网络扩展机制 50
5.1 注意力机制 50
5.1.1 注意机制的分类 50
5.1.2 深度学习中的注意机制 51
5.2 卷积变体 53
5.2.1 组卷积 53
5.2.2 深度可分离卷积 55
5.2.3 膨胀卷积 56
5.2.4 全卷积网络 57
习题 59
第6章 自编码器网络 60
6.1 相关概念 60
6.1.1 稀疏性 60
6.1.2 稀疏编码 60
6.2 自编码器概述 61
6.3 自编码器原理 62
6.4 自编码器的拓展网络 65
6.4.1 稀疏自编码 65
6.4.2 栈式自编码 67
6.4.3 去噪自编码 69
6.4.4 压缩自编码 70
6.5 自编码器的编程实现 72
习题 72
第7章 卷积神经网络的优化 73
7.1 正则化与归一化 73
7.1.1 概念 73
7.1.2 参数范数惩罚 74
7.1.3 Dropout 75
7.1.4 归一化 77
7.2 基于梯度的优化方法 78
7.2.1 基本算法 79
7.2.2 自适应学习率算法 84
习题 87
第8章 卷积神经网络的典型结构 88
8.1 概述 88
8.2 AlexNet网络 88
8.2.1 AlexNet基本框架 88
8.2.2 AlexNet数据处理 89
8.3 GoogLenet网络 93
8.3.1 背景 93
8.3.2 Inception V1 93
8.3.3 Inception V2与V3 94
8.3.4 Inception V4 95
8.3.5 Xception 96
8.4 ResNet网络结构 97
8.4.1 ResNet网络 97
8.4.2 ResNeXt 98
8.5 ShuffleNet网络结构 100
8.5.1 网络简介 100
8.5.2 模型结构 100
8.5.3 ShuffleNet V2 102
8.6 DenseNet网络结构 102
8.6.1 Dense block 103
8.6.2 整体结构 103
8.7 数据集介绍 104
8.7.1 图像分类数据集 104
8.7.2 语义分割数据集 109
第9章 卷积神经网络的压缩 112
9.1 核的稀疏化 112
9.2 剪枝 113
9.2.1 剪枝的概念 113
9.2.2 剪枝的类型 113
9.3 模型量化 114
9.3.1 量化转换 114
9.3.2 向量化 115
9.4 模型蒸馏 116
参考文献 119
附录 125
BP神经网络实现人脸识别程序 125
自编码器程序 129
AlexNet程序 130
GoogLeNet程序 133
ResNeXt程序 136
DenseNet程序 141

1. 控制器件（第三版） [主编　鲁兴举]
2. 人工智能与信息素养 [主编 吴华光 房宜汕]
3. 智能多媒体技术 [主编 陈萍 刘灵傲]
4. 云南异龙湖无机碳埋藏的近现代模式研究 [李平 著]
5. 基于多模态的人脸图像生成算法与关键技术 [罗晓东 著]
6. 应用型地方本科高校教师专业发展研究 [吴丽 著]
7. 高维数据特征筛选策略与算法 [陈念 著]
8. 外贸英语从入门到实战：53种实战场景秒变谈判高手 [张乐 廖熠 编著]
9. Linux系统管理（openEuler版） [主编 许兴鹍 黄君羡]
10. Python程序设计项目化教程（基于AI） [主编 禹晨 赵金考 王宏斌]
11. 可编程控制器应用项目化教程（三菱FX系列） [主编 姜文雍 李东方]
12. 全球英文电影精选：看电影学英文 [张颖　编译]
13. Python程序设计与网络爬虫 [黄海辉 彭新东]
14. 实体店创业分析实务 [燕艳 陈文冬 编著]
15. 中国对欧盟OFDI效率与风险的多维度实证评估—基于KK-SFA模型与PCF-聚类分析方法 [黄健钧 著]
16. 生成式人工智能素养 [邱有春　罗明全]
17. 系统分析师考试32小时通关（适配第2版考纲） [薛大龙　邹月平]
18. Ansys DesignModeler参数化特征建模与仿真指南 [蔡宜时 编著]
19. 浙江省山区县共富工坊建设的现状与对策 [徐骏骅 著]
20. 计算机网络技术及应用（第3版） [主编 刘永华 陈瑶]
21. 北京冬奥精神传承和发展研究 [顾春雨 邹新娴 等 著]
22. 汽车营销理论与实务（第三版） [主编 赵培全]
23. 人工智能基础与实践 [禹晨 赵金考 王宏斌 李璐]
24. 系统分析师5天修炼（适配第2版考纲） [施游 邹汉斌 黄少年 主编]
25. 线性代数（第二版） [惠小健 贺艳琴 夏斌湖]
26. 微控制器系统设计（STM32版） [主编 杨凌]
27. 机械原理与机械设计作业集（第二版） [主编 田亚平 李爱姣]
28. 高剑父的现代国画研究 [陈水兴　著]
29. 用英语介绍中国江河湖海 [庞彦杰　李静　赵娟　刘桂杰　编]
30. 大学生创新创业基础（第2版） [主编 姜国权 方邡]