神经网络与深度学习

精选内容 注重分析神经网络与深度学习的基本概念、基本原理和网络结构。

结合实际 通过深度学习中的视觉应用典型案例加深对深度学习算法的理解。

配套资源 配微课视频、电子课件等资源，方便师生的教与学。

前 言

随着人工智能技术的发展，深度学习算法逐渐在相应的各类应用中占据主导地位。深度学习通过模拟人脑深层次抽象认知过程，实现计算机对数据的复杂运算和优化，将人工智能的发展推向一个更高的台阶。因此，对深度学习的研究，不仅具有重大的学术意义，而且具有较强的实用性。

本书从神经网络及循环神经网络的前向传播、反向传播、优化算法等方面入手，逐渐过渡到深度学习算法的基本结构中，对深度学习算法中涉及的基本概念及知识点进行分章讲解，并详细阐述深度学习算法的视觉应用案例，内容由浅入深、通俗易懂。读者在学习本书内容的过程中，可首先学习神经网络的基本知识点，掌握神经网络及循环神经网络的原理及结构特点；在此基础上，了解深度学习的发展及分类特点，学习卷积神经网络的结构构成，并掌握卷积神经网络中涉及的数学基础知识、卷积变体及注意力机制、自编码器的基本架构及特点；最后，通过深度学习中的视觉应用典型案例加深对深度学习算法的理解。本书在内容上注重精选、结合实际、突出应用，主要面向人工智能及相关专业的本科生及研究生，也可作为从事深度学习工作的软件工程师的参考书。

本书由王改华负责编写，资料搜集工作分工如下：曹清程负责第1章、第4章，甘鑫负责第2章、第3章，翟乾宇负责第5章、第6章，王改华负责第7章至第10章，张天伦、代迎盈、林锦衡、程磊负责第11章至第16章。

由于编者水平有限，加之时间仓促，书中难免存在不妥之处，敬请有关专家和读者批评指正。修改建议可直接反馈至编者邮箱：20130006@hbut.edu.cn。

编 者

2022年4月

前言
基础知识篇

第1章 绪论 2
1.1 人工智能相关概念 2
1.2 神经网络算法发展及应用 2
1.2.1 神经网络结构 2
1.2.2 神经网络的发展及应用 4
1.3 深度学习算法的发展及应用 5
1.3.1 卷积神经网络技术的发展 5
1.3.2 自编码器的发展 6
习题 7
第2章 神经网络模型 8
2.1 神经网络模型构成 8
2.1.1 神经元模型 8
2.1.2 感知器 9
2.2 BP神经网络 10
2.2.1 BP神经网络结构 10
2.2.2 改进的BP神经网络 15
习题 16
第3章 相关数学基础知识 17
3.1 矩阵 17
3.1.1 基本概念 17
3.1.2 矩阵运算 18
3.2 范数 19
3.3 卷积运算 20
3.4 激活函数 21
3.4.1 线性激活函数 21
3.4.2 非线性激活函数 22
3.5 信息熵 30
习题 31
第4章 卷积神经网络 32
4.1 卷积神经网络原理 32
4.2 LeNet-5 34
4.2.1 分层结构 34
4.2.2 反向传播 37
4.3　AlexNet 41
4.3.1　网络结构 41
4.3.2 网络特点 42
习题 43
第5章 卷积神经网络扩展机制 44
5.1 注意力机制 44
5.1.1 注意力机制的分类 44
5.1.2 深度学习中的注意力机制 45
5.2 卷积变体 48
5.2.1 分组卷积 48
5.2.2 深度可分离卷积 49
5.2.3 膨胀卷积 50
5.2.4 全卷积网络 51
5.2.5 可变形卷积 51
习题 52
第6章 深度学习中涉及的相关网络 53
6.1 循环神经网络 53
6.1.1 网络结构 53
6.1.2 RNN的类型 54
6.1.3 RNN反向传播 55
6.2 LSTM 56
6.2.1 遗忘门 57
6.2.2 输入门 57
6.2.3 细胞更新 58
6.2.4 输出门 58
6.3 生成式对抗网络 59
6.3.1 前向传播过程 59
6.3.2 优化训练过程 59
6.4 特征金字塔网络 60
6.4.1 基本概念 60
6.4.2 特征金字塔的应用 61
习题 62
第7章 自编码器 63
7.1 相关概念 63
7.2 自编码器原理 63
7.3 自编码器的拓展网络 65
7.3.1 稀疏自编码器 65
7.3.2 栈式自编码器 66
7.3.3 其他自编码器 68
习题 68
第8章 损失函数与优化算法 69
8.1 正则化与归一化 69
8.1.1 参数范数惩罚 69
8.1.2 Dropout 70
8.1.3 归一化 70
8.2 损失函数 72
8.2.1 交叉熵损失函数 72
8.2.2 其他损失函数 73
8.3 基于梯度的优化方法 75
8.3.1 基本算法 76
8.3.2 自适应学习率算法 78
习题 79
第9章 深度学习中的相关问题 80
9.1 拟合 80
9.1.1 数据增强 80
9.1.2 正则化 82
9.2 梯度消失和梯度爆炸 82
9.3 卷积神经网络的压缩 83
9.3.1 核的稀疏化 83
9.3.2 剪枝 83
9.3.3 模型量化 84
9.3.4 模型蒸馏 86
习题 87
第10章 深度学习中的性能指标 88
10.1 分类指标 88
10.2 指标曲线 88
10.2.1 ROC曲线 88
10.2.2 如何画ROC曲线？ 89
10.2.3 AUC 89
10.3 分割指标 89
10.3.1 分割指标概述 89
10.3.2 常用的几种分割指标 90
10.4 模型复杂度 91
10.4.1 参数量 91
10.4.2 计算量 91
习题 92


网络应用篇

第11章 图像数据集 94
11.1 图像分类数据集 94
11.2 语义分割数据集 96
11.3 细粒度图像分类通用数据集 97
11.4 目标变化检测数据集 98
第12章 典型卷积神经网络 99
12.1 GoogLeNet网络 99
12.2 ResNet网络 101
12.3 ShuffleNet网络 103
12.4 MobileNet网络 105
12.4.1 网络结构 105
12.4.2 MobileNet V2 106
12.4.3 MobileNet V3 108
第13章 基于深度学习的语义分割算法 110
13.1 传统语义分割算法 110
13.2 典型卷积语义分割算法 111
13.2.1 全卷积类语义分割网络 111
13.2.2 金字塔类语义分割网络 113
13.2.3 注意力机制类语义分割网络 116
13.3 PSPNet程序分析与实现 117
13.3.1 数据集处理 117
13.3.2 主干网搭建 121
13.3.3 PSPNet搭建 123
第14章 基于深度学习的目标检测 127
14.1 两阶段目标检测算法 127
14.1.1 R-CNN算法框架 127
14.1.2 Faster R-CNN算法 128
14.2 端到端目标检测方法 129
14.2.1 YOLO系列算法 129
14.2.2 FCOS 133
14.3 YOLO V3目标检测程序分析与实现 134
14.3.1 数据读取 134
14.3.2 模块搭建 137
14.3.3 程序训练与测试 140
第15章 基于深度学习的细粒度图像分类模型 142
15.1 细粒度图像分类模型 142
15.1.1 基于高阶编码形式 143
15.1.2 基于网络集成的方法 144
15.1.3 基于定位-识别的方法 145
15.2 基于定位-识别方法的程序分析与实现 147
15.2.1 数据集处理 147
15.2.2 主干网络搭建 149
15.2.3 WS-DAN网络搭建 151
第16章 基于深度学习的实例分割算法 155
16.1 典型实例分割算法 155
16.1.1 Mask R-CNN 155
16.1.2 Polar Mask 158
16.1.3 Yolact 159
16.2 Yolact算法程序分析与实现 160
16.2.1 数据处理 160
16.2.2 train代码解读 161
16.2.3 模块构建 162
参考文献 166
附录 专业术语表 169

1. 零基础玩转国产大模型DeepSeek [徐永冰 张帅 编著]
2. 网络工程师5天修炼（适配第6版考纲） [主编　朱小平 施游]
3. 信息系统项目管理师考试32小时通关（适用第4版考纲） [薛大龙]
4. 信息系统管理工程师考试32小时通关（适配第2版考纲） [薛大龙　刘伟]
5. 土木工程材料检测实训 [洪晓江 达则晓丽 钱波]
6. 科技信息检索与论文写作实用教程 [李振华]
7. 传统山水画论解读与实践 [陈钠 著]
8. Python数据库编程 [主编 殷树友 邢 翀]
9. 计算机基础实训指导 [主编 袁春萍 朱妮]
10. 嵌入式人工智能技术应用（数字教材） [主编 胡娜 杨国勇 晏廷荣]
11. Vienna整流器技术 [桂存兵 著]
12. 变频器与伺服应用 [陈刚 叶云飞]
13. 物联网工程设计与实践 [汤琳 李敏]
14. 炉边夜话——深入浅出话AI [汪建　著]
15. 电商运营与管理 [钟肖英 陈潇]
16. Java面向对象程序设计 [主编 姜春磊 陈虹洁]
17. 信息技术基础（Windows 10+WPS Office）（微课版） [主编　石利平　田辉平　谢盛嘉]
18. 人工智能应用 [主编　陈　萍　刘培培　陈孟军]
19. 大学生职业发展与就业指导 [主编　刘志坚]
20. 高级办公应用项目教程 [主编 屈晶 赵成丽]
21. 微信小程序开发项目实战（微课版） [主编 黄龙泉 郭峰 朱倩]
22. 企业档案工作实战宝典百问百答 [华俊 卢秀英 邵甜甜 著]
23. 计算机网络原理及应用 [主编 唐继勇 叶坤 孙梦娜]
24. 大学生创业基础 [主编 王丽莉 王 杨]
25. 船舶辅机 [主编 王连海 于洋 姜淑翠]
26. 大学生就业指导 [主编 王丽莉 董宴廷]
27. 系统架构设计师章节习题与考点特训 [主编 薛大龙 邹月平]
28. 高校学生工作探索与实践 [郭亮 著]
29. 大学生情商管理 [方雄 著]
30. 2023年长沙市会展业发展报告 [主编 周栋良]