大数据技术基础与实战

体系结构合理：基础篇和实战篇相结合，理论够用，突出实践应用。

内容安排全面：兼顾岗位要求、职业技能竞赛和1+X证书知识范围。

配套资源丰富：配套微课、课件、习题答案等，方便读者学习使用。

进入21世纪以来，云计算、大数据、人工智能等新兴信息技术飞速发展，快速融入人类社会的各个领域，对社会的发展起到了重要的促进作用。新时代的到来、新兴技术的兴起，对从事信息技术行业的技术人员和高职信息技术人才培养是一个新的挑战，各级各类学校都在大力倡导和推进新兴信息技术在教育教学中的普及和深入应用。从学习者角度，高职电子信息类、计算机类专业的学生和社会上从事信息技术相关工作的人员渴望了解和学习大数据知识和技术，因此需要一本既可以把大数据相关概念介绍清楚，又能教会大数据分析与处理全栈技术的书籍。基于此需求，我们编写了本书。

本书分为基础篇和实战篇。基础篇主要阐述大数据基本知识和基本技术：项目1阐述大数据概念、大数据来源、大数据价值、大数据影响和大数据安全；项目2主要介绍大数据基本技术；项目3介绍大数据平台架构、大数据平台采用的技术；项目4介绍大数据采集、预处理和存储技术；项目5介绍关系型数据库、新型数据库NoSQL和NoSQL产品；项目6介绍大数据分析方法和分析技术；项目7介绍大数据可视化技术。实战篇以企业案例为主线，介绍环境和平台搭建真实场景、大数据分析处理过程的技术实现：项目8介绍大数据分析与处理基本环境搭建，包括虚拟系统的搭建、Linux主机配置；项目9介绍大数据平台搭建，包括Hadoop平台搭建、离线大数据分析平台搭建和实时大数据分析平台搭建；项目10介绍基于Maven项目的开发环境搭建、案例的离线基础数据分析与统计、案例的离线基础数据过滤与处理、实时数据分析与处理技术实现。实战篇内容兼顾企业岗位要求、职业技能竞赛和1+X证书知识范围，具有很强的实用价值。

本书由李丽萍、周永福、吴明宇任主编，王兰丰、魏育华、李任鹤任副主编，王建华任主审，杨一冬、孙梦琳、李景华、邢雅丹和李依桐参与编写。李丽萍负责全书统稿工作。本书编写人员均为高职计算机类专业大数据技术相关课程一线教师，多次参加企业1+X证书技术培训，指导学生参加职业技能竞赛并多次获奖，积累了丰富的大数据技术教学经验。

在本书编写过程中，编者参阅并引用了部分论文、专著和文献资料，在此对其作者表示感谢。本书实战篇大数据分析案例由广州泰迪智能科技股份有限公司提供，在此深表谢意。由于编者水平有限，书中难免存在疏漏和不足之处，恳请读者批评指正。

编者

2022年6月

基础篇
项目1 大数据概述 2
任务1 大数据概念 2
任务2 大数据来源 6
任务3 大数据价值及大数据影响 9
任务4 大数据应用与大数据安全 14
项目拓展 20
思考与练习 20
项目2 大数据技术 21
任务1 大数据技术概述 21
任务2 Hadoop概述 27
项目拓展 32
思考与练习 32
项目3 大数据处理平台 33
任务1 大数据处理平台架构 33
任务2 离线大数据处理平台Hadoop 36
任务3 大数据综合处理平台Spark 41
项目拓展 45
思考与练习 45
项目4 大数据采集与存储 46
任务1 数据采集 46
任务2 数据预处理 50
任务3 大数据存储 55
任务4 分布式文件系统 59
项目拓展 64
思考与练习 64
项目5 新型数据库 65
任务1 关系型数据库 65
任务2 NoSQL 69
任务3 NoSQL的类型与产品 74
项目拓展 81
思考与练习 82
项目6 大数据分析与处理 83
任务1 大数据分析方法 83
任务2 大数据分析技术 86
项目拓展 93
思考与练习 93
项目7 数据可视化 94
任务1 数据可视化概念 94
任务2 数据可视化方法 101
任务3 数据可视化应用 108
项目拓展 116
思考与练习 116
实战篇
项目8 大数据分析基础环境搭建 118
任务1 虚拟系统的搭建 118
任务2 Linux主机的配置 130
项目拓展 145
思考与练习 145
项目9 大数据平台搭建 146
任务1 Hadoop平台的两种搭建方式 146
任务2 Hadoop平台下离线大数据分析
平台的搭建方式 176
任务3 Hadoop平台下实时大数据分析
平台的搭建方式 189
项目拓展 198
思考与练习 198
项目10 大数据分析案例技术实战 199
任务1 法律服务大数据分析与探索 199
任务2 基于Maven的项目开发环境搭建 203
任务3 离线基础数据分析与统计 209
任务4 离线基础数据的过滤与统计 220
任务5 离线数据的处理 225
任务6 实时数据分析与处理 229
项目拓展 235
思考与练习 235
参考文献 236

1. 零基础玩转国产大模型DeepSeek [徐永冰 张帅 编著]
2. 网络工程师5天修炼（适配第6版考纲） [主编　朱小平 施游]
3. 信息系统项目管理师考试32小时通关（适用第4版考纲） [薛大龙]
4. 信息系统管理工程师考试32小时通关（适配第2版考纲） [薛大龙　刘伟]
5. 土木工程材料检测实训 [洪晓江 达则晓丽 钱波]
6. 科技信息检索与论文写作实用教程 [李振华]
7. 传统山水画论解读与实践 [陈钠 著]
8. Python数据库编程 [主编 殷树友 邢 翀]
9. 计算机基础实训指导 [主编 袁春萍 朱妮]
10. 嵌入式人工智能技术应用（数字教材） [主编 胡娜 杨国勇 晏廷荣]
11. Vienna整流器技术 [桂存兵 著]
12. 变频器与伺服应用 [陈刚 叶云飞]
13. 物联网工程设计与实践 [汤琳 李敏]
14. 炉边夜话——深入浅出话AI [汪建　著]
15. 电商运营与管理 [钟肖英 陈潇]
16. Java面向对象程序设计 [主编 姜春磊 陈虹洁]
17. 信息技术基础（Windows 10+WPS Office）（微课版） [主编　石利平　田辉平　谢盛嘉]
18. 人工智能应用 [主编　陈　萍　刘培培　陈孟军]
19. 大学生职业发展与就业指导 [主编　刘志坚]
20. 高级办公应用项目教程 [主编 屈晶 赵成丽]
21. 微信小程序开发项目实战（微课版） [主编 黄龙泉 郭峰 朱倩]
22. 企业档案工作实战宝典百问百答 [华俊 卢秀英 邵甜甜 著]
23. 计算机网络原理及应用 [主编 唐继勇 叶坤 孙梦娜]
24. 大学生创业基础 [主编 王丽莉 王 杨]
25. 船舶辅机 [主编 王连海 于洋 姜淑翠]
26. 大学生就业指导 [主编 王丽莉 董宴廷]
27. 系统架构设计师章节习题与考点特训 [主编 薛大龙 邹月平]
28. 高校学生工作探索与实践 [郭亮 著]
29. 大学生情商管理 [方雄 著]
30. 2023年长沙市会展业发展报告 [主编 周栋良]