本课程从大数据分析的原理、技术和应用的角度,围绕着大数据分析的基础知识、大数据分析平台的核心原理、大数据分析的关键技术、大数据分析的应用四个方面进行讲述,使学生能掌握大数据分析的基本原理和核心技术,同时熟悉大数据分析的原理和技术在商业、投资、保险和银行中的应用,并能搭建大数据分析平台分析大规模数据集。
1、使学生能够掌握大数据分析的核心原理和关键技术
2、使学生了解大数据分析在不同行业中的应用
3、培养学生搭建大数据分析平台分析大规模数据集的能力
第一章 绪论
大数据的产生背景与概念
大数据的特点和技术概述
大数据的应用与价值体现
大数据时代的思维变革
第一章单元测试
第一章单元作业
第二章 开源大数据平台
开源大数据平台(Hadoop)
开源大数据平台(Spark)
简明实验指南
第二章单元作业
第三章 Hadoop分布式文件系统——HDFS
3.1HDFS概述
3.2HDFS体系结构
3.3&3.4HDFS存储原理与优缺点分析
补充材料:熟悉常用的HDFS操作
补充材料:相关论文
第三章单元作业
第三章单元测试
第四章 MapReduce并行编程模型
4.1概述
4.2MapReduce体系结构
4.3MapReduce工作流程
4.4MapReduce实例分析
4.5MapReduce编程实践
4.6MapReduce优缺点分析
4.7MapReduce编程实践教学视频
第四章上机实验
补充资料:相关论文
第四章单元测试
第五章 Hadoop 2.0的资源管理调度框架——YARN
5.1 YARN产生的背景 &5.2 YARN设计思路
5.3 YARN体系结构
5.4 YARN工作流程
5.5 YARN优缺点分析
第五章单元作业
第六章 大数据的获取
6.1 网络爬虫基础知识
6.2 Requests库
6.3 Beautiful Soup库
6.4 综合实验
第六章单元作业
第七章 大数据分析算法
7.1 聚类算法
7.2 分类算法
第七章单元作业
第七章单元测验
第八章 大数据分析应用
8.1大数据分析在商业中的应用(大数据营销)
8.2 大数据分析在投资中的应用
8.3 大数据分析在保险中的应用
8.4 大数据分析在银行中的应用
第八章单元作业
第八章单元测试
计算机基础、操作系统、计算机网络
[1]大数据技术原理与应用:概念、存储、处理、分析与应用(第二版).林子雨. 人民邮电出版社,2017
[2]大数据基础编程、实验和案例教程. 林子雨.清华大学出版社, 2017
[3]Hadoop权威指南(第3版). [美] Tom White著. 华东师范大学数据科学与工程学院译.清华大学出版社, 2015.
[4]Hadoop实战. [美]Chuck Lam著. 韩冀中译. 人民邮电出版社, 2011.
[5]大数据商业应用场景. 王叁寿. 机械工业出版社, 2016,7.
[6]Hadoop+Spark 大数据巨量分析与机器学习整合开发实战. 林大贵. 清华大学出版社, 2017,1.
课程配套教材:大数据分析原理和应用.海沫,李海峰.电子工业出版社.2023,4.
链接:https://item.jd.com/13965260.html