spContent=“大数据”的世界充满了故事，是数据增长、增值的故事，是数据变化的故事，是数据生活的故事，是数据在编码与挖掘提升境界的故事。
大数据技术及应用课程从需”出发“，立足“应用”，带领大家走近大数据，从寻找“数据因果关系”的偏好，到挖掘“数据相关关系”益处，为理解信息世界打开一扇门。
本课程从解析数据、大数据基础理论入手，讲述大数据应用的多侧面场景，讲解大数据的存储与管理工具，大数据分析的基本方法，以及大数据可视化等相关知识。同时还介绍了大数据基本技术实验内容，该实验可通过华为公司提供的实验平台进行验证。
“大数据”的世界充满了故事，是数据增长、增值的故事，是数据变化的故事，是数据生活的故事，是数据在编码与挖掘提升境界的故事。
大数据技术及应用课程从需”出发“，立足“应用”，带领大家走近大数据，从寻找“数据因果关系”的偏好，到挖掘“数据相关关系”益处，为理解信息世界打开一扇门。
本课程从解析数据、大数据基础理论入手，讲述大数据应用的多侧面场景，讲解大数据的存储与管理工具，大数据分析的基本方法，以及大数据可视化等相关知识。同时还介绍了大数据基本技术实验内容，该实验可通过华为公司提供的实验平台进行验证。
—— 课程团队
课程概述
“大数据”浪潮奔腾而至，我们已经进入了一个“大数据时代”，面对“机遇”，我们要投身其中，迎接“挑战”。
“大数据技术及应用”课程特点： 能进入、快适应、解问题和乐实验。
“大数据技术及应用”教学内容分成5个教学模块：
（1）大数据概述
（2）大数据存储与管理
（3）大数据分析与决策
（4）大数据可视化
（5）大数据应用案例
课程注重系统观、整体观和应用观，从课程思政的角度，强调对学科思想和方法演变过程的引领和解读。学生需要进行大量思想性阅读和项目实践实验体验、理解、掌握大数据，积累发现、应用、迁移的创造性知识。
课程强调让学生通过大量项目实践，深入领会大数据内涵、灵活运用数据科学知识，经历从模仿性到创造性运用大数据的发现之旅。
授课目标
具体的落实到我们课中，我们的目标有以下5个
1．培养学生信息的感知能力：能够通过科学技术感知信息世界；
2．培养学生表示与推理能力：能够对客观世界现象建立表征/模型，能够进行事件推理；
3．培养学生自然与交互能力：能够理解智能系统的人机交互方式；
4．培养学生学习与制造能力：能够从数据中学习，以及进行数据再造；
5．培养学生解决问题的能力：能够参加大数据入门级认证考试（华为云开发者认证），获取认证证书。
课程大纲
第1章 大数据概述
课时目标：了解大数据的应用，掌握大数据的基本概念，了解数据处理及数据处理发展过程，掌握大数据的特征、了解大数据的关键技术，以及大数据的应用。
1.1基本概念
1.2 数据处理
1.3 大数据的特征
1.4 大数据的关键技术
1.1 大数据的应用
第2章 Hadoop基础
课时目标：了解 Hadoop的特点，熟悉Hadoop的组件，掌握Hadoop生态系统，熟悉HDFS分布式文件系统架构，熟悉Mapreduce的计算架构，熟悉Spark的计算架构，熟悉Hadoop应用架构。
2.1 Hadoop概述
2.2 Hadoop的生态系统
2.3 Hadoop系统架构
2.4 Hadoop应用系统体系结构
第3章 HDFS分布式文件系统
课时目标：了解HDFS，熟悉HDFS组成、HDFS体系结构，HDFS核心功能，掌握块和节点概念，掌握HDFS写数据和HDFS读数据，熟悉数据的存储策略，熟悉数据的恢复，掌握 HDFS常用命令，掌握 HDFS常用操作，熟悉HDFS常用命令及熟悉HDFS交互方法。
3.1 HDFS概述
3.2 HDFS 基本组成
3.3 HDFS数据流
3.4 HDFS应用实例
实验1-1：HDFS数据及文件的增删改查操作
实验1-2：HDFS读写文件
第4章 HBase分布式数据库
课时目标：了解HBase的特点，熟悉HBase的系统架构，熟悉HBase与Hadoop生态系统，熟悉HBase与传统的关系数据库的区别，熟悉HBase数据模型，掌握HBase Shell及HBase 交互接口命令及应用案例。
4.1 HBase概述
4.2 HBase数据模型
4.3 HBase的应用实例
实验2-1：Hbase数据仓库加载
实验2-2：HBase数据表基本操作
第5章 Hive数据仓库工具
课时目标：了解Hive的特点，熟悉Hive的系统架构，熟悉Hive与数据库两者之间差异，掌握Hive创建外部表、创建分区表和向分区导入数据，掌握Hive数据统计和掌握Hive数据查询。
5.1 Hive概述
5.2 Hive与MySQL配置
5.3 Hive数据仓库基本操作
5.4 Hive应用实例
实验3-1：创建数据仓库
实验3-2：数据仓库的数据查询与统计
第6章 MapReduce编程框架
课时目标：了解MapReduce的特点，熟悉MapReduce基本架构，熟悉MapReduce的工作流程，了解大数据分析的数据准备工作，了解常用的大数据分析方法，掌握记录计数、数据去重、排序和表连接方法及常用算法。
6.1 MapReduce概述
6.2 MapReduce的工作流程
6.3大数据分析的数据准备
6.4 常用的大数据分析方法
6.5 常用算法及实例
实验4-1：基于MapReduce基本统计
实验4-2：基于MapReduce综合统计
第7章 Spark计算引擎
课时目标：熟悉Spark技术框架，熟悉Spark工作流程，了解Spark特点，熟悉Spark与Hadoop，熟悉RDD，掌握Spark统计计算方法，掌握Spark聚类分析方法。
7.1 Spark概述
7.2 RDD
7.3 Spark编程及实例
实验5-1：基于Spark的关联分析
实验5-2：基于spark的偏好分析
第8章 大数据可视化
课时目标：了解数据与可视化，了解视觉信息的科学展示，熟悉常用的图例 ，掌握大数据可视化设计方法，掌握可视化图形设计原则，熟悉大数据可视化常用工具。
8.1 大数据可视化概述
8.2 常用的图例
8.3 大数据可视化设计方法
8.4大数据可视化常用工具
实验6-1：数据可视化实验：气泡图
实验6-2：数据可视化实验：曲线柱状复合图
展开全部
预备知识
具备一定的计算机基本知识，修学过“大学计算机”课程。
如果具有以下基础到更好：
数据库基础
程序设计基础
参考资料
认证成绩和证书
智能问答和解析
视频学习辅助
浙公网安备 33010802012594号
