《Spark大数据技术与应用》教学大纲
课程名称：Spark大数据技术与应用 课程类别：必修
适用专业：大数据技术类相关专业 总学时：64学时 总学分：4.0学分
一、 课程的性质
本课程是为大数据技术类相关专业学生开设的课程。
NoSQL数据库大多具有横向扩展能力强、数据模型灵活等特点，在互联网、电力、电信、金融以及工业物联网等领域具有广泛应用。作为开源软件，NoSQL数据库的使用和部署较为简单，不需要掌握复杂的底层技术原理，适合ICT领域中的各个专业人员学习和使用。
被统称为 “NoSQL”的非关系型数据库，大多具有优秀的分布式部署能力、横向扩展能力和灵活的数据模型。本课程介绍NoSQL数据库的起源、基本技术原理、常见存储模式等知识，介绍HBase、Cassandra、MongoDB、Neo4j和Redis等热门NoSQL软件的技术原理、架构特点和使用方法，使学生掌握常见NoSQL数据库的部署和使用方法，理解分布式大数据系统可能遇到的技术难题和解决方法，进而更深入的理解大数据领域的开源工具和技术原理。
二、 课程的任务
通过本课程的学习，使学生掌握HBase、Cassandra、MongoDB、Neo4j等热门NoSQL软件的基本技术原理、架构特点和使用方法。掌握常见NoSQL数据库的部署和使用方法，理解分布式大数据系统可能遇到的技术难题和解决方法，进而更深入的理解大数据领域的开源工具和技术原理。
三、 教学内容及学时安排
序号 章节名称 主要内容 教学目标 1. 了解数据库的发展历程 2. 了解关系型数据库遇到的瓶颈 3. 了解NoSQL的起源和基本特点 4. 了解大数据的技术的特点和技术体系，以及各个环节所解决的主要问题和解决方式 5. 了解NoSQL在大数据技术体系中的地位和作用 1. 回顾关系数据库的重要机制，事务、完整性等。 2. 了解关系型数据库的分布式部署方式 3. 理解分布式数据管理的分片、多副本等策略和带来的问题 4. 理解分布式数据管理中的多副本、分布式事务带来的一致性问题 5. 掌握NoSQL常见的数据存储模式 6. 了解NoSQL的一些重要相关技术 1. 了解Hadoop的历史和特点 2. 掌握HDFS的基本原理 3. 掌握HDFS部署和操作方法 4. 了解Hadoop的其他相关技术特点 1. 了解HBase的历史和特点 2. 掌握HBase的基本数据模型和拓扑结构 3. 掌握HBase部署和操作方法 4. 掌握HBase的编程接口和编程方法 学时 第1章 绪论 1 1.1数据库的相关概念 1.2关系型数据库管理系统 1.3 NoSQL的起源和特点 1.4大数据的技术体系 2 第 2 2章NoSQL数据库的基本原理 2.1 关系型数据库的重要机制回顾 2.2 分布式数据管理的特点 2.3 分布式系统的一致性问题 2.4 NoSQL的常见存储模式 2.5 NoSQL系统其他相关技术 4 3 3.1. Hadoop概述 3.2. HDFS原理 Hadoop3.3. 使用和管理HDFS 3.4. MapReduce简介 和HDFS简介 3.5. HIVE简介 第3章4.1. HBase概述 4.2. HBase的数据模型 4.3. HBase的拓扑结构 4.4. HBase部署 4.5 子节点伸缩性管理 4.6. Hbase基本Shell操作 4.7 批量导入导出 4.8. 通过JAVA的访问HBase 4.9. 通过Python访问HBase 5 第4 4章Hbase基10 本原理
第5 5章HBase高级原理 5.1. 水平分区原理 5.2. 列族与Store的相关原理 5.3. 数据表的基本设计原则 5.4. HBase集群的高可用性与伸缩性 5.5. HBase的扩展使用 6.1-6.2 Cassandra基本原理 6.3. Cassandra部署与配置 6.4. CQL语言与cqlsh环境 6.5. CQL数据查询与更新 6.6. Cassandra的维护与扩展 6.7. 通过JAVA的访问Cassandra 6.8. 通过Python的访问Cassandra 7.1-7.2. MongoDB的技术原理 7.3. 安装配置MongoDB 7.4. MongoDB的基本命令行操作 7.5. 地理信息数据操作 7.6. MongoDB集群化部署 7.7. 通过JAVA的访问MongoDB 7.8. 通过Python的访问MongoDB 1. 掌握HBase的数据分区原理 2. 掌握HBase的列族结构与读写机制 3. 了解HBase集群部署与高可用性方案 4. 了解HBase的扩展插件 1. 了解Cassandra的历史和特点 2. 掌握Cassandra的基本数据模型和拓扑结构 3. 掌握Cassandra部署和操作方法 4. 掌握Cassandra的编程接口和编程方法 5 第6章6 Cassandra原理和使用 8 第7章 文档7 型数据库原理和使用简介 1. 了解MongoDB的历史和技术特点 2. 掌握MongoDB部署和操作方法 3. 掌握MongoDB的分片和多副本机制与部署方式 4. 掌握MongoDB的编程接口和编程方法 8 第8章 其他8 NoSQL数据库简介 8.1 图数据库简介 8.2 Neo4j 的安装与使用 8.3. Redis和内存数据库 8.4 搜索引擎系统 1. 了解Neo4j的技术特点 2. 掌握Neo4j部署和操作方法 3. 掌握Neo4j的编程接口与编程方法（可选） 4. 了解Redis和搜索引擎的技术特点 5. Redis的部署和基本使用方法（可选、可补充） 6 学 时 合 计 48 四、 考核方式
突出学生解决实际问题的能力，加强过程性考核。课程考核的成绩构成 = 出勤（10%）
+ 平时作业与课堂练习（30%）+ 课程设计（60%）。