“基于Hadoop的大数据分析”课程规划与设计
摘要：大数据时代社会各行业对大数据方向人才的需求凸显，为顺应产业发展需要，我校改革课程设置，建设以开源分布式框架Hadoop为技术基础的大数据分析课程。文章从目标内容设置、师资团队建设、实践中心配备、授课方式特色，以及考核制度革新多个方面展开对课程规划与设计的详细论述，藉此为国家和社会培养具有工程意识和创新思维的高素质精英人才，也为其他高校同类课程的开设提供一定的借鉴和参考。
关键词： Hadoop；大数据；课程规划；人才培养；授课方式
中图分类号：TP311 文献标识码：A 文章编号：1009-3044（2015）07-0190-03
Abstract： In the era of big data， the demand for talents from all walks of life is increasing. In order to adapt to the need of industrial development， we are carrying out the curriculum reform by constructing a big data analysis course based on Hadoop. Several aspects of the course on the design and planning are discussed in detail. They are the target and content settings， the construction of teaching team， the
equipment of practice center， the teaching methods specialties and the appraisal system innovations. Our work helps to cultivate talents with the awareness of engineering and innovative thinking， and also does good for other colleges offering similar courses.
Key words： hadoop； big data； course planning； talent cultivation； teaching method 1 引言
当前计算机技术全面融入人们的社会生活，移动互联、社交网络、电子商务等极大拓宽了互联网的边界和应用领域。大数据浪潮正汹涌来袭，并渗透到社会的方方面面。越来越多的企业期望使用大数据和云计算的技术来对海量数据进行整合分析，以解决生产经营业务中的难题[1-3]。而与此大的发展趋势不相协调的则是高校计算机专业毕业生在大数据方向上基础薄弱，真正掌握大数据管理、分析和产品研发等相关技术的人才极度匮乏。高等院校需要以实际行动回应社会对计算机专业人才培养的需求，以更为有力的方式来承担大学应有的责任，培养出高水平人才以适应产业发展需要[4-6]。这也是我校建设大数据分析课程的初衷。 经过最近短短几年的发展，Hadoop已经成为架构云计算平台进行大数据存储和计算分析的首选。Hadoop以HDFS和MapReduce为核心，为开发者提供了系统底层细节透明的
分布式基础架构，从而轻松地组织计算资源，利用集群的能力完成海量数据的处理，目前其已发展成为包含很多开源框架项目的生态系统[7-8]。因此该课程即以Hadoop为基础来展开对大数据分析的原理、技术和方法的讲授。 2 明确目标，落实人才培养 2.1 培养对象
大数据分析涉及到众多学科内容，如计算机网络、数据库原理、数据结构、分布式系统、LINUX操作系统、云计算、数据挖掘、算法设计与分析等基础性课程等，本课程可作为计算机学科研究生的专业课和本科高年级学生的专业选修课。因为处于该阶段的学生有了足够的知识储备，并且对学科方向有了清晰的认识，对未来的就业前景也不再迷茫，有更多学习上的主动性和进取心。此外，鼓励学生拓展知识领域，自觉阅读国内外文献资料和网络资源，为该门课程的学习打下坚实的基础。 2.2 培养目标
很多行业领域都为大数据方向的专业技术人才提供了施展才华的舞台，如电子商务、金融证券、科研院所、互联网企业、大公司的数据中心，以及政府机关部门等。当前大数据方向的岗位需求大致分为三类，分别是：系统研发工程师，负责海量数据业务模型构建、分布式云存储、NoSQL数据库架构以及数据平台优化升级等；应用开发工程师，负责
利用海量非结构化数据研发基于大数据技术的应用程序及行业解决方案，为单位创造良好的经济效益或社会效益；大数据分析师，负责从纷繁复杂的海量数据中找到数据间的潜在关系，挖掘大数据蕴藏的巨大利益并指导产品研发。 课程即从系统框架搭建、应用研发及数据分析三个主要层面培养具有扎实理论基础和实战经验的高素质、实用型大数据人才。在授课过程中，注重学生工程意识和实践创新能力养成，指导学生密切结合自身对未来职业的发展规划，在通识整体的前提下选择某一特定领域进行深入钻研。对于有意继续深造的学生，则引导其深入学科领域前沿，掌握最新的原理方法，并大胆提出自己的设想，小心地科研探索求证。 2.3 教学内容
课程内容把基础理论与工程实践相结合，详细讲述大数据分析的原理和关键技术，系统阐释大数据平台搭建、优化和数据分析方法，并深入探究当今世界大数据分析的成功案例及典型应用。在授课时不局限于Hadoop框架本身，而是扩展到其整个生态系统，如图1所示，引导学生充分利用这些开源框架提供的便利，并在技术精深后为开源社区贡献出自己的才智。 本课程内容分为三个部分，第一部分介绍Hadoop的发展史和技术特点，从而把握分布式计算框架现状及未来发展方向，为企业的技术选型和架构设计提供决策支持；第二部分全面掌握Hadoop的宏观架构和应用场
景，并通过贯穿课程的服务器日志分析项目进行实战锻炼，从而熟练使用Hadoop进行MapReduce程序开发，课程还涵盖分布式计算领域的常用算法，帮助学生拓宽视野，在利用大数据方面取得积极进展；第三部分将深入理解Hadoop技术架构的原理细节，对Hadoop运作机制和管理优化有清晰全面的把握，可以独立规划和部署生产环境的Hadoop集群，掌握Hadoop基本运维思路和方法，对Hadoop集群进行管理和优化。
3 多举措并举，打造课程精品 3.1校企合作，建设优秀的师资团队
大数据分析是一门理论性和实践性都很强的课程，对其原理性和前沿性的理解高校中从事该学科教学和研究的教师理解更为深刻，但对该产业应用领域的理解没人比在大企业一线从事该方向的工程师更有发言权。因此，要充分结合双方的特长，终结“一师”时代，开创师资团队组合授课模式，每位教师只在自己最擅长的专业领域授课。
通过校企合作，聘任企业中有大数据分析实践工作经验的工程技术人员担任实践性内容的主讲教师。他们能把实际工作中的项目案例和经验技巧等引入到课堂教学中，这些教师充分理解企业需求，从而能增强教学的针对性和有效性，激发学生的兴趣，培养目标感和方向性，切实提高教学和就业质量。