龙源期刊网 http://www.qikan.com.cn
大数据技术在雾霾治理中的应用
作者：康春婷 李卫东
来源：《中国经贸导刊》2016年第32期
摘要：近年来，随着我国社会经济的发展，环境破坏越来越严重，自2013年以来，我国多个城市饱受雾霾侵袭，居民的健康和生活受到了很大的影响。2015年8月19日，国务院发布了《促进大数据发展行动纲要》，自此大数据被提升为国家发展战略。大数据时代的来临，不仅为我国社会经济发展带来了新的契机，也为雾霾天气的治理提供了新的技术手段。本文通过对大数据处理技术的简单介绍，进而提出应用大数据技术治理雾霾的建议。 关键词：大数据技术 雾霾 监测 预测 一、引言
近年来雾霾的高频发生及其带来的危害使得它成为了我国城市发展过程中不可忽略的问题。雾霾污染已经成为严重的环境污染问题和公众关注的焦点问题。雾霾治理需要从多方面入手，其中当今兴起的大数据技术可提供帮助，为有效治理雾霾提供支持。 二、大数据处理技术
大数据指的是具有容量大、类型多、存取速度快、应用价值高等特征的数据集合，大数据处理技术主要包括对大数据的采集、整合、挖掘分析、可视化分析以及预测分析。 （一）数据采集
大数据采集方法包括：系统日志采集方法、网络数据采集方法（对非结构化数据的采集）以及其他的数据采集方法。系统日志采集方法主要采用Chukwa，Flume，Scribe等数据采集工具；网络数据采集方法主要采集的是非结构化数据，并以结构化的方式将其存储起来。主要通过网站公开API或者网络爬虫等方法从网站上采集数据；其他数据采集方法主要是对具有高保密性要求的数据的采集，如学科研究数据、企业生产经营数据等，需要通过与企业或研究机构合作而获得。 （二）数据整合
大数据整合是指对收集来的原始数据进行清洗、裁剪，为数据分析打好基础，通过多样化数据共享使得数据分析可以更方便地进行。 （三）数据挖掘分析