互联网舆情监测分析系统
产品介绍
(V 0.2)
1
网络舆情监测分析系统建议方案
版本历史
版本
编制/日期 审核/日期 批准/日期 备注 2 北京方正电子政务技术有限公司
地址:北京市海淀区成府路298号中关村方正大厦0428室
TEL:(010)82529034 FAX:(010)82529440
网络舆情监测分析系统建议方案
目录
1 2
项目背景 ................................................................................................................................... 5 建设目标 ................................................................................................................................... 7 2.1 功能需求 ................................................................................................................... 7 2.2 应用目标 ................................................................................................................... 7 核心技术 ................................................................................................................................... 9 3.1 自然语言处理技术 ................................................................................................... 9 3.2 应用架构 ................................................................................................................... 9 方案设计 ................................................................................................................................. 11 4.1方案概述 ........................................................................................................................... 11 4.2系统架构 ........................................................................................................................... 12 4.3系统功能 ........................................................................................................................... 13
4.3.1 信息采集 ............................................................................................................... 13
4.3.1.1 定向信息采集 ............................................................................................ 13 4.3.1.2 网页内容提取 ............................................................................................ 14 4.3.1.3 全网监控 .................................................................................................... 15 4.3.2 智能分析 ............................................................................................................... 15
4.3.2.1自动关键词提取 ......................................................................................... 16 4.3.2.2自动摘要 ..................................................................................................... 16 4.3.2.3多文档摘要 ................................................................................................. 16 4.3.2.4相关推荐 ..................................................................................................... 17 4.3.2.5自动聚类 ..................................................................................................... 17 4.3.2.6自动分类及分类训练 ................................................................................. 17 4.3.2.7主题检测与追踪 ......................................................................................... 18 4.3.2 信息智能处理 ....................................................................................................... 19
4.3.2.1中文分词 ..................................................................................................... 19 4.3.2.2智能检索 ..................................................................................................... 19 4.3.2.3自动排重与自动过滤 ................................................................................. 20 4.3.3 舆情监管 ............................................................................................................... 22
4.3.3.1超级搜索 ..................................................................................................... 22 4.3.3.2主题过滤 ..................................................................................................... 24 4.3.3.3热点自动发现 ............................................................................................. 25 4.3.3.4专项任务 ..................................................................................................... 25 4.3.3.5网络探针 ..................................................................................................... 26 4.3.4 业务应用 ............................................................................................................... 26
4.3.4.1案件提交 ..................................................................................................... 26 4.3.4.2审核管理 ..................................................................................................... 26 4.3.4.3查处管理 ..................................................................................................... 26 4.3.4.4评论员管理 ................................................................................................. 27 4.3.4.5网站评价 ..................................................................................................... 27 4.3.5 舆情研判 ............................................................................................................... 27
4.3.5.1时间趋势 ..................................................................................................... 27
地址:北京市海淀区成府路298号中关村方正大厦0428室 TEL:(010)82529034 FAX:(010)82529440
3
4
3 北京方正电子政务技术有限公司
网络舆情监测分析系统建议方案
4.3.5.2网站分布 ..................................................................................................... 28 4.3.5.3地域分布 ..................................................................................................... 28 4.3.5.4话题演化 ..................................................................................................... 29 4.3.5.5传播路径 ..................................................................................................... 30 4.3.5.6任务追踪 ..................................................................................................... 30 4.3.5.7统计分析 ..................................................................................................... 30 4.3.5.8舆情简报 ..................................................................................................... 31 4.3.6 基础数据 ............................................................................................................... 31
4.3.6.1敏感词管理 ................................................................................................. 31 4.3.6.2主题管理 ..................................................................................................... 32 4.3.6.3任务管理 ..................................................................................................... 32 4.3.6.4网站备案管理 ............................................................................................. 32 4.3.6.5案件库管理 ................................................................................................. 32 4.3.7 系统管理 ............................................................................................................... 33
4.3.7.1人员及权限管理 ......................................................................................... 33 4.3.7.2日志管理 ..................................................................................................... 33 4.3.7.3界面定制 ..................................................................................................... 33 4.3.7.4参数管理 ..................................................................................................... 33 4.3.7.5存储管理 ..................................................................................................... 34
4.4系统部署 ........................................................................................................................... 35
4.4.1系统部署拓扑图 .................................................................................................... 35 4.4.2系统部署安全建设 ................................................................................................ 35 4.4.3系统运行环境 ........................................................................................................ 36
5典型案例 ...................................................................................................................................... 37 6联系方式 ...................................................................................................................................... 38
4 北京方正电子政务技术有限公司
地址:北京市海淀区成府路298号中关村方正大厦0428室
TEL:(010)82529034 FAX:(010)82529440
网络舆情监测分析系统建议方案
1 项目背景
新闻办是重要的专项内容管理部门,负责互联网上意识形态工作。主要职责是:负责协调、指导、督促有关部门对网上出现的涉及意识形态方面的重大情况进行统一行动,做好应急情况下网上热点敏感问题的处理和舆论引导工作;对新闻网站和商业网站登载新闻进行管理,对网站开办新闻时政类论坛进行前置审批和管理,对报纸等媒体涉及意识形态热点敏感问题内容的网上传播进行管理,对违规登载新闻的网站和传播有害信息的论坛及时通知行业主管部门予以处理,对境外新闻网站进行监控、提出封堵意见并通知互联网行业主管部门实施;指导各省(区、市)落实对互联网上意识形态工作的属地化管理。
据中国互联网络信息中心(CNNIC)第二十一次互联网调查统计,截至2007年12月,网民数已增至2.1亿人。中国网民数增长迅速,比2007年6月增加4800万人,2007年一年则增加了7300万人,年增长率达到53.3%。,在过去一年中平均每天增加网民20万人。目前中国的网民人数略低于美国的2.15亿 ,位于世界第二位。
图 1.1 中国网民规模和年增长率
互联网信息内容庞杂多样,既有大量进步、健康、有益的信息,也有不少反动、迷信、黄色的内容。互联网作为一块正在加速膨胀的思想阵地,加上其虚拟性、隐蔽性、发散性、渗透性和随意性等特点,越来越多的人们愿意通过这类渠道表达自己的个人想法,因此网络舆情的爆发将以“内容威胁”的形式逐渐对社会公共安全形成威胁。
但是,从技术上来讲,互联网是完全开放的,每个人都有机会成为网络信息的发布者,每个人都有选择网络信息的自由。根据我国互联网发展现状,在总结
5 北京方正电子政务技术有限公司
地址:北京市海淀区成府路298号中关村方正大厦0428室
TEL:(010)82529034 FAX:(010)82529440