武汉工程大学本科毕业设计
1.3.4聚类分析
聚类分析与分类预测方法明显不同之处在于，后者所学习获取分类预测模型所使用的数据是已知类别归属，属于有教师监督学习方法；而聚类分析（无论是在学习还是在归类预测时）所分析处理的数据均是无（事先确定）类别归属，类别归属标志在聚类分析处理的数据集中是不存在的。究其原因很简单，它们原来就不存在，因此聚类分析属于无教师监督学习方法。聚类分析中，首先需要根据“各聚集内部数据对象间的相似度最大化；而各聚集对象间相似度最小化”的基本聚类分析原则，以及度量数据对象之间相似度的计算公式，将聚类分析的数据对象划分为若干组。因此一个组中数据对象间的相似度要比不同组数据对象间的相似度要大。每一个聚类分析所获得的组就可以视为是一个同类别归属的数据对象集合，更进一步从这些同类别数据集，又可以通过分类学习获得相应的分类预测模型（规则）。此外通过反复不断地对所获得的聚类组进行聚类分析，还可获得初始数据集合的一个层次结构模型。 1.3.5异类分析
一个数据库中的数据一般不可能都符合分类预测或聚类分析所获得的模型。那些不符合大多数数据对象所构成的规律（模型）的数据对象就被称为异类。之前许多数据挖掘方法都在正式进行数据挖掘之前就将这些异类作为噪声或意外而将其排除在数据挖掘的分析处理范围之内。但在一些应用场合，如各种商业欺诈行为的自动检测，小概率发生的事件（数据）往往比经常发生的事件（数据）更有挖掘价值。对异类数据的分析处理通常就称为异类挖掘。
数据中的异类可以利用数理统计方法分析获得，即利用已知数据所获得的概率统计分布模型，或利用相似度计算所获得的相似数据对象分布，分析确认异类数据。而偏离检测就是从数据已有或期望值中找出某些关键测度显著的变化。 1.3.6演化分析
数据演化分析就是对随时间变化的数据对象的变化规律和趋势进行建模描述。这一建模手段包括：概念描述、对比概念描述、关联分析、分类分析、时间相关数据分析（这其中又包括：时序数据分析、序列或周期模式匹配，以及基于相似性的数据分析）。 1.4数据挖掘结果的评估
一个数据挖掘系统在完成一个（组）挖掘算法之后，常常会获得成千上万的模式或规则。关联规则挖掘就是一个典型的例子，关联规则挖掘算法的执行结果，即使是对一个规
11
武汉工程大学本科毕业设计
模较小的数据库（几万条交易事务记录），也会得到数千条关联规则。显然这数千条关联规则中，只会有一小部分是实际应用价值的。那么如何对数据挖掘步骤所获得的挖掘结果进行有效地评估，以便最终能够获得有（实际应用）价值的模式（或规则）知识？这就给数据挖掘提出了许多需要解决的问题：“使一个模式有价值的因素是什么？”、“一个数据挖掘算法能否产生所有有价值的模式（知识）？”、“一个数据挖掘算法能否只产生有价值的模式（知识）？”。
对于第一问题，评估一个模式（知识）是否有意义通常有依据以下四条标准：（1）易于用户理解；（2）对新数据或测试数据能够确定有效程度；（3）具有潜在价值；（4）新奇的。一个有价值的模式就是知识。
此外还有一些评价模式价值的客观标准，这些标准是基于所挖掘出模式的结构或统计特征。例如对于关联规则的一个客观评价标准就是支持率，它表示满足相应关联规则的事务记录占总记录数的比率；尽管客观评价方法能够帮助识别一些有意义的模式知识，但也仍然需要结合一些主观评价措施方可有效反映用户的需求和兴趣。例如商场主观对描述常在商场购买商品顾客的特征模型很感兴趣；而对商场雇员的表现特征模型却兴趣不大。再者许多根据客观评价标准是有价值的模式知识却只是普通的常识知识（实际无价值）。主观价值评估标准是建立在用户对数据的信念基础上，这些评估标准基于所发现模式是否是意外的或与用户信念相左，或能够提供决策支持而确定的。而意料之中模式是有价值的则是指它能够帮助确认用户想要认可的一个假设。
至于第二个问题，即“一个数据挖掘算法能否产生所有有价值的模式（知识）？”，则是指数据挖掘算法的完全性。期望数据挖掘算法能够产生所有可能模式是不现实的。实际上一个（模式）搜索方法可以利用有趣性评价标准来帮助缩小模式的搜索范围。因此通常只需要保证挖掘算法的完全性就可以了。关联规则的挖掘算法就是这样的一个例子。 最后回答第三个问题，即“一个数据挖掘算法能否只产生有价值的模式（知识）？”，这也是数据挖掘算法的一个最优化问题。一般当然希望数据挖掘算法仅挖掘有价值的模式（知识），但这是一个较为棘手的最优化高效搜索问题，至今尚没有好的解决方法。
评估所挖掘模式的趣味性标准对于有效挖掘出具有应用价值的模式知识是十分重要的。这些标准可以直接帮助指导挖掘算法获取有实际应用价值的模式知识，以及有效摒弃无意义的模式。更为重要的是这些模式评估标准将积极指导整个知识发现过程，通过及时消除无前途的搜索路径，提高挖掘的有效性。 1.5数据挖掘系统
12
武汉工程大学本科毕业设计
1.5.1数据挖掘系统分类
数据挖掘是一个多学科交叉领域，这些交叉学科包括：数据库系统、机器学习、统计学、可视化和信息科学。此外因数据挖掘任务不同，数据挖掘系统还可能采用其它学科的一些技术方法，如：神经网络、模糊逻辑、粗糙集、知识表示、推理逻辑编程或高性能计算等。根据所挖掘的数据和挖掘应用背景，数据挖掘系统还可能集成其它领域的一些技术方法，其中包括：空间数据分析、信息检索、模式识别、图象分析、信号处理、计算机图形学、互联网技术、经济学、心理学等。
正因为数据挖掘技术方法的多样性，也就导致了数据挖掘系统的多样性。因此为帮助正确认识数据挖掘系统并准确有效使用合适的数据挖掘系统解决实际问题，这里将对数据挖掘系统分类标准作一详细介绍： ?根据所挖掘的数据库进行分类，一个数据挖掘系统可以按照其所挖掘的数据库类型进
行分类。而数据库系统本身就有多个划分标准（如：按数据模型、数据类型，以及应用本身），这些数据库系统均与各自的数据挖掘技术相对应。因此数据挖掘系统可以按照数据库系统类型进行划分。例如：若根据数据模型进行分类，就会有关系类型、事务类型、面向对象类型、对象关系类型和数据仓库类型等数据挖掘系统。但若按照所处理数据类型进行划分，就会有空间数据类型、时序数据类型、文本类型和多媒体类型等数据挖掘系统，或互联网挖掘系统。其他的系统类型还包括：异构数据挖掘系统和历史数据挖掘系统。 ?根据所挖掘的知识进行分类，可以根据所挖掘的知识类型对数据挖掘系统进行分类。
因此就可以根据概念描述知识、对比概念描述知识、关联知识、分类知识、聚类知识、异类知识、趋势与演化分析知识等进行划分。一个较成熟的数据挖掘系统通常提供多种（或集成）数据挖掘的结果（知识）。
此外还可以根据所挖掘知识的抽象水平和细度对数据挖掘系统进行划分，因此就会有广义知识（更抽象知识）、基本层次知识、多层次知识（多个抽象水平）的数据挖掘系统。一个高级数据挖掘系统应该具有挖掘多层次知识的能力。 ?根据所使用的技术进行分类，依据所使用的数据挖掘技术也可以对数据挖掘系统进行
分类。这些挖掘技术既可以按照用户交互程度，从完全自主到交互式探索和基于查询驱动进行划分；也可以按照所使用的数据分析方法，如：基于数据库或基于数据仓库技术、机器学习、统计、可视化、模式识别、神经网络等进行分类。一个复杂的数据挖掘系统常常采用多种数据挖掘技术或整合多种数据挖掘技术以弥补不同数据挖掘技术所存在的不足。 1.5.2数据挖掘系统的应用
13
武汉工程大学本科毕业设计
实际上数据挖掘技术从一开始就是面向应用的。目前，在很多重要的领域，数据挖掘都可以发挥积极促进的作用。尤其是在如银行、电信、保险、交通、零售（如超级市场）等商业应用领域。数据挖掘能够帮助解决许多典型的商业问题，其中包括：数据库营销、客户群体划分、背景分析、交叉销售等市场分析行为，以及客户流失性分析、客户信用评分、欺诈发现等等。
数据挖掘技术在企业市场营销中得到了比较普遍的应用，它是以市场营销学的市场细分原理为基础，其基本假定是@消费者过去的行为是其今后消费倾向的最好说明。
通过收集、加工和处理涉及消费者消费行为的大量信息，确定特定消费群体或个体的兴趣、消费习惯、消费倾向和消费需求，进而推断出相应消费群体或个体下一步的消费行为，然后以此为基础，对所识别出来的消费群体进行特定内容的定向营销，这与传统的不区分消费者对象特征的大规模营销手段相比，大大节省了营销成本，提高了营销效果，从而为企业带来更多的利润。
商业消费信息来自市场中的各种渠道。例如：每当我们用信用卡消费时，商业企业就可以在信用卡结算过程中收集商业消费信息，记录下我们进行消费的时间、地点、感兴趣的商品或服务、愿意接收的价格水平和支付能力等数据；当我们在申办信用卡、办理汽车驾驶执照、填写商品保修单等其他需要填写表格的场合时，我们的个人信息就存入了相应的业务数据库；企业除了自行收集相关业务信息之外，甚至可以从其他公司或机构购买此类信息为自己所用。
这些来自各种渠道的数据信息被组合，应用超级计算机、并行处理、神经元网络、模型化算法和其他信息处理技术手段进行处理，从中得到商家用于向特定消费群体或个体进行定向营销的决策信息。这种数据信息是如何应用的呢？举一个简单的例子，当银行通过对业务数据进行挖掘后，发现一个银行帐户持有者突然要求申请双人联合帐户时，并且确认该消费者是第一次申请联合帐户，银行会推断该用户可能要结婚了，它就会向该用户定向推销用于购买房屋、支付子女学费等长期投资业务，银行甚至可能将该信息卖给专营婚庆商品和服务的公司。数据挖掘构筑竞争优势。
在市场经济比较发达的国家和地区，许多公司都开始在原有信息系统的基础上通过数据挖掘对业务信息进行深加工，以构筑自己的竞争优势，扩大自己的营业额。美国运通公司有一个用于记录信用卡业务的数据库，数据量达到54亿字符，并仍在随着业务进展不断更新。运通公司通过对这些数据进行挖掘，制定了“关联结算优惠”的促销策略，即如果一个顾客在一个商店用运通卡购买一套时装，那么在同一个商店再买一双鞋，就可以得到
14
武汉工程大学本科毕业设计
比较大的折扣，这样既可以增加商店的销售量，也可以增加运通卡在该商店的使用率。再如，居住在伦敦的持卡消费者如果最近刚刚乘英国航空公司的航班去过巴黎，那么他可能会得到一个周末前往纽约的机票打折优惠卡。
基于数据挖掘的营销，常常可以向消费者发出与其以前的消费行为相关的推销材料。卡夫食品公司建立了一个拥有3000万客户资料的数据库，数据库是通过收集对公司发出的优惠券等其他促销手段作出积极反应的客户和销售记录而建立起来的，卡夫公司通过数据挖掘了解特定客户的兴趣和口味，并以此为基础向他们发送特定产品的优惠券，并为他们推荐符合客户口味和健康状况的卡夫产品食谱。美国的读者文摘出版公司运行着一个积累了40年的业务数据库，其中容纳有遍布全球的一亿多个订户的资料，数据库每天24小时连续运行，保证数据不断得到实时的更新，正是基于对客户资料数据库进行数据挖掘的优势，使读者文摘出版公司能够从通俗杂志扩展到专业杂志、书刊和声像制品的出版和发行业务，极大地扩展了自己的业务。 数据挖掘系统的其它应用还有： ?在对客户进行分析方面：银行信用卡和保险行业，利用数据挖掘将市场分成有意义的
群组和部门，从而协助市场经理和业务执行人员更好地集中于有促进作用的活动和设计新的市场运动。 ?在客户关系管理方面：数据挖掘能找出产品使用模式或协助了解客户行为，从而可以
改进通道管理。又如正确时间销售就是基于顾客生活周期模型来实施的。 ?在零售业方面：数据挖掘用于顾客购货篮的分析可以协助货架布置，促销活动时间，
促销商品组合以及了解滞销和畅销商品状况等商业活动。通过对一种厂家商品在各连锁店的市场共享分析，客户统计以及历史状况的分析，可以确定销售和广告业务的有效性。 ?在产品质量保证方面：数据挖掘协助管理大数量变量之间的相互作用，并能自动发现
出某些不正常的数据分布，揭示制造和装配操作过程中变化情况和各种因素，从而协助质量工程师很快地注意到问题发生范围和采取改正措施。 ?在远程通讯方面：基于数据挖掘的分析协助组织策略变更以适应外部世界的变化，确
定市场变化模式以指导销售计划。在网络容量利用方面，数据挖掘能提供对客户聚集服务使用的结构和模式的了解，从而指导容量计划人员对网络设施作出最佳投资决策。 ?在各个企事业部门，数据挖掘在假伪检测及险灾评估、失误回避、资源分配、市场销
售预测广告投资等很多方面，起着很重要作用。例如在化学及制药行业，将数据挖掘用于巨量生物信息可以发现新的有用化学成分；在遥感领域针对每天从卫星上及其它方面来的
15