果是项目可以取得一定的成效,但是非营利组织本身却缺乏持续的发展能力,有的非营利组织甚至出现了一些滥用资源或腐败的现象。
2、“三D”评估理论
虽然“三E”理论是世界范围内评估的主流派别,然而,也有学者对此提出了挑战。这些学者认为,首先,公共组织的相关利益群体是多元的,例如非营利组织的利益群体既包括捐赠者、社区领导人、志愿者、非营利组织的管理人员,也包括服务对象。由于不同相关利益群体关注的角度不同、价值判断的标准不同,甚至存在冲突,因此,很难简单地根据经济、效率与效果来评价非营利性的公共组织;其次,私人组织的目标非常明确(例如,企业的绩效标准就非常明确,即利润),而公共组织的目标往往较为宏观和模糊,也没有特别明确的绩效标准;再次,公共组织的目标具有较大的不确定性。特别是随着外部环境的变化,公共组织实施项目的目标甚至都需要调整和变化;最后,非营利组织的结果除受政策、计划或项目本身的影响,往往还要受到许多其他因素的影响,也就是说其因果关系实际上并不明确。基于此,这些学者认为,公共组织的评估应当从“三E”向“三D”转变。所谓“三D”是指诊断(Diagnosis)、设计(Design)与发展(Development)。
诊断是指非营利组织或项目的管理者能够正确识别组织或项目所面临的新的管理问题,能够考虑到主要的相关利益群体的需求与利益。设计是指组织或项目管理者能够通过适当的策略解决这些问题,能够设计解决这些问题所需要的恰当的结构与战略。发展是指一种解决组织或项目实施过程中所遇到问题的能力,以及相应的作为学习过程的管理变革或创新。
“三D”评估理论的优势在于它特别注重通过评估提升非营利组织自身的能力建设,通过评估帮助非营利组织不断学习与完善。然而,这一评估理论的局限在于它难以定量,更多是定性方面评估,难以在不同组织之间进行比较。由于难以比较,因此也无法根据评估的结果实施奖罚。
3、“顾客满意度”理论
从上可见,“三E评估”侧重于评估是一个监督检查的过程,它注重的是组织或项目产生的结果。“三D评估”侧重于评估是一个学习的过程,它注重的是实施政策、计划或项目的组织能力。然而,总的来说,无论是“三E”,还是“三D”评估,更多是一种自上而下型的评估方式,这种类型的评估是以实施项目的组织为中心。随着新公共管理的兴起,人们的思想、理念发生了很大变化。
一些学者和实践工作者提出,公共组织的核心是为公众提供优质的服务,因此,评估的导向应当是自下而上的,面向被服务对象的,即以顾客满意度为焦点。所谓顾客满意度是指顾客感受到的服务质量达到其期望值的程度。它包括了解顾客的需求,并能迅速、准确地回应服务对象的需要;充分具备提供服务所需的知识与技能;热心接受顾客的要求;服务态度谦虚、有礼;能够倾听顾客的不同意见;非营利组织及其工作人员(包括志愿者)值得信赖;能够尊重顾客的隐私;被服务对象有畅通的投诉渠道等等。顾客满意度评估发源于企业界,并在企业界得到了广泛的推广。
然而,这一评估理论在应用于公共部门,特别是非营利部门时还存在一些不足。比如,中国的一些公益项目评估实践表明,由于中国的弱势群体习惯于政府的救助,甚至认为政府的救助理所当然,因此对政府的救助期望值很高,满意程度偏低。相反,弱势群体对于民间资助机构的期望值往往较低,甚至没有特别明确的期望值,哪怕得到非营利组织一点点的资助,
16
其满意程度都偏高。因此,用顾客满意度来评估社会工作机构的绩效时,它并不是一个很敏感的、理想的指标。
4、“APC”评估理论
清华大学“NGO研究所”在大量的问卷与个案调查的基础上,针对当前中国非营利组织客观存在的、迫切需要解决的问题提出了一套适合中国非营利组织发展的评估框架,即对非营利组织进行问责(Accountability)、绩效(Performance)和组织能力(Capacity)的全方位评估,简称为“APC”评估理论。
问责是指非营利组织对其使用的公共资源的流向及其使用效果的社会交代。通常,非营利组织问责性评估包括:对非营利组织的治理结构、活动是否与组织宗旨相一致;组织的有关信息是否进行了必要的、准确的披露;非营利组织的财务是否透明等方面。问责性评估是确保非营利组织诚信的一种制度安排,它的功能在于帮助非营利组织树立社会公信度。 绩效评估是对非营利组织的适当性、效率、效果、顾客满意度、社会影响及其持续性的评估。绩效评估的功能在于通过评估提高非营利组织的效率、促进组织服务品质的提高。
组织能力是指组织开展活动和实现组织宗旨的技能和本领。组织能力评估的功能在于促进非营利组织自我生存与发展能力的提高、促进非营利组织达成组织使命。
非营利组织的问责、绩效与组织能力是密切相关、相互作用的。问责性评估是保证非营利组织公信度的制度体系,它有助于保证非营利组织做正确的事情,有助于提升非营利组织的责任、声望与合法性,而组织的声望与合法性是非营利组织成功的必要条件之一;绩效评估是保证非营利组织有效使用稀缺资源的制度安排,它有助于保证非营利组织正确地去做事;组织能力评估是保证非营利组织提升组织能力的管理工具,它是非营利组织持续提升组织的问责性与绩效的基础。可见,仅仅只进行组织绩效评估,容易导致评估流于形式和评估结果难以发挥作用,组织的能力也没有得到相应的提升。这也是当前我国一些非营利组织虽然暂时取得了良好的绩效,但随着项目或活动的结束,组织也随之衰亡的原因;而仅仅只进行问责性评估,也容易出现组织有心无力的情况,或者虽然没有贪污、腐败,但是资源的使用效率不高;而仅仅只进行能力评估,也容易出现组织能力虽然提高了,但是组织却没有做正确的事或正确地做事。
(二)方法
1、对比法
对比法是评估活动中最常用的方法之一。通常,当我们通过监测报、问卷调查等方式得到了投入、产出、目的、目标指标的数据后,往往还不能断这一指标值的高低、好坏,还需要有一个参照对象,通过比较各类数值才能出判断,得出评估结论。对比法就是通过比较发现差异与成效的方法。对比法很多类型,其中主要有:前后对比法、有无对比法等。
[1]前后对比法。前后对比法,即将项目实施前的情况与项目完成后的情况进对比,以评估项目效果的方法。其公式为:
P=I2一I1
其中,P为项目效果;I2为项目完成后的情况(即项目组后测值);I1为项目实前的情况(即项目组前测值)。
例如,A地性传播疾病发生率较高,于是,当地计生协开展了一个培训项目增进目标群体预防性传播疾病的知识。对该培训项目的评估,可以采用前后对比法。首先,需要在
17
实施培训项目前,对培训对象的预防性传播疾病知识进行测,了解他们对有关知识的知晓率,如对“相互借用毛巾可以传播性病”的知晓。然后,在培训结束时,再对他们预防性传播疾病知识进行测验,通过项目实前与项目实施后知晓率的变化评估项目的效果。 前后对比法看上去非常简单,但在实际操作时,需要注意一些问题。缺乏前测值:非营利组织由于缺乏资金,因此在实施项目前往往没有进前测,而在项目完成后,为了评估项目的效果才进行后测。此时由于缺乏对比基线,无法进行判断,从而为评估工作带来了困难和麻烦。这也是非营利组织估中经常遇到的一个问题。因此,这就需要非营利组织在一些重要的大型项目注重前测或基线调查工作。前后对比法本身存在的局限:由于影响项目结果的因素往往较为复杂,项目实施本身会影响结果外,常常还有许多项目以外的因素也会影响到项目完的结果。也就是说后测与前测值之差可能并不完全代表项目实施的结果。例如,某地1996年开始实施“幸福工程”,在实施“幸福工程”之前贫困率为50%(前测值)。实施“幸福工程”2年后(1998年),贫困率降为30%(后测值),因此,根据前后对比法,可以得出评估结论,“幸福工程”的实施使得B地2年间贫困率减少了20%(后测值减去前测值)。然而,该地贫困率下降可能还与当地外出打工人口增加、交通设施改善等因素有关,因此,1996—1998年B地贫困率减少20%并不一定完全是“幸福工程”的结果。而要解决这一个问题,则可以采用有无对比法。
[2]有无对比法。有无对比法是选定一个与项目组近似的但没有实施项目的对照组(即控制组),通过项目组实施项目的结果与没有实施项目的控制组结果进行对比,以评估项目效果的方法。其公式为:
P=I2一C2
式中,P为项目效果;I2为项目完成后的情况(项目组后测值);C2为控制组同期的情况(控制组后测值)。
仍以B地“幸福工程”为例。如果B地项目外的影响因素较多,那么要评估B地“幸福工程”的实际效果,采用前后对比法可能会有较大误差,因此需要进行有无对比。首先选择一个控制组,即其他条件与B地相近,但没有实施“幸福工程”的C地。假定B地在项目实施后,1998年贫困率为30%,而控制组虽然没有实施“幸福工程”,但由于整个国家社会经济的发展,1998年的贫困率为45%,那么,可以认为,B地实施“幸福工程”的实际效果是使贫困率减少了15%。
可见,采用有无对比法和采用前后对比法进行评估,结果有时相差很大。甚至可能会得出相反的结论。因此,在评估时,要特别慎重选择评估的方法。在项目的结果一般只受项目因素影响,而很少受到其他非项目的外部因素影响的情况下,可以选择前后对比法;在项目的结果除受项目因素影响外,还受许多非项目的外部因素影响的情况下,适宜采用有无对比法。
由于有无对比法需要同时对试验组和控制组进行测度,往往会增加评估的费用与评估的时间,特别是当控制组与试验组距离较远时。因此,在评估经费有限,预算的评估时间较短时,适宜采用前后对比法。另外,由于有无对比法不需要前测值(前提条件是假定试验组和控制组的基线值相同),因此,在缺乏前测值的情况下,可以采用有无对比法。
然而,有无对比法也有一个较大的局限,即它假定试验组和控制组的基线值相同,而实际生活中,这一假定条件往往并不存在。尤其是当试验组和控制组基线值相差较大时,
18
采用有无对比法有较大的误差。
2、快速农村评估法
由于传统的评估方法对数据质量的要求较高,通常需要进行严格的抽样调查,因此评估的成本较高,特别是评估时采用综合对比法收集数据时更是如此。这导致了许多对传统评估方法的批评。有人甚至认为,这种问卷调查的评估方式对非营利组织是一个沉重的负担。通常,问卷调查中的一些问题即使向被调查人问了,也没有人对回收的问卷进行编号,即使编号了也没有人对其进行加工整理,即使整理了也没有人研究,即使研究了也未进行深入的分析并将分析结果写成书面文字,即使写成了书面材料也没有人阅读,即使有人读了也不会理解或记在心上。而即使理解也记在心上了,也不会将调查结果运用于实际的行动中。更为遗憾的是,这类调查却经常在科学的名义下进行,以致浪费了极大的资源。
虽然以上批评过于偏激,但确实有一定的道理。为此,从20世纪70年代末开始,一种新型的评估方式逐渐替代了部分正规的社会调查评估方式。这就是快速农村评估(rapid rural appraisal,RRA)。
快速农村评估法建立在人类学、社会学非量化资料的技术基础之上,可以说是一种快速而不断学习的评估方法。它的主要做法是:
[1]采用多学科小组,包括评估学、社会学、经济学、人类学或其他相关专业的人员。也可以根据需要,在调查过程中组织合适的多学科小组。通常,多学科小组成员包括捐赠者代表、非营利组织的代表、评估专家,有时还可以请政府的代表参与多学科评估小组。
[2]三角信息。即利用不同方法,正式的、非正式的、不同专业的方法来收集同一种信息,如观察、直接参与、小组访谈等不同形式讨论同一主题。而不是通过正规的问卷调查或访谈调查等单一方式收集信息,进行评估。三角信息的好处在于可以确保信息的真实性。
[3]避免主观偏见。快速农村评估法在调查中仔细倾听、深入调查,不仓促下结论。用认真、慎重的态度纠正主观偏见,以获得真正反映实际状况的信息,并通过调查不断学习。 [4]直接面向受益群体。评估者通过直接观察、小组访谈等一系列方法,直接与受益群体接触,获取信息,了解目标群体的看法,并通过与受益群体的直接接触不断学习。而在传统的评估调查中,评估者有时并不直接参与调查,而是委托调查员进行问卷调查或访谈。因此,评估者并不与受益人直接接触,从而难以获得感性认识和客观的结论。
快速农村评估法与正规评估调查相比,具有见效快、费用低、提供的资料更丰富等优势。它特别适用于评估时间紧迫、预算的评估费用较少的情况。因此,一些非营利组织,特别是一些小的草根组织更愿意采用该方法进行评估。
3、参与式评估法
快速农村评估法对项目评估,特别是对收集评估资料具有显著的作用。在这种评估调查过程中,一个明显的特点是它离不开受益者的参与。参与式评估法(participatoty rural appraisal,PRA)就是在快速农村评估法基础上产生的另一个重要的分支。这种方法的评估调查更多地依靠受益者或者说目标群体自身,依靠他们自己对项目反馈的信息进行评估。另外,评估者可以通过这一方法更好地了解目标群体的需求、目标群体优先考虑的问题等。参与式评估法采用目标群体参与的方式进一步发展了快速农村评估法,通过受益者的参与增强了目标群体的能力建设。参与式评估法是当前国际上最为流行的评估方法之一,也是非营利组织通常采用的评估方法。
19
参与式评估是指项目管理人员和受益者共同组成评估小组,通过对项目管理的系统评估,调整、重新制定项目的目标或方案,重新进行组织机构安排或调配资源的一种方式。
参与式评估要求受益者参与评估的全过程,包括评估的领域、评估指标的选择、设计数据收集系统、收集和整理数据、分析结果、将评估的信息用于目标的实现等全过程。它和传统的评估不同,不是简单地由专家或项目管理人员得出评估结论。需要说明的是,参与式评估绝不是为了简单地增加评估的人员,而是通过受益者的直接参与提高评估的质量。 参与式评估的最大特色是打破了传统的思想认识和评估方式,即“自上而下”、迷信上级和专家权威的评估。而是鼓励受益者对评估过程、管理过程的参与,充分调动受益者的积极性。
一般而言,参与式评估不是一种自发的行为。因此,为了进行参与式评估,必须运用积极的、操作性强的方法保证受益者的参与,并从受益者感兴趣的活动开始。例如,采用照片等视图方式。如果可能,还需要对受益者进行参与式评估的培训。
参与式评估法与快速农村评估法的比较。快速农村评估法主要是通过决策者来收集信息,或为决策者收集信息,它的缺点在于这种形式的评估很难促使受益者或目标群体采取主动的行动。与快速农村评估法相比,参与式评估法更强调参与过程本身,通过参与评估过程促使不同的利益群体进行评估并采取行动,而不是仅由非营利组织单独采取行动(见表13—2)。也就是说,参与式评估法通过受益者或目标群体的参与进行评估,并通过评估中的学习和信息反馈影响项目未来的结果或后续项目的结果。一般而言,参与式评估能够较好地避免为评估而评估的做法,从而取得预期的评估效果。
表13--2 快速农村评估法和参与式评估法的比较
┏━━━━━━━┳━━━━━━━━━━━━━━┳━━━━━━━━━━━━━━┓ ┃ ┃ 快速农村评估法 ┃ 参与式评估法 ┃ ┣━━━━━━━╋━━━━━━━━━━━━━━╋━━━━━━━━━━━━━━┫ ┃ 主要目的 ┃ 外来者进行评估学习以增强 ┃ 一起评估学习以增强组织和 ┃ ┃ ┃ 组织能力 ┃ 当地人的能力 ┃ ┃ 外来者角色 ┃ 获取资料者 ┃ 评估活动的协助者 ┃ ┃ 当地人角色 ┃ 提供资料者 ┃ 评估者 ┃ ┃ 评估时间 ┃ 通常很快 ┃ 需要建立相互信任的关系, ┃ ┃ ┃ ┃ 可能时间较长 ┃ ┃ 可能的结果 ┃ 外来者决策而当地人后来参 ┃ 当地人与相关利益群体共同 ┃ ┃ ┃ 与 ┃ 参与 ┃ ┃ 最终结果 ┃ 评估报告 ┃ 当地可持续发展 ┃ ┗━━━━━━━┻━━━━━━━━━━━━━━┻━━━━━━━━━━━━━━┛
参与式评估需要遵循以下一些原则:参与式评估是一个灵活的学习过程。即应该把参与式评估看做是一个学习的过程,而不仅仅是考核、监督的过程,这也是评估活动的特点之一。通过参与式评估不断总结经验与教训,探索提高组织能力与项目绩效的方法。这要求非营利组织的评估者将来自各利益群体的批评当做建设性意见或学习的机会。
参与式评估是一个分享的过程。参与式评估方法认为,信息不仅是一个从当地人流向外来评估者的过程,而且也是一个从外来者流向当地人的过程,即双向过程。参与式评估
20