非政府组织评估的程序与方法

12．3　非政府组织评估的程序与方法

从世界上其他国家和地区NGO评估的实践看，无论何种类型的评估，评估的程序与方法大同小异。以下关于NGO评估的程序与方法就建立在学习和借鉴其他国家和地区NGO评估经验的基础上。

12．3．1　评估的程序

通常认为NGO评估程序大致包括以下几个步骤：

1．自我评估阶段

自我评估即NGO根据相应的评估指标和评估标准进行自我评估。通常，NGO应该成立一个自我评估委员会，然后根据评估指标与标准，逐项进行打分。有的指标，特别是定性方面的指标，NGO需要举证，即给出足够的证明材料，并将证据作为附件附在评估材料中。通过自评，达到发现问题、促进学习的目的。NGO如果能够将自我评估的过程视为自我诊断、自我设计与组织能力提升的过程，那么开展NGO外部评估，引导NGO健康发展的目的就更易于实现。否则，可能导致内部与外部的评估相互掣肘，事倍功半。

2．形式评估阶段

通常是外部评估机构收到NGO自我评估材料后，由工作人员进行形式上的审核，检查自我评估的材料是否齐全，举证是否充分。若有不完整或不清楚的地方，由工作人员与被评估机构进行沟通、补充。同时，如果条件许可的话，可以将NGO自我评估报告中的部分内容公示在评估机构的网站上，接受公众监督。

3．现场评估阶段

先由相关利益群体和专家组成一个评估委员会。随后，由评估委员会对重要的、大型的、或者是有不良记录的、或者是有公众举报的、或者是自评材料存在疑点或问题的NGO重点进行现场检查，也可以进行随机抽查。在实地考察中，要注意的是评估委员会成员的选择，要引入与被评估组织具有类似规模的组织中有经验的评估者，同时要注意避免评估委员会成员与被评估对象之间存在利益冲突。

4．初步评分阶段

评估委员会根据NGO自我评估、相关证明材料和现场评估的结果等信息，逐一对组织的各项指标打分，最后得出组织的分值。

5．解释、申诉阶段

评估机构将评估的初步结果告知被评估机构。如果被评估机构对评估结果有异议，可以提出解释或申诉。评估机构接受申诉后，评估委员会组织专家进行复议。

6．公示阶段

评估机构通过媒体或互联网公示评估结果，在公示期内，接受公众的质疑和检举。

7．公示最终评估结果阶段

在公示期后，对公示有异议的项目进行解释说明或更正评估结果，并形成最终的评估报告，并将此报告再行公示。通常，评估结果的有效期为3年左右。

12．3．2　评估的方法

当前，在对公共组织和公益组织进行评估时，国际上通常采用的方法主要有：逻辑框架法、对比法、快速乡村评估法、参与式评估法等。

1．逻辑框架法

逻辑框架法（Logical Framework Approach，LFA），是评估中经常采用的方法，甚至一些国际组织和国际金融机构在援助项目中要求必须采用逻辑框架法进行评估。该方法的作用在于使一个复杂的问题变得简单化、条理化。

所谓逻辑框架法，即根据事物的因果逻辑关系，用一张简单的框图来清晰地分析一个复杂项目的内涵和关系（见表12－1）。

表12－1　逻辑框架法的模式

逻辑框架法把目标和因果关系划分为四个层次（见表12－1），四个层次之间又形成了自下而上的垂直逻辑关系和各层次内部之间的水平逻辑关系。

（1）LFA的四个层次。即投入、产出、微观目的和宏观目标。投入（input）是指项目实施过程中所投入的经费、人力、时间和设备等资源。例如，一个培训项目的投入可以是资金3万元、3个教师、5个工作人员和2个月时间等。产出（output）是指项目投入的直接产出物。例如，一个培训项目的产出可以是培训了多少人数；一个宣传项目的产出可以是制作了多少广播节目、宣传画册等。目的（purpose）是指“为什么”要实施这个项目，即项目的实际效果。例如，通过培训使目标群体掌握某种知识等。目标（goal）是指项目实施后在最高层次的结果。宏观目标一般超越了项目的范畴，是指国家、地区、部门的整体性目标。例如，促进社会经济的可持续发展。

（2）垂直逻辑关系。LFA的四个层次之间形成了一种自下而上的逻辑关系。即一个项目的资金、人力、物力等资源投入在什么条件下将有怎样的产出；有了这一产出，在什么条件下可以达到项目的微观目的；达到项目的微观目的后，在什么条件下可以达到宏观目标。

（3）水平逻辑关系。垂直逻辑关系表明了各层次之间的关系，而每个层次的目标水平方向是由验证指标、验证方法和重要的假设条件所构成，从而形成了水平逻辑关系。

各层次目标应尽可能有客观的可度量的验证指标。包括数量与质量指标。一般，评估时应具备三个数据，即原来的预测值、实际完成值、预测与实际的差距值。

验证方法主要指数据的来源（它可以是预测数据，也可以是调查数据）和检验方法。

重要的假定条件主要指可能对项目的进展或成果造成影响，而项目管理者又无法控制的外部条件，即风险。即假设解决了所需的外部条件或控制了什么风险，则可达到什么样的结果。一般，失控的发生有多方面原因，首先是项目所在地的特定自然环境及其变化，例如扶贫项目中常遇到的水灾、旱灾等；其次是政府在政策、计划、发展战略等方面的变化或失误给项目带来的严重影响；第三个不确定性因素是管理部门体制所造成的问题，使项目投入产出与其目的、目标相分离。项目的假定条件很多，一般应选定几个最主要的因素为假定的前提条件。

建立了逻辑框架之后，就可以较为清楚地进行评估工作。例如，在评估项目效果时，可以根据逻辑框架建立的检验方法，计算项目实施后的目的实现程度，并与预期的标准比较，如果预期标准基本达到，甚至超过预期的标准，就可评价该项目的效果较好或很好，否则可以评价该项目的效果较差或很差。与此同时，还可以通过逻辑框架建立的假设条件分析项目效果好坏的原因。

2．对比法

对比法是评估活动中最常用的方法之一。如果说逻辑框架法是评估中定性分析的方法，那么对比法则是评估中定量分析的方法。通常，当我们通过监测报告、问卷调查等方式得到了投入、产出、目的、目标指标的数据后，往往还不能判断这一指标的高低、好坏，还需要有一个参照对象，即通过比较各类数值才能作出判断，得出评估结论。对比法就是通过比较发现差异与成效的方法。对比法有很多类型，其中主要有：前后对比法、有无对比法和综合对比法等。

（1）前后对比法

前后对比法即将项目完成后的情况与项目实施前的情况进行对比，以评估项目效果的方法。其公式为：P＝I₂－I₁。其中，P为项目效果，I₂为项目完成后的情况（后测值），I₁为项目实施前的情况（前测值）。

前后对比法存在一定的局限：影响项目结果的因素往往较为复杂，除项目实施本身会影响结果外，常常还有许多项目以外的因素也会影响到项目完成的结果。也就是说后测与前测值之差可能并不完全代表项目实施的结果，这就影响了评估的效度。

（2）有无对比法

有无对比法是选定一个与项目近似的但没有实施的项目，通过对实施项目的结果与未实施项目的状态进行对比，以评估实施项目效果的方法。其公式为：P＝I₂－C₂。其中，P为项目效果，I₂为项目完成后的情况，C₂为未实施项目的状态。

对实施的结果不仅受项目本身因素影响，而且还受许多外部因素影响的项目，适宜采用有无对比法。

由于有无对比法需要同时对两个对象进行测度，往往会增加评估的费用与评估的时间，特别是两者距离较远时。因此，在评估经费有限，评估时间较短时，最好采用前后对比法。由于有无对比法不需要前测值，因此，在缺乏前测值的情况下，适宜采用有无对比法。

然而，有无对比法也有一个较大的局限，即它假定两个比较项目的基线值相同。而实际生活中，这一假定条件往往并不存在。尤其是当两者基线值相差较大时，采用有无对比法会产生较大误差。这时采用综合对比法可能相对好一些。

（3）综合对比法

综合对比法是通过比较实施项目的前后测值之差与未实施项目前后测值之差，以评估项目效果的方法。其公式为：P＝（I₂－I₁）－（C₂－C₁）。其中，P为项目效果，I₂为实施项目后测值，I₁为实施项目前测值，C₂是未实施项目后测值，C₁是未实施项目前测值。

需要注意的是，虽然综合对比法相对准确，但由于综合对比法既需要项目实施组与控制组的前测值，也需要项目实施组与控制组的后测值，对评估经费与评估时间的要求更高。这对于NGO来说无疑是较大的负担。因此，在NGO的实际评估过程中，综合对比法并不经常使用。

3．快速乡村评估法

由于传统的评估方法通常需要进行严格的抽样调查，对数据质量的要求较高，因此评估的成本较高，特别是当评估采用综合对比法收集数据时更是如此。因此在实践中导致了许多对传统评估方法的批评。

为此，从20世纪70年代末开始，一种新型的评估方式逐渐替代了部分正规的社会调查评估方式。这就是快速乡村评估法（Rapid Rural Appraisal，简称RRA）。

快速乡村评估法建立在人类学、社会学非量化资料的技术基础之上，可以说是一种快速而不断学习的评估方法。它的主要做法是：

（1）采用多学科小组。包括评估学、经济学、社会学、人类学或其他相关专业的人员。也可以根据需要，在调查过程中组织合适的多学科小组。通常，多学科小组成员包括捐赠者代表、NGO的代表、评估专家，有时还可以请政府的代表参与多学科评估小组。

（2）三角信息。即利用不同方法，正式的、非正式的、不同专业的方法来收集同一种信息，如观察、直接参与、小组访谈等不同形式讨论同一主题。而不是仅仅通过正规的问卷调查或访谈调查等单一方式收集信息，进行评估。三角信息的好处在于可以较好地确保信息的真实性。

（3）避免主观偏见。快速乡村评估法在调查中强调仔细倾听、深入调查，不仓促下结论。用认真、慎重的态度纠正主观偏见，以获得真正反映实际状况的信息，并通过调查不断学习。

（4）直接面向受益群体。快速乡村评估法对项目评估，特别是对收集评估资料具有显著的作用。在这种评估调查过程中，一个明显的特点是它离不开受益者的参与。评估者通过直接观察、小组访谈等一系列方法，直接与受益群体接触，获取信息，了解目标群体的看法，并通过与受益群体的直接接触不断学习。而在传统的评估调查中，评估者有时并不直接参与调查，而是委托调查员进行问卷调查或访谈；由于评估者并不与受益人直接接触，从而难以获得感性认识和第一手的材料以及客观的结论。

快速乡村评估法与正规评估调查相比，具有见效快、费用低、提供的资料更丰富等优势。它特别适用于评估时间紧迫、预算的评估费用较少的情况。因此，一些NGO，特别是一些小的草根组织更愿意采用该方法进行评估。

4．参与式评估法

参与式评估法是当前国际上最为流行的评估方法之一，也是非政府组织通常采用的评估方法。参与式评估法（Participatory Rural Appraisal，简称PRA）就是在快速乡村评估法基础上产生的另一个重要的分支。这种方法的评估调查更多地依靠受益者或者说目标群体自身，依靠他们自己对项目反馈的信息进行评估。另外，评估者可以通过这一方法更好地了解目标群体的需求、目标群体优先考虑的问题等。参与式评估法采用目标群体参与的方式进一步发展了快速乡村评估法，通过受益者的参与增强了目标群体的能力建设。

参与式评估是指项目管理人员和受益者共同组成评估小组，通过对项目管理的系统评估，调整、重新制定项目的目标或方案，重新进行组织机构安排或调配资源的一种方式。

参与式评估要求受益者参与评估的全过程。它和传统的评估不同，不是简单地由专家或项目管理人员得出评估结论。需要说明的是，参与式评估绝不是为了简单地增加评估的人员，而是强调通过受益者的直接参与提高评估的质量。

参与式评估的最大特色是打破了传统的思想认识和评估方式，即“自上而下”、迷信上级和专家权威的评估，而是鼓励受益者参与评估过程、管理过程，充分调动受益者的积极性。

一般而言，参与式评估不是一种自发的行为。因此，为了进行参与式评估，必须运用积极的、操作性强的方法确保受益者的参与，并从受益者感兴趣的活动开始。在实践中，如果可能，还需要对受益者进行参与式评估的培训。

快速乡村评估法主要是通过决策者来收集信息，或为决策者收集信息，它的缺点在于这种形式的评估很难促使受益者或目标群体采取主动的行动。与快速乡村评估法相比，参与式评估法则更强调参与过程本身，通过参与评估过程促使不同的利益群体进行评估并采取行动，而不是仅由NGO单独采取行动。也就是说，参与式评估法通过受益者或目标群体的参与进行评估，并通过评估中的学习和信息反馈影响项目未来的结果或后续项目的结果。一般而言，参与式评估能够较好地避免被动评估的弱点，从而取得较好的评估效果（见表12－2）。

表12－2　参与式评估法与快速乡村评估法的比较

参与式评估需要遵循下列原则：

（1）参与式评估是一个灵活的学习过程。即被评估NGO应该把参与式评估看做是一个学习的过程，而不仅仅是被考核、受监督的过程。通过参与式评估不断总结经验与教训，探索提高组织能力与项目绩效的方法。

（2）参与式评估是一个分享的过程。该评估方法认为，信息不仅是一个从当地人流向外来评估者的过程，而且也是一个从外来者流向当地人的过程，即双向过程。参与式评估要达到预期目标，应该注重外来评估者和当地人之间信息的交流与分享。

（3）参与式评估是寻求多样化、尊重差异的评估。参与式评估着重寻求不同人的经验（即性别、年龄、贫富、伤残等的不同而产生的经验），而不是寻求一大群人的一般性经验。因此，参与式评估有义务考虑少数人，特别是弱势群体的知识、经验和观点。

（4）参与式评估是一个协助的过程。参与式评估不仅仅是寻求多种观点，而且应协助、鼓励目标群体表达他们自己的真实想法，而不应被外来评估者的观点所左右。

（5）参与式评估具有较强的实用性。参与式评估通过讨论能促使目标群体采取行动来改善他们自己的生活。

参与式评估一般在项目早期，即项目鉴别阶段就开始应用。项目鉴别阶段是通过调查研究发现需要做什么项目的阶段。早期应用参与式评估法可以让目标群体参与选择研究项目，真正考虑到目标群体自己的需求、本地的资源条件、受益者可接受的或本地行之有效的服务技术与服务方式，以避免选择的项目不能真正满足目标群体需求。在项目监测与评估阶段，参与式评估也有助于真正揭示项目实施的变化，找出原因，采取措施，为项目的持续实施提供必要的反馈信息，并为后续项目提供经验。