第四节 借鉴与启示:基于价值协商的评价范式的国际实施经验
第四代评价提出以来,除以上所列举的在美国、英国和澳大利亚得到实施和应用外,还有一些研究者将其运用到评价实践中,如汤姆·奥尼尔(Tom O,Neill)通过运用第四代评价对南非德班的科学教育项目进行评价,着重讨论了第四代评价在实际实施中存在的一些问题[10]。Richard Laughlin和Jane Broadbent将第四代评价方法运用于英国的公共部门改革的评价中,阐明了第四代评价的实质,并进一步发展了该评价方法,针对第四代评价的有关问题,提出了一些可能的解决措施,主要包括对唯我论者在该方法上的质疑的解答,对评价者与委托人之间的一些权力的潜规则的解决,参与者的平等和特权问题,以及对评价中有关承担责任的行动策略等提出了解决方案。[11]
从对第四代评价的研究来看,无论是理论上还是实践上,第四代评价的研究在我国都还处于起步阶段。正像McCoy and Hargie(2001)争论说,在不断变化的政治和社会背景下,评价方法将会继续发展,不断地调整、完善去满足使用者的需求。[12]在当代价值多元的背景下,从国际视角综合分析价值协商在这些案例应用中获得的经验和启示,对于构建适合我国高等教育运行环境的新的评价范式及其价值协商机制的操作策略,具有重要的实践指导意义。
一、基于价值协商的评价范式的国际实施经验
1.寻求被评价者对评价本身的认同,是基于价值协商的评价模式的有效实施条件
从上述案例实施情况可知,在评价者、委托人及利益相关者都完全认同此种模式是适当的,评价本身能够得到被评价者的认同且愿意共同合作时,它即可有效地加以运用。在这样一种背景下,通过协商,解决利益相关者之间的冲突和分歧,应该可以达成共识。
2.利益相关者深入参与评价,是提高评价的效用,解决评价争议的有效路径之一
第四代评价的价值在于它清晰地阐述了一种通过协商达成共识的评价方法,这一方法给利益相关者各方提供了表达各自意见的机会。[13]它所倡导的多元主体参与评价,尊重多元价值取向,能够从不同的角度为评价对象提供信息。
以上案例表明,利益相关者参与到评价过程中,有利于提高评价的效用。这和有效变革的原理是一致的,即如果人们在某事的发展过程中,能被加以咨询并参与,比较有可能会更加重视和利用它。它也寻求可能受到伤害或受到帮助的所有利益关系人直接参与评价,并视利益关系人为重要的、接受赋权的评价工作伙伴。这对所有参与者都具有教育意义,不论是否能够真正达成共识。如在澳大利亚校本评价中,从教师来看,可以促进他们发展新的专业技能。从学校、地区及州一级来看,当评价结果广泛发布时,评估结果的直接利用,可以使学校、地区及州一级直接从评价结果及行动建议中获益。
在我国高等教育评价中,如何探索建立一种多元评价主体的参与机制,调动院校、教师、学生、家长和社区等多元利益相关者以不同形式广泛参与评价,是提高评价效用,解决我国高等教育评价争议的有效路径之一。
3.及时有效地反馈评价信息,是提高评价的认同度、促进评价对象的发展与改进的有效策略
如果没有高质量的信息反馈,就没有评价对象的有效改进和不断进步。因此,一定要高度重视评价信息的反馈工作,努力克服那种只寻求获得评价结果,而忽略与被评对象进行信息交流的倾向。
在第四代评价的运用案例中,无论哪一阶段,都比较注重调查和反馈,评价者与被评价者之间的信息沟通与反馈贯穿于评价过程的关键环节,评价结果要客观地反馈给评价对象。这种持续的反馈会导致新的行动计划,而行动计划实施后又伴随着新的评价和反馈,反馈和行动一步扣着一步,直到最后达成共识。
在我国高等教育评价改革中,可借鉴这种做法,采取有效策略,持续不断地向评价对象反馈有关评价信息和结果,同时使他们了解有关评价标准、评价程序的重要信息,这样才能使评价对象在参与中获得自身的真实状态,发现自身的不足,从而实实在在地获得发展。
4.利益相关者之间达成共识,是评价行动选择的前提基础
第四代评价的国际实施案例用实践进一步表明:评价活动的有效实施需要建立在利益相关者之间达成共识的基础上,对评价的缘由、评价的目的与意图、评价的价值选择、评价的组织与实施、评价的信息收集与处理、评价的结论及其运用都应进行广泛的协商。有关评价的关键问题在大多数利益相关者都同意的基础上采取行动,这样的共识需要通过相应的协商机制保障实现。
利益相关者之间达成共识,将更有利于评价结果的使用和行动建议的采纳。通过协商在利益相关者之间达成共识是非常关键的,如果利益相关者的声音在项目规划和结果中都得到了重视,他们将更愿意支持评价工作,以确定自己的目标是否达成了。如果利益相关者意识到他们的期望被充分考虑了,就更易于获得他们对项目的支持。在实施计划之前,应充分争取利益相关者的意见,如果能达成大多数利益相关者都认同的行动计划,就会在一定程度上有利于激发和推动利益相关者采取行动。
5.建立协商机制,通过授权和共享责任平衡利益相关者的权力和利益冲突,是解决评价争议、提高评价效用的必要途径
第四代评价将维护权力最弱者利益的授权主义意识形态与建构主义哲学整合起来。从第四代评价应用的案例可以看出,通过授权和共享责任,可以调动利益相关者参与评价的积极性;通过协商形成的大家认同的评价协议和行动计划,有利于利益相关者支持和执行后续评价的行动计划。在传统的评价中,评价对象很少参与到评价过程中,决定评价内容或设计评价方法来评价他们自己,基于价值协商的评价模式主张评价者能够做到愿意分享权力,并能充分认可到所有利益相关者的观点及意见的同等价值。
在我国高等教育评价中,如何跨越制度障碍,调动被评价者参与评价的积极性,让利益相关者深入地参与评价,提高他们参与评价的有效性,需要我们创新管理方法,形成参与协商的组织架构。
二、面向未来:第四代评价的实施案例对我国高等教育评价的启示
1.以寻求优化的利益相关者参与评价为目标,开发鉴定利益相关者的方法和相应的标准,并明确其在评价中的功能定位
正像汤姆·奥尼尔(Tom O,Neill)在南非德班的科学教育项目评价案例所表明的那样:第四代评价理论所倡导的所有利益相关者都能充分参与,甚至评估对象中的大多数利益相关者都能够充分参与到评价中,可能是一个不现实的假设。第四代评价试图寻求一种“民主”的合法性进行评价的过程,但现实中仍然可能错过一些持有关键的“主张、担心和争议”的利益相关者。[14]
通过协商在利益相关者之间达成共识是非常关键的,经过鉴定的关键利益相关者的参与有利于评价结果的使用和行动建议的采纳。第四代评价案例实施的研究表明,评价中利益相关者的鉴定标准有待于进一步明确。要开发鉴定利益相关者的方法和标准,并明确其在评价中的功能定位。要根据利益相关者的重要程度及影响对利益相关者进行排序和分类,明确他们各自有何能力及能力的大小。从而显示每个利益相关者对评价行动推进的影响程度,并根据影响程度的不同制定不同的反应策略。
我国高等教育评价应把寻求优化的利益相关者的参与作为目标,并运用多样化的策略方法来促进这一目标的实现。在我国高等教育评价实践中,期望评价能够包括所有利益相关者的利益也是不切实际的,因为评价总有经费和时间上的限制。如何探寻有效策略,筛选出关键利益相关者参加评价,考量着评价者的专业判断能力。在很多时候,经过鉴别确认的利益相关者的多样性可能超过了可使用资源的范围。必须找到方法将他们区分为两类:包含的、排除的。区分的标准可以是利益相关者的相对利益。但包含还是排除利益相关者不能由评价者或者委托人说了算,也不能转变成一种“名誉”的竞赛。包含或者排除必须经协商决定,这样才能使每个利益相关者平等地陈述自己的理由。
2.评价信息资料的收集要充分利用参与者为工具,既重视质性信息,但同时并不排除运用量的方法收集数据
定性调查方法比较适合基于协商的评价模式,因为它能够捕获人们自己的(文化主位的)建构。因此,需要重视质性信息,因其大部分可以反映各种利益关系人的看法与判断的差异性。然而,这并不意味着建构主义评价不运用量的研究方法。在有的案例中,如游戏与信息工程项目评价中,既运用观察会来捕捉孩子们对玩具的情感反应,也运用量化的数据测量在会议期间,特定场景和时间点孩子们的反应频率。
以参与者为评价工具,利用他们相关的经验、知识及宝贵的意见及看法;这将大大地减低在使用信息收集工具前所需开发实地测试及证明的负担。在澳大利亚校本评价中,对学生和家长则是采用调查、观察和访谈等方法收集信息,然后尽量与他们验证与利益相关者群体讨论后获得的信息。
3.探索管理利益相关者权力的有效策略,实现对利益相关者的授权
第四代评价的吸引力就在于它承诺对广大的利益相关者进行授权,所有利益相关者平等的价值建构,大部分利益相关者在“主张、担心和争议”方面的达成的共识,并保证评价过程和评价结果的使用权。第四代评价的主要目标是给予权力,而不是剥夺权力,其实施案例也正是按照这一目标来进行评价的。然而,“评价过程中,那些隐藏在深处的组织中的权力不平衡,并不会因为评价所倡导的良好的精神而自动消失。因此采取蓄意和有意识的步骤,减少评价过程中影响力非常强大的利益相关者的权力是必要的。”[15]
在现实的高等教育的权力世界里,权力团体当然不会乐意赋予其他团体权力而剥夺自身的权力。在有大量的权力和信息分歧,以及当权人希望事物保持原状的情况下,对利益相关者的权力进行管理,寻求建立对利益相关者赋权和能力建设的有效机制,也就成为实施基于价值协商的评价模式面临的迫切需要解决的问题之一。在我国高等教育评价运行的环境中,为了防止利益相关者各种利益关系的呈现不被失衡的权力所支配或者扭曲,从而使得有势力的利益相关者削减较无势力的一方,需要寻求控制权力失衡的方法以达成协商。授权可考虑通过对利益相关者提供参与机会的方式来实现,这种方式给每个利益相关者提供了多种机会来输入信息和操纵控制。
4.创新组织管理方法,探索建立评价的参与协商机制,培育协商文化
基于价值协商的评价模式的国际实施表明,在兼容并包的多元价值取向社会里,评价者的价值取向是有争议的,他们的评价结果不是具有唯一确定性的,代表全体利益相关者的谈判会议是一个能考虑和展示各方价值的有效机制。
培育协商文化,是提高协商成效的有效途径之一。协商是一个过程,当达到一种默契的阶段时,协商会比较有效。此时,各方增加的亲近、信任和建立的彼此的沟通规范,有助于增强协商的有效性,从而达成一致的决策。同样,往往在很长一段时间内,评价者需要与合作伙伴和利益相关者建立一种融洽的关系,以使实现平等和共同决策成为可能。这需要在一种通常是有着不平等的权力、资源和控制的情况下,培育协商文化,富有理解性的和策略性的工作。
我国高等教育体制本身带来的行政本位,评价主体的政府化也使得评价更多地实现了其行政性功能、“工具性目的”,其“促进教育质量提高”、“促进思想意识转变”的本质性功能却并没有得到充分发挥。在我国,评价作为一种强制性的外部监控手段已经不可或缺,但是要想形成一种高校内部利益相关者也认可的文化还需要很长时间。虽然迫于外界的压力,高校内部已经意识到评价的重要性,但发自内心的对评估的需求,融入思想意识、行为的评估文化尚未形成。如何通过规范体系建设从理性的角度培育协商文化是当前我国高等教育评价面临的迫切需要解决的问题。
5.运用制度设计建立利益相关者的参与渠道,确保利益相关者能负责任地参与评价
如果希望基于协商的评价模式运作得更好,就需要各种利益关系人的关注和负责任的参与。然而通常很难在整个评价过程中,获得和维持普遍的、草根性的利益相关者的参与。虽然评价过程强调并承诺开放性和完全的开诚布公,但有一些参与者并不愿意向众人说出他们个人的想法和判断。此外,利益关系人有时对评价议题所知有限,因此仅是贫乏的数据提供者。
第四代评价的重点是让所有的利益相关者参与到评价中,依据他们的预期利益形成应答式建构。第四代评价在英国良好开端项目评价的应用显示:在评判第四代评价质量的真实性标准中,公平可能是第四代评价中最难以满足的标准之一,因为它依据的前提是具有不同水平的谈判技巧、权力和获取相关信息的能力的利益相关者都应平等地参与到协商中。
许多委托者并不理解建构主义哲学,且他们可能重视以硬性资料呈现成果及评价统计显著性的报告,他们期望的报告系以相当独立观点为基础,免于参与者的利益冲突。所有利益相关者要共同分享荣耀、担当职责,这话说起来很简单,但实施却非易事,尤其对身处大学,实际上当其他人并不努力而有所成就时,自身却极为努力且表现良好的教师而言,更为困难。[16]在我国高等教育运行环境中,如何通过制度设计和评价规范体系的建设,对高等教育利益相关者进行授权,确保他们负责任地参与评价是需要深入研究的问题。
正像枯巴和林肯的观点那样,如果一个利益相关者不能自己成为同样熟练的谈判者,那么“所有方面应该使他们有机会成为熟练的谈判者”[17]。如果利益相关者开始没有拥有足够的知识和技巧,那么评价者就有必要训练他们,让他们达到所需要的最低水准。这一过程其实同时也实现了第四代评价的教育的目标。如果利益相关者缺乏处理所获信息的知识的技能,那就表明需要进行培训,这也是评价者要承担的责任。
在我国,高等教育评价中的矛盾和冲突促使我们反思当代已经陷入僵局的高等教育评价范式的适当性问题。在高等教育系统问责的压力持续上升,高等教育的发展理应是社会各方在相互交流与对话基础上所形成的共同愿景的体现。多元评价主体参与评价,其实也是政府、市场、高校等高等教育相关利益群体组织及社会个体成员所欲实现的共同愿景。在高等教育评价过程中,应该给予社会各方以参与的合法性地位与权力,这就需要有良好的协调培训计划,使之能够协助利益相关者,如管理者、学校董事会、家长和教师运用基于价值协商的评价方法。
“某种评价模式的产生和发展都受制于高等教育自身的发展,所以要在整个高等教育发展的大背景中正确理解评价实践,做出合理选择。”[18]价值协商机制的构建是实现评价范式转换的关键和核心问题,能否建立完善的协商机制,对于实现评价范式转换,解决评价中多元价值带来的矛盾和冲突具有决定性影响。我国高等教育评价协商机制的构建需要充分借鉴国际经验,更需要在我国社会、文化发展的大背景下进行考量,要充分考虑一定的社会环境、组织制度和文化背景等因素对构建评价协商机制的影响。
【注释】
[1]本案例相关素材主要来源于:(1)Huebner,Angela J. A constructivist approach to evaluation methodology:Implications for positive youth development,Ph.D.dissertation,The University of Arizona,1995;(2)Angela J. Huebner and Sherry C. Betts,(1999). Examining Fourth Generation Evaluation:Application to Positive Youth Development,Evaluation,7;Vol. 5:pp.340-358.
[2]徐传来.青少年正向发展[J].山东省团校学报,2008,(2):26-28.
[3]Angela J. Huebner and Sherry C. Betts(1999),Examining Fourth Generation Evaluation:Application to Positive Youth Development,Evaluation,vol. 5(3),pp. 340-358.
[4]Huebner,Angela J.(1995).A constructivist approach to evaluation methodology:Implications for positive youth development,Ph.D.dissertation,The University of Arizona,pp.109-110.
[5]本案例素材主要来源:(1)Glenn Finger&Neil Russell(.1994). School Evaluation Using Fourth Generation Evaluation:A Case Study,Evaluation Journal of Australasia,Vol.6,No.1,pp.43-54.(2)Neil Russell and John Willinsky(.1997).Fourth Generation Education Evaluation:The Impact of A Post-modern Paradigm on School Based Evaluation,Studies in Educational Evaluation,Vol.23,No.3,pp.187-199.
[6]Neil Russell and John Willinsky(1997).Fourth Generation Education Evaluation:The Impactof A Post-modern Paradigm on School Based Evaluation,Studies in Educational Evaluation,Vol.23,No.3,pp.192.
[7]本案例素材主要来源:Margaret Lay and Irena Papadopoulos.(2007).An Exploration of Fourth Generation Evaluation in Practice,Evaluation,Vol 13(4):pp.495-504.
[8]Egon G. Guba and Yvonna S. Lincoln.(1989).Fourth generation Evaluation,Newbury Park,CA:Sage,pp.247.
[9]Egon G.Guba and Yvonna S. Lincoln.(1989). Fourth generation Evaluation,Newbury Park,CA:Sage,pp.15.
[10]Tom O,Neill.(1995). Implementation Frailties of Guba and Lincoln,s Fourth Generation Evaluation Theory,Studies in Educational Evaluation,Vol.21,pp.5-21.
[11]Richard Laughlin and Jane Broadben(.1996). Redesigning Fourth generation Evaluation:An Evaluation Model for the Public-sector Reforms in the UK?Evaluation,10,vol. 2:pp. 431-451.
[12]Margaret Lay and Irena Papadopoulos(.2007).An Exploration of Fourth Generation Evaluation in Practice,Evaluation,Vol 13(4):pp.495-504.
[13]James L. Heap.(1995).Constructionism in the Rhetoric and Practice of Fourth Generation Evaluation,Evaluation and Program Planning,Vol. 18,No. 1,pp. 51-61.
[14]Tom O,Neill.(1995). Implementation Frailties of Guba and Lincoln,s Fourth Generation Evaluation Theory,Studies in Educational Evaluation,Vol.21,pp.5-21.
[15]Tom O,Neill.(1995). Implementation Frailties of Guba and Lincoln,s Fourth Generation Evaluation Theory,Studies in Educational Evaluation,Vol.21,pp.5-21.
[16][美]斯塔弗尔比姆等著,苏锦丽译.评估模型[M].北京:北京大学出版社,2007:86-87.
[17]Egon G.Guba and Yvonna S. Lincoln.(1989). Fourth generation Evaluation,Newbury Park,CA:Sage,pp.247.
[18] 赵婷婷,张彦通.高等教育评价模式的理论探讨[J].高等教育研究,2008,(1):38-45.
免责声明:以上内容源自网络,版权归原作者所有,如有侵犯您的原创版权请告知,我们将尽快删除相关内容。