效果评估的方法学

第一节　效果评估的方法学

效果评估是一个很宽泛的概念。本研究对干预方案实施后的效果评估是结果评估，属事后评估的范畴。本研究的效果评估采用的是历史自身对照法，评估的内容包括服务量、服务效果、服务效率、病人满意度等，评价方式采用单指标比较和多指标比较法。

此处，对病人满意度及多指标比较法进行解释。

一、病人满意度

病人有内部病人和外部病人两层含义。内部病人包括医院专业技术人员，医院雇员和管理者；外部病人则指病人、他们的家人、朋友和医疗费用支付者（第三方）。全面质量管理，就是要使所有的病人满意，达到他们的期望。

1.利用病人信息的必要性

研究病人，就可以把握病人反应和需求的脉搏。对医院服务病人满意度评价的必要性，表现在：在病人眼中，质量到底意味着什么？这可以通过调研来获得；病人是获得服务中的人际交流方面信息的最好来源，病人也可以提供一些门诊的质量信息（传统方法较难获得）；获得病人满意度方面的数据，比较经济；病人满意度评价是质量评价和保证的重要信息。

2.病人满意度评价的方法

收集数据的主要方法有自填问卷、直接观察、参与观察、电话或信函调查、专题组访谈、半结构访谈、结构访谈、开放式访谈、特殊事件访谈和内容分析（投诉信或感谢信）。这些方法可以结合在一起使用。

3.病人满意度评价的步骤

（1）设定目标：决定评价的目的，谁是病人？内部还是外部？谁是组织者？谁收集数据？为谁的决策提供信息？

（2）选择方法：根据评价的目的，结合评价方法的优缺点，选择适当的方法。

（3）设计数据收集的工具：调查表是常用的方法，但调查表的设计必须经过周密的设计，调查时间的确定也很重要。要避免调查表的测量误差，就必须保证其信度和效度。调查要注意既全面深入，又要简捷方便。因此，问卷经常使用选择题，辅以开放问题。在对病人调查的时间选择上最好是在病人接受完服务，即将离开医院之时，减少病人不必要的顾虑。在调查员的选择上，必须注意调查员代表调查组织者的观点和利益。

（4）数据收集和存储：数据收集和录入工作力求准确。调查员都必须经过培训，数据收集过程中，调查员要给病人或调查对象以宽松的气氛，不能诱导回答。

（5）数据分析和报告：数据分析中，可以从描述和深入分析两方面处理。报告要层次清楚，突出重点，比如目前医生服务质量的现状如何，成绩和缺点是什么，如何解决。

（6）信息转化为行动：对调查暴露出的问题的快速反应是持续质量改善的基本方面。

4.结果解释中的注意点

（1）影响因素：尽管病人满意度是诊断医院医疗服务质量的一个令人满意的指标，但有研究表明，病人的年龄、文化程度、职业、就诊科室对满意度得分有一定影响。因此在进行结果解释时要考虑这些影响因素。

（2）样本量的大小：由于在对病人满意度的调查中，通常是采用抽样调查的方法，即通过对总体中随机抽取出来的样本进行研究来推论总体。当样本太小时，就难以获得正确的研究结果，这样就会有抽样误差产生。也就是由于样本量的关系，样本的结果并不能很好地反映总体的情况。除此之外，抽样时是否随机化也是一个值得考虑的因素。

（3）系统误差：除了抽样误差外，还可能存在系统误差。例如进行调查的时点，若在病人住院期间进行调查，一般所得的满意度都较高；调查员若是本院职工，对本院有深厚的感情，在潜意识中可能认为本院的服务质量很好，那他在进行调查时可能就会对被调查者有一定的诱导性，而他所调查的结果可能就会优于现实情况。这些系统误差一般是可以避免的。

二、多指标比较法

本研究选用逼近理想解排序法（technique for order preference by similarity to ideal solution，TOPSIS），对干预前后的综合效果进行比较。

TOPSIS意为与理想方案相似性的顺序选优技术，借助于一个多指标决策问题的理想解和负理想解去排序，若其中有一个解最靠近理想解，同时又最远离负理想解，则这个解应是方案中的最好解。

TOPSIS的评价步骤如下。

（1）建立数据矩阵，使指标具有同趋势性。首先确定各组的各指标值。其中像出入院诊断符合率、治愈率为高优指标，像平均住院天数、病种成本等为低优指标。为达到同趋势要求，将高优指标用倒数法转换为低优指标（为减少计算误差，倒数值乘以100）。转化后的数据矩阵记为x。

（2）数据归一化，归一化后的数据矩阵记为Z。

原始数据归一化公式

式中，i＝1，2表示组别；j＝1，2，3…，表示各指标。

（3）确定各评价指标最优值和最劣值，构成最优值向量Z＋和最劣值向量Z^－。

Z^＋＝min｛Z_i1，Z_i2，…Z_ij｝Z^－＝max｛Z_i1，Z_i2，…Z_ij｝

（4）计算各评价单元指标值各最优值、最劣值的距离（D＋_i和D－_i）及与最优值的相对接近程度（C_i）。按接近程度大小对各评价单元优劣进行排序，C值越大，表明越接近最优水平。