方法评估流程

本章基于群决策、多目标决策和数据挖掘理论与方法,结合领域知识和专家经验,充分发挥交叉学科的综合优势,对数据挖掘方法评估问题展开深入的探讨和研究。同时,在数据挖掘领域,许多学者将注意力集中在开发新的方法和模型上,很少对挖掘出的结果进行进一步处理,使得用户不能很好地理解它们,造成知识及数据资源的无形浪费。因此,本书结合领域知识、专家经验,基于多目标决策对数据挖掘方法的评估问题进行深入的研究,开展基于多目标决策的数据挖掘的二次挖掘和知识发现,以增强挖掘结果的易理解性与实用性。本章建立的方法评估理论框架进一步归纳、总结和升华,包括三大阶段和六大模块。

在三大阶段中,该方法评估理论框架包括数据挖掘阶段、多目标决策阶段和二次挖掘阶段。具体含义如下:

在第一阶段,也就是数据挖掘阶段。数据挖掘是从大量的、不完全的、有噪声的、模糊的、随机的数据中,提取隐含在其中的、人们事先不知道的、潜在有用的信息和知识的过程［58］。数据挖掘能够针对大量业务数据进行抽取、转换和分析处理,从中挖掘出有价值的、隐含的、潜在的商业机遇［8］。在这里,数据挖掘阶段包括确定目标问题空间、明确数据挖掘任务和从数据挖掘方法库中选择适合目标问题的研究方法。

在第二阶段,也就是多目标决策阶段。多目标决策是运筹学的一个活跃的且具有挑战性的分支领域。多目标决策依据决策背景,综合考虑多个相互间可能存在分歧甚至矛盾的评价指标,对多个备选方案进行选优和排序。多目标决策的核心要素为建立决策指标体系,确定准则权重和选择多目标决策方法。全面、科学、合理地建立评价准则指标体系,选择多个多目标决策方法,确定准确可靠的权重,是提高决策方法精度和有效性的关键步骤,是增强评估结果准确性和可信度的核心要素。在这里,多目标决策阶段包括全面、科学、合理地建立评价准则的指标体系,确定准确可靠的权重和从多目标决策方法的方法库中选择合适的研究方法。

在第三阶段,也就是二次挖掘阶段。通过结合领域知识、专家经验,基于多目标决策阶段专家共识的研究结果,进行进一步更深层次地分析和知识发现,力图识别出潜在的模式与规则,并进行直观和有效的可视化展示,增强用户的可理解性,以提升挖掘结果的准确性与实用性。

在六大模块中,该方法评估理论框架包含目标问题空间模块、数据挖掘任务类型模块、数据挖掘方法库模块、性能指标体系模块、多目标决策方法库模块、二次知识发现模块。具体的模块设计如下:

(1)目标问题空间模块。目标问题空间界定了决策问题的理论研究基础。目标问题空间需要明确决策问题的评估对象、候选方案、待评估的目标数据集以及领域知识和专家经验的指导优势。其中针对待评估的目标数据集,需要分析和了解数据的自有特征,并进行数据预处理,包括数据清洗、数据集成和数据变换等。数据预处理阶段是关系数据挖掘方法性能优劣的最基础、最重要的一环。

(2)数据挖掘任务类型模块。数据挖掘理论体系包括六大任务类型:概念/类描述,挖掘频繁模式、关联和相关,分类和预测,聚类分析,离群点分析和演变分析［58］。这六大任务类型是数据挖掘的核心研究内容。根据目标问题空间和数据自有,结合领域知识和专家经验,研判数据挖掘任务,明确研究的大致方向。

(3)数据挖掘方法库模块。数据挖掘技术经过二十多年的迅猛发展,已经开发和设计出了大量的新方法和新模型,建立了一个庞大的方法库。如何从庞大的方法库中选择合适有效的评估方法或模型,是科学研究任务中需要首先解决的难题。因此,结合上述两个模块的理论研究成果,充分发挥领域知识和专家经验的行业背景优势,识别出最恰当的方法和模型。如当面对信用风险问题时,如何从方法库中科学准确地选择信用风险评估方法呢?通过结合领域知识和专家经验,可知研究信用风险问题时,最为关键的是信用评分模型的确定,而最为有效的信用评分模型则是分类方法,如贝叶斯分类方法、决策树分类方法、神经网络分类方法、k最近邻分类方法、支持向量机分类方法等［23－27］。

(4)性能指标体系模块。科学全面的性能指标体系,是保障抽象化目标得以实现的具体化度量。性能指标体系模块是度量方法和模型性能优劣的最可靠保证,也是研究者衡量方法和模型绩效的最核心标准。评估时,应充分考虑科学性、全面性、可获得性和代表性原则,建立性能评估指标体系。

(5)多目标决策方法库模块。多目标决策方法从20世纪70年代以来,得到了很多学者的关注,并取得了很大的发展。多目标决策理论拥有一个庞大的方法体系库,并且确立了多种经典的多目标决策方法,如层次分析法、数据包络分析法、逼近于理想解的排序方法、选择转换本质法、偏好顺序结构评估法、灰色关联分析法、简单线性加权求和法、多准则妥协解排序法等。

(6)二次知识发现模块。二次知识发现模块是对初步的评估结果进行更为深层次的分析和知识发现,目的在于提高领域知识、专家经验在数据挖掘项目管理和评估中的作用,缩小数据挖掘结果表达力与用户理解力之间的差距,并进行直观且有效的可视化展示,以提高挖掘结果的可理解性和实用性。