系统的技术构架

三、BI系统的技术构架

（一）BI系统的体系结构

BI系统的一般性工作流程包括：从异构数据源中提取与所分析问题相关的数据；对数据进行清理以保证数据的正确性；将数据进行转换、重构后存入数据仓库；寻找合适的查询和分析工具、OLAP工具和数据挖掘工具对信息进行处理，使得信息变为辅助决策的知识；最后将知识呈现于用户面前，转变为决策。这一过程涉及大量的方法、工具和技术。但是从总体的体系结构来看，BI系统可大致划分为数据仓库、数据分析与挖掘工具（决策支持工具）、具体应用等几大部分，如图6-1所示。

图6-1　BI系统体系结构

资料来源：邵贵平：《商务智能系统》，载《现代计算机》，2003年，第2期，第46～48页。

从图6-1的底端向上看，BI系统的体系结构包括以下几个部分：

1．可操作的和外部的数据

即数据源，为数据仓库提供原始的数据来源，可以是关系型数据库、多维数据库，也可以是一些非结构化的数据。

2．数据仓库模型和构造工具

数据仓库的建模是数据仓库实施中的重要一环，它能直接反映出业务部门的需求，同时对系统的物理实施有着重要的指导作用。构造工具则是将数据仓库由模型实施为实际系统的软硬件工具，这些工具从操作系统和外部数据源系统中捕捉数据，经过数据加工和转换，最后将数据装载进全局的或部门级的数据仓库（数据集市）。

3．数据管理

管理终端用户感兴趣的商业信息。一般采用三层信息存储，最高层次是数据仓库，数据仓库中集成了企业全局的商业信息；中间级是数据集市，也叫做部门级数据仓库，存储了某个商业单位、用户组或部门的商业信息，这些数据集市可以直接建立在企业操作系统的基础上；结构的最低层次存储了根据用户和应用需求裁剪后的信息。

4．访问工具

访问工具包括应用接口和中间件，其功能是为客户工具提供访问、处理数据和信息的接口。中间件包括数据库中间件和Web服务器中间件等，数据库中间件允许客户透明地访问后台的各种异构数据库服务器，Web服务器中间件则允许Web客户连接到数据库中。

5．决策支持工具

包括从基本查询和报表生成到先进的在线分析处理再到数据挖掘工具等各种各类的工具。这些工具一般都支持GUI客户界面，许多工具也可以在Web界面上使用。目前，这些工具大多只能处理数据库产品里的结构信息，未来发展趋势是可以处理文件系统、多媒体，甚至邮件或Web服务器上的复杂的和非结构化的信息。

6．BI应用

这里的应用指的是针对不同行业或应用领域的、经过裁剪的、完整的BI解决方案软件包。这些软件包依赖于BI结构中其他部分的相应产品，如数据仓库、决策支持工具等。

这一结构，反映了BI系统的基本组成要素以及各要素之间的依赖关系，首先必须有数据源，其次要有数据仓库模型和构造工具建立数据仓库，并把数据源中的数据装载进数据仓库，接着要对数据进行管理，并提供数据访问接口和中间件，以便对数据仓库中的数据进行访问，决策支持工具通过访问接口和中间件获取、分析数据，在这些工具的基础上，有针对性地开发出BI解决方案软件包作为具体应用。

（二）BI的基本实现过程

BI系统的体系结构已经蕴涵了其实施和运作的基本过程，图6-2是这一过程的具体化。它包括数据预处理、建立数据仓库、数据分析及数据展现四个主要阶段。

图6-2　BI系统的基本实现过程

资料来源：吴斌：《亮点BI：商业智能的技术与实践》，载《中国计算机用户》，http://industry.ccidnet.com/art/861/20040203/88412_1.htm l. 2004年。

1．数据预处理与ETL

BI系统的数据源通常是若干个互相独立的、互不兼容的、复杂的源数据系统，因此，需要依照合理的方式整合源数据系统，将源数据统一存储在以企业逻辑模型构建的ODS（可操作数据存储系统）中，这就是数据预处理。在数据预处理阶段，主要进行的是数据的抽取、转化和装载（Extract，Transform，Load——ETL）核心工作。数据抽取（E）是创建企业智能过程的第一步，考虑到数据以多种格式保存在众多平台和服务器上，有效、完整地访问全部相关企业数据是所有其他步骤的基础。转换（T）是为了加载到数据仓库而准备数据的一系列工作。通常认为它占数据仓库工作的80%，它涉及很多步骤，尤其是数据质量监视。如果数据质量有问题，那么企业用户和决策者将对分析结果持怀疑态度。加载（L）是将数据存储到物理仓库以供未来使用的流程。总之，ETL负责将数据从业务系统或外部系统中抽取、转换和处理成数据仓库需要的格式和形态，并在规定的时间装入到数据仓库中去。

2．建立数据仓库

数据仓库的设计大体上可以分为以下几个步骤：

●概念模型设计：所要完成的主要工作包括界定系统边界，确定主要的主题域及其内容；

●技术准备工作：包括技术评估——确定数据仓库的各项性能指标，技术环境准备——主要是确定对软硬件配置的需求；

●逻辑模型设计：包括分析主题域，确定当前要装载的主题，确定粒度层次划分，确定数据分割策略，关系模式定义，记录系统定义；

●物理模型设计：这一步所做的工作是确定数据的存储结构，确定索引策略，确定数据存放位置，确定存储分配；

●数据仓库的生成：在这一步里所要做的工作是接口编程，数据装入；

●数据仓库的使用和维护。

3．数据分析

数据分析是体现系统智能的关键，是BI系统精华之所在。一般采用联机分析处理和数据挖掘两大技术。联机分析处理不仅进行数据汇总/聚集，同时还提供切片、切块、下钻、上卷和旋转等数据分析功能，用户可以方便地对海量数据进行多维分析。数据挖掘的目标则是挖掘数据背后隐藏的知识，通过关联分析、聚类和分类等方法建立分析模型，预测企业未来发展趋势和将要面临的问题。这两项技术在前节已经具体介绍，此处不再赘述。

4．数据展现

数据展现主要用于系统分析结果的可视化，采用直观的形象，如饼图、曲线图、报表等显示分析结果，以便于用户理解。作为一个前端工具，根据使用者的不同，数据展现还可以划分为不同的系统，例如：面向高层决策者的主管信息系统（EIS）；为各层决策者服务的即席查询系统（Ad Hoc）；为报表服务的灵活报表系统（Reporting）。随着技术的发展，数据展现的使用方式也越来越灵活多样，比如客户/服务器模式或浏览器模式。

概括起来，BI系统的基本工作过程就是，从数据源中获取基本数据，对数据进行预处理和适当组织后载入数据仓库，利用构建在数据仓库之上的决策分析工具（例如OLAP、数据挖掘等），对数据仓库中的数据进行分析、知识挖掘，然后把所获得的结果直观地展示给用户。