信息集成技术

第七节　信息集成技术

从系统的角度来分析，物流信息技术是将多种信息技术集成为一体化物流管理体系。相关的技术包括信息标准化技术、信息编码技术、信息标识技术、信息识读技术、信息传输技术、信息处理和信息跟踪技术等。通过信息集成、过程优化及资源优化，实现数据共享，以及信息识读、传递、处理和跟踪。信息集成强调的是整体观念，它是从信息集成和系统优化的角度提出来的，因而表现出系统化、信息化、集成化、网络化、虚拟化、智能化等特征。

现代物流信息系统的集成将以往孤立的单项系统的功能和要素，按照系统论的观点进行集成优化管理。系统集成技术针对大量存在的自动化孤岛，力图实现信息准确、高效的共享和交换，这是改善物流技术和管理水平的首要问题。以往的商务信息交流，通常通过信件、电报、电话、传真等进行，这样除了会由于信息的格式不一致而使信息难以集成、共享外，信息还不能为供应链合作伙伴所直接利用和处理，核心企业也难以及时获得有关信息。信息集成技术的实施，使信息的交换不仅限于数据的交换，而且包含了全行业的信息集成和共享。对于从事运输、货物分拨、信息交换及供应链供货的企业来说，信息集成技术是一种极为方便的工具。

图9-7　面向物流信息集成的体系结构

图9-7所示为一种典型的对异构关系数据与XML等非结构化数据提供统一的访问与管理的无缝集成体系结构。

数据元层提供结构化（如关系表）、半结构化（如XML文档）与非结构化（如字节流、扫描文档）的数据元。这些数据元来自各个物流企业与其他相关机构。

数据整合层则提供来自基本数据元层的不同数据格式数据的存储、检索与转换。该层应能够将数据存储为结构化、半结构化与非结构化的格式，并能提供方便的检索功能。此外，在这一层中应能集成外部数据元，这些数据元同样可能是各类结构化、半结构化与非结构化数据。该层是本体系结构的核心部分。

集成服务层是从内容管理系统和企业集成应用程序中抽取的，用以提供将数据访问服务透明地潜入企业应用程序和业务过程的基础结构，涉及查询处理、文本搜索和挖掘、版本控制与元数据管理、数据资产管理、转换、复制和高速缓存技术。

应用程序接口层对数据整合层和集成服务层提供丰富的服务和数据集，提供基于标准的编程接口（如传统的编程接口ODBC、JDBC和基于web service的接口）和查询语言（如针对XML的查询语言X query），为数据整合层和集成服务层提供一套丰富的业务和数据处理功能。

应用程序层给物流各相关企业、相关机构和相关客户提供各类应用服务。

面向物流信息集成的关键技术主要包括数据库与数据仓库技术、XML技术。在本节中主要介绍数据库与数据仓库技术。

一、数据库

数据库是按照数据结构来组织、存储和管理数据的仓库。随着信息技术和市场的发展，特别是20世纪90年代以后，数据管理不再仅仅是存储和管理数据，而转变成用户所需要的各种数据管理的方式。数据库有多种类型，从最简单的存储有各种数据的表格到能够进行海量数据存储的大型数据库系统，都在各个方面得到了广泛的应用。数据库中的数据的性质具有数据整体性和数据共享性。

数据整体性是指数据库是一个单位或是一个应用领域的通用数据处理系统，它存储的是属于企业和事业部门、团体和个人的有关数据的集合。数据库中的数据是从全局观点出发建立的，它按一定的数据模型进行组织、描述和存储。其结构基于数据间的自然联系，从而可提供一切必要的存取路径，且数据不再针对某一应用，而是面向全组织，具有整体的结构化特征。

数据共享性则是指数据库中的数据是为众多用户共享其信息而建立的，已经摆脱了具体程序的限制。不同的用户可以按各自的用法使用数据库中的数据；多个用户可以同时共享数据库中的数据资源，即不同的用户可以同时存取数据库中的同一个数据。数据共享性不仅满足了各用户对信息内容的要求，同时也满足了各用户之间信息通信的要求。

二、数据仓库

数据仓库是一个面向主题、集成、时变、非易失的数据集合，可以用于管理部门的决策过程。根据该定义，数据仓库具备以下四个关键特征。

1．面向主题的数据集合

数据仓库通常围绕一些主题，如“产品”、“销售商”、“消费者”等进行组织。数据仓库关注的是决策者的数据建模与分析，而不针对日常操作和事务的处理。因此，数据仓库提供了特定主题的简明视图，排除了对于决策无用的数据。

2．集成的数据集合

数据仓库通常是结合多个异种数据元构成的，异种数据元可能包括关系数据库、面向对象数据库、文本数据库、Web数据库、一般文件等。

3．时变的数据集合

数据存储从历史的角度提供信息，数据仓库中包含时间元素，它所提供的信息总是与时间相关联的。数据仓库中存储的是一个时间段的数据，而不仅仅是某一个时刻的数据。

4．非易失的数据集合

数据仓库总是与操作环境下的实时应用数据物理地分离存放，因此不需要事务处理、恢复和并发控制机制。数据仓库里的数据通常只需要两种操作，即初始化载入和数据访问，因此其数据相对稳定，极少或根本不需更新。

综上所述，数据仓库是一种语义上一致的数据存储，它充当决策支持数据模型的物理实现，并存放企业战略决策所需信息。数据仓库也常常被视为一种体系结构，通过将异种数据元中的数据集成在一起而构成，支持结构化和专门的查询、分析报告和决策制定。

数据仓库的类型根据数据仓库所管理的数据类型和它们所解决的企业问题范围，一般可分为三种类型：企业数据仓库（EDW）、操作型数据库（ODS）和数据市集（data mart）。

企业数据仓库为通用数据仓库，它既含有大量详细的数据，也含有大量累计的或聚集的数据，这些数据具有不易改变性和面向历史性。此种数据仓库被用来进行涵盖多种企业领域上的战略或战术上的决策。

操作型数据库既可以被用来针对工作数据作决策支持，又可用做将数据加载到数据仓库时的过渡区域。与EDW相比较，ODS有一些特点：面向主题和面向综合；易变；仅仅含有目前的、详细的数据，不含有累计的、历史性的数据。

数据市集是数据仓库的一种具体化，它可以包含轻度累计、历史的部门数据，适合特定企业中某个部门的需要。几组数据市集可以组成一个EDW。

随着数据仓库的发展，软件工具升级相当快，新产品也层出不穷。为了便于追踪其技术发展和更好地选择相关的工具，数据仓库的构造者应该广泛地收集这方面的文件和数据，以便作出最佳的选择。

传统的关系型数据库RDB遵循一致的关系型模型，其中的数据（记录）以表格的方式存储，并且能用统一的结构化查询语言（structual query language，SQL）进行数据查询，因此它的应用常被称为联机交易处理（OLTP），其重点在于完成业务处理，及时给予客户响应。关系型数据库能够处理大型数据库，但不能将其简单地堆砌就直接作为数据仓库来使用。数据仓库主要工作的对象为多维数据，因此又称为多维数据库。多维数据库的数据以数组方式存储，既没有统一的规律可循，也没有统一的多维模型可循，它只能按其所属类别进行归类。就应用而言，多维数据库应该具备极强的查询能力，多维数据库中存储的信息既多又广，但由于其完成的是一种联机分析处理（OLAP），并不追求瞬时的响应时间，在有限的时间内给予响应即被认可。实际上，OLAP包含交互式的数据查询，伴随着多种分析方法，例如下钻或成功地钻入最底层的细节信息上。因此，数据仓库中的信息，尽管是多维的，但是仍然可以用具体的表格表示。尽管数据仓库与传统数据库之间存在着如此大的差异，但设计数据仓库并不是完全另起炉灶，而是可以利用现有的传统处理数据，从中进行信息的综合，从而构造出满足不同需求的数据仓库，即数据从动态的、目前事件驱动的传统工作数据流向静态的、历史性质的数据仓库。从理论上说，从工作数据中战略性地引入到期的数据可以完成这种转变，但是由于受到实际存储容量和技术的限制，这实际上是不可能的。因此，必须从工作数据中分离和筛选数据进入数据仓库中。鉴于以上各种因素，为保证OLAP的性能，必须将数据仓库和传统工作的数据相分离。