大数据的影响_胡涵清：大数据时代来临

胡涵清

（北京工业大学博士）

一、大数据时代来临

随着社会经济的发展和科学技术进步，特别是信息技术的迅速进步，大数据、云计算，已经称为互联网、物联网之后的新兴产业革命重要构成部分之一。不仅数据规模巨大，而且质量不断提高，其内容和形态日益丰富、复杂。图形、表格、视频和各种活动需求，已经成为数据的重要形态。大数据挖掘、分析成为人类生产、生活的重要内容，大数据时代已经到来。据预测，大数据在未来几十年内将成长为一个战略支柱产业。大数据产业的发展极具意义，随着更多有价值的数据从海量数据中被发掘出来，将会产生许多新的商业形态、新的业务模式和新的服务模式。

大数据处理正在成为新时代的信息电厂，成为知识经济的基础设施。从海量数据中提取有价值的信息，数据分析使数据变得更有意义，并将影响政府、金融、零售、娱乐、媒体等各个领域，带来革命性的变化。

大数据将丰富我们对世界的认识。从定量、结构的世界，到不确定、非结构的世界。这个转变，使我们得以了解真实信息，提高决策水平，当社会对自然的数据有较为完善、随时的分析能力时，我们对事件的把握及预测能力便增强。以云计算为基础的信息存储、分享和挖掘手段为知识生产提供了工具，通过对大数据分析、预测会使得决策更为精准，这对现阶段的中国尤其重要。

在中国，移动互联网、电子商务、物联网以及社交媒体的快速发展也已经使我们进入了大数据时代。中国有着庞大的人群和应用市场，复杂性高、充满变化，如此庞大的用户群体，使中国成为世界上拥有最大数据的国家。将对中国的经济社会发展和人民的政治活动与人常生活产生巨大影响，提出严峻挑战和机遇，迫切需要我们研究、掌握机遇，迎接挑战。解决这种由大规模数据引起的问题，探索以大数据为基础的解决方案，是中国产业升级，效率提高的重要手段。

二、大数据的技术组成及其实质

由于大数据在数据的规模、形式和内容等方面都发生了很大的变化与发展，因而其技术构成就较传统技术复杂得多，也先进得多。大数据技术构成可归纳为以下几部分：

数据采集。包括数据挖取、转换和集中，即由加载工具软件把分散的异构数据源中的数据抽取到中间层后进行清洗、转换、集成，最后加载到数据仓库或数据集市中，成为联机分析处理、数据挖掘的基础。

数据存取。即从各类数据库中将数据抽取出来供处理、分析。

架构形成。即将海量数据形成各种类型的存储，可进行云存储、分布式文件存储等。

数据处理。为此，首先要解决让计算机理解（读懂）自然语言，它一方面是语言信息处理的一部分，另一方面，它也是人工智能的核心保证之一。

统计分析。需要采用各种回归技术方法对大数据进行分析，包括用不同的假设检验、显著性检验、差异分析、相关分析、T检验、方差分析等回归技术方法，以发掘事物运作的内在规律。

数据挖掘。包括分类、估计、预测、相关性分组或关联规则、聚类、描述和可视化，复杂数据类型挖掘（例如Text、Web、图形图像、视频、音频等）。

模型预测。即预测模型、机器学习、建模仿真等。

结果呈现。即云计算、标签云、关系图等。

通过上述大数据技术组成描述可见，大数据技术主要应用于非物质事件的信息处理，并不涵盖物质性因素等硬件部分。但是，通过把这些信息变成无形资产，却可极大地提高物质因素的自我价值。由此可知，“大数据”的实质是一种“对数据进行管理的数据”。面对日益多元化的生产系统，人们无力去管理每一个数据源，而要根据这些数据的属性，创建不同的管理类型。这种对数据分门别类的管理，已经超过人类目前看到或感到的客观事实。因为无论来自哪个方向的客观事实，都能够让人们能够超越过去的时空，去探索该事物表象背后的未来趋势与动态，然后再据此预测未来。

因此，“大数据”会像其他生产要素那样成为经济运行中的决策重要信息资源，为未来技术革命创造了不可缺少的资源环境。

三、大数据对信息产业影响

大数据的热潮兴起于新一代信息技术的融合发展，物联网、移动互联网、数字家庭、社会化网络等应用使得数据规模快速扩大，对大数据的处理和分析的需求日益旺盛，推动了大数据领域的发展。反过来，大数据的分析、优化结果又反馈到这些应用中，进一步改善其使用体验，支撑和推动新一代信息技术产业的发展，并将为信息产业带来新的增长点。据国外预测，全球数据在2015年将达到10万亿TB。面对爆发式增长的海量数据，基于传统架构的信息系统已难以应对，同时传统商业智能系统和数据分析软件面对以视频、图片、音频等非文字的非结构化数据为主的大数据时，也缺少有效的分析工具和方法。信息系统普遍面临升级换代的迫切需求为信息产业带来新的、更为广阔的增长点。

同时，大数据将加速信息技术产品的创新融合发展。大数据面临着有效存储、实时分析等挑战，必将对芯片、存储产业产生重要影响，将推动一体化数据存储处理服务器、内存计算等产品的升级创新。对数据快速处理和分析的需求，将推动商业智能、数据挖掘等软件在企业级的信息系统中得到融合应用，成为业务创新的重要手段。

四、大数据对经济领域影响

大数据作为一种重要的战略资产，已经不同程度地渗透到每个行业领域和部门，其深度应用不仅有助于企业经营活动，还有利于推动国民经济发展。麦肯锡研究表明，在医疗、零售和制造业领域，大数据可以每年提高劳动生产率0.5—1个百分点。

在宏观层面，大数据使经济决策部门可以更敏锐地把握经济走向，制定并实施科学的经济政策。事实表明，电子商务集团阿里巴巴就从其掌握的大量交易数据中更早发现了国际金融危机的到来，而其基于每天实时交易数据提供的数据分析，也为制定并实施经济政策提供了重要参考。联合国发起的“全球脉动”（GlobalPulse）项目，使用自然语言解密软件分析社交网站和文本消息中的信息，从而帮助预测某个地区的失业率、支出削减或是疾病爆发等现象，目标在于利用数字化的早期预警信号来提前指导援助项目，以阻止某个地区重新陷入贫困等困境。

在微观方面，大数据可以提高企业经营决策水平和效率，推动创新，给企业、行业领域带来价值。

一是增加收入。零售商可通过对海量数据的实时分析掌握市场动态并迅速做出应对，通过精准营销增加营业收入。

二是提高效率。在制造业，通过整合来自研发、工程和制造部门的数据以便实行并行工程，可以显著缩短产品上市时间并提高质量；在市场和营销方面，大数据能够帮助消费者在更合理的价格范围内找到更合适的产品来满足自身的需求，提高附加值。

三是推动创新。企业可从产品开发、生产和销售的历史大数据中找到创新的源泉，从客户和消费者的大数据中寻找新的合作伙伴，以及从售后反馈的大数据中发现额外的增值服务，从而改善现有产品和服务，创新业务模式。

大数据的影响对于经济信息统计和指导政策制定都有促进作用。简单地讲，相对于传统经济统计而言，大数据引发的变革主要表现在四个方面：更快、更准、更广、更细。这些特性有益于未来行业政策和宏观经济决策。

四是大数据可使企业的生产经营更加智能。例如服装企业，通过对来自门市店铺的大量消费者行为数据、网上得到的体验数据，以及社交网络消费者评价等大数据进行分析，就能迅速响应需求，然后科学研发、精准营销。当大多数行业能够这样做，将大大促进我国经济从“中国制造”向“中国创造”转型。

当前，一场以大数据为核心的商业变革正在兴起。从搜索引擎、社交网络、电子商务平台等IT企业，到电信运营商、航空公司、物流企业，再到医院、超市、饮料制造等传统企业，由大数据引发的商业变革如火如荼。众多的企业实践和研究案例表明，数据分析在广度和深度上的拓展能够帮助企业增强竞争力，提升盈利能力。不过大数据对经济的影响绝不仅仅停留在微观企业层面和商业领域，它在经济信息统计和指导经济政策制定等方面也将发挥重要作用。

（1）大数据让信息统计更快、更准、更广、更细

随着计算机和互联网的普及和电子商务的发展，越来越多的经济行为被记录下来。传统意义上，经济统计一般只细分到产品、行业层面，通常以月为频率；条形码出现后，记录可以具体到每一次交易行为；而对于淘宝、亚马逊等网上购物平台，能被记录的则不仅仅是交易行为，还包括消费者从搜索、对比、选择、购买、一直到售后评价等一系列操作都会被记录。事实上，电信、医疗、物流等其他行业，都在实现更详尽的记录。

传统的经济统计工作在未来将大数据化——以往生产统计更多地停留在行业层面(或局限于规模以上企业)，而未来可能是针对所有企业；传统的消费统计主要基于抽样调查，而未来可能具体到每个家庭或个人；传统的价格统计(比如通常所说的“CPI”指数)中仅包含千种商品、涉及几万个调查销售网点，而今后可能是几万种商品、所有的在线销售商和大部分线下销售网点。随着大数据技术的成熟，“样本即总体”将成为趋势，抽样变得越来越不重要。

相对于传统经济统计来说，大数据引发的变革主要在四个方面：时效性提高，记录更加准确，覆盖的经济行为面更广，对单次经济行为的记录更加精细。简单地讲就是：更快、更准、更广、更细。

麻省理工大学斯隆管理学院的两位教授正在主持一项名为“百万价格工程”的研究计划。他们通过搜集互联网上不同国家各种零售商品的价格数据，编制了各国的“在线价格指数”。

谷歌和百度先后推出了基于互联网搜索频率的“谷歌指数”、“百度指数”，将互联网用户对特定关键词的搜索量通过统计学方法编织成指数，用来反映大众对于该关键词关注度的变化趋势。

阿里巴巴推出了基于淘宝电商平台的“iSPI”系列指数，这些指数以网络交易的实时数据为基础，能够反映食品、烟酒及其他用品、衣着等十多个商品和服务类别的网络零售价格和交易量的变化趋势；可以辅助洞悉通货膨胀、经济增长、居民消费等宏观经济指标。

（2）大数据能指导经济政策制定

传统经济统计数据有两个缺陷：一是存在滞后性，二是低频率。而大数据可以在这些方面作出改进。例如：各国消费者物价指数(CPI)的发布一般都存在滞后期，以我国为例，通常要等到下个月的9号左右才发布上月CPI数据；而“在线价格指数”是对市场价格的实时跟踪和汇总，不存在滞后性，从而能为货币政策提供更为及时的信息。

同时，在线价格指数可以做到以天为频率、甚至更高频率，从而能用来更细致地分析通货膨胀规律和定价行为。还有研究发现，该指数与资本市场走势具有相关关系。

另外，传统经济统计的思想是以样本表征总体，可能出现偏差。而大数据时代的经济信息统计包含的样本量大，甚至可以覆盖全部总体，从而包含更多的信息量。例如，通过对比在线价格指数和官方CPI可以发现：美国的在线价格指数与官方发布的CPI契合地很好；而对于阿根廷，在线价格指数系统性地大幅高出官方发布的通货膨胀率。

在行业层面，大数据也能发挥作用。互联网搜索引擎频率数据对中国汽车市场的需求量具有很强的预测力；构建的基于互联网搜索量的“中国汽车需求先导景气指数”不仅能够提高销量预测的精度，还能够增强预测的时效性。

又如，国家为了防治艾滋病，需要掌握艾滋病的分布情况，过去采用传统的问卷、现场采访等传统的手段，既费人力、物力，又不够准确和及时。利用大数据分析，就可以实时地了解艾滋病的分布情况和严重程度，政府就可以及时地合理分配资源。

另外，随着大数据相关技术的成熟，公共部门和私人企业过去积累的大量“垃圾”数据有可能重新焕发光彩。比如用微观居民和企业用电量数据指导智能电网建设、用交通事故和犯罪数据指导警力布局、用消费和税收数据指导收入分配、用客流量数据指导铁路和民航调配、用互联网关键词传播数据进行流行病预防等等。

（3）补充而非替代

需要指出的是，大数据之于传统经济统计，是补充，而非替代。基于抽样、调查、汇总等程序获得的数据仍将在经济分析和政策制定中发挥重要的作用。横向来看，传统统计方法在经济增长、税收、贸易、收入分配等领域的统计上具有主导优势，而大数据在物价、通货膨胀、失业率、消费等方面的统计上更具有优势。

五、大数据对社会发展的影响

“大数据”一词被越来越多的人提到。从表层意义上看，人们用它来描述和定义信息爆炸时代产生的海量数据。实际上，“大数据”的渗透能力远超人们想象，不管是在物理学、生物学、环境生态学等领域，还是军事、金融、通信等行业，数据正在迅速膨胀，没有一个领域可以不被波及。“大数据”正在改变甚至颠覆着我们所处的整个时代，对社会发展产生了方方面面的影响。

（1）大数据下的生活方式变革

在大数据时代，用户会越来越多地依赖于网络和各种“云端”工具提供的信息作出行为选择。从社会这个大方面上看，这有利于提升我们的生活质量、和谐程度，从而降低个人在群体中所面临的风险。比如美国的网络公司Fare_cast通过对2000亿条飞行数据记录的搜索和运算，可以预测美国各大航空公司每一张机票的平均价格的走势，如果一张机票的平均价格呈下降趋势，系统就会帮助用户作出稍后再购票的明智选择。反过来，如果一张机票的平均价格呈上涨趋势，系统就会提醒用户立刻购买该机票。通过预测机票价格的走势以及增降幅度，Fare_cast的票价预测工具能帮助消费者抓住最佳购买时机，节约出行成本。未来，通过对大数据信息的整合，这项技术可以广泛应用到其他领域，比如宾馆预订，贵金属、房产的购买等，只要这些领域内的产品差异不大，同时存在大幅度的价格差和大量可运用的数据，就都可以应用这项技术。人们应用这些专业网站提供的预测价格，在进行购物和消费时也会变得越来越理性。

从互联网浩瀚的数据宝藏中获取资料进行自动运算处理的计算机工具正在快速普及，处在一线的是正在迅速发展的人工智能技术，像自然语言处理、模式识别以及机器学习。那些人工智能技术可以被应用到多个领域。现在，Google的无人驾驶汽车已经在加州行驶了几千公里，未来我们可以通过人工智能与汽车产生互动，从而使自动驾驶得以实现，当然，这些都是基于大量数据解析的结果。又如，越来越智能化的手机语音助手随着人们提供的数以百万计的数据，正变成人们的个人小助理，为用户提供提醒、天气预报、收发邮件、行程安排等多种服务，未来所能解决的问题也越来越多。

（2）大数据下的营销方式变革

有数据显示，Twitter平均每天产生3.4亿条消息，而Facebook每日则有40亿条信息在扩散。随着社交网络的全球扩张，数据大爆炸正在改写营销规则。社会化媒体的广泛应用带来了海量的数据。数字科技的发展越来越深刻影响到营销的方法论以及营销的效率，这个时代已经完全不是此前单纯的数字媒体化年代。网络媒体正在从单纯的内容提供方进化成开放生态的主导者，大数据时代的社会化营销重点是理解消费者背后的海量数据，挖掘用户需求，并最终提供个性化的跨平台的营销解决方案。

在大数据时代，整个营销系统的变量越来越多，各种新势力与传统力量在系统中不断耗散与协同。这些日益增加的复杂性最终导致了整个系统的目标慢慢开始失焦，那些在传统营销时代原本理所当然的方法论开始变得不确定。未来，将会有越来越多的企业通过各种用户产品、数据库对用户行为进行一系列的数据洞察、分析和挖掘，深度剖析每一个用户族群，通过差异化标签在品牌和受众之间建立社会化的营销关联。而基于对大数据营销价值的挖掘成为在线营销领域面临的课题，也就是企业可以通过追踪用户浏览网页及购物习惯智能地提升精准投放广告的能力，从而得到更高的投资回报率。

（3）大数据下的医疗方式变革

在公共卫生和医疗领域，“大数据”的预测有望为人们提供强大的健康保障。通过对上万名自闭症患者家庭背景、居住地区、父母饮食、环境差异等数据的收集，我们或许可以发现这种疾病的成因。研究人员已发现，Google搜索请求中诸如“流感症状”和“流感治疗”之类的关键词出现的高峰要比一个地区医院急诊室流感患者增加出现的时间早两三个星期(而急诊室的报告往往要比浏览慢两个星期左右)。通过类似现象的判断，我们可以提前预测疾病的爆发，更有针对性地作出预防。

（4）大数据增强社会管理水平

大数据在政府和公共服务领域的应用，可有效推动政务工作开展，提高政府部门的决策水平、服务效率和社会管理水平，产生巨大社会价值。欧洲多个城市通过分析实时采集的交通流量数据，指导驾车出行者选择最佳路径，从而改善城市交通状况。

六、应对大数据建议

1）社会的各种组织要建立和完善处理“大数据”的组织机构。如政府机构、行业组织和大型企业要建立专门的数据治理机构来统筹数据治理的工作，例如数据治理委员会、大数据管理局等，数据治理的重点在于数据定义的一致性和数据的质量。在大数据时代，不同系统之间的数据要进行整合，因此要有统一的元数据定义，这不仅是中国而且是全世界当下都在面临的挑战。各个领域和行业的数据标准制定得好，将会起到事半功倍的效果。就单个企业而言，要认识到，未来的竞争是知识生产率而不是劳动生产率的竞争，数据分析产生的价值可能比较碎片化，分布在商业流程的各个环节，数据挖掘的投资回报也有不确定性，但企业领导必须有眼光，把数据治理的工作尽快统筹起来，为增强企业在大数据时代的竞争力做好准备。此外，数据治理机构的负责人应该由组织的高层领导担任，否则标准无法推进到全局，也改善不了整个行业或组织的情况。

2）开放数据。数据增值的关键在于整合，但自由整合的前提是数据的开放。开放数据是指将原始的数据及其相关元数据以可以下载的电子格式放在互联网上，让其他方或组织自由使用。开放数据和公开数据是两个不同的概念，公开是信息层面的，是一条一条的；开放是数据库层面的，是一片一片的。开放也不一定代表免费，企业的数据，可以以收费的形式开放。开放也是有层次的，可以对某个群体、某个组织，也可以对整个社会开放。在大数据的时代，开放数据的意义，不仅仅是满足公民的知情权，更在于让大数据时代最重要的生产资料——数据自由地流动起来，以催生创新，推动知识经济和网络经济的发展，促进中国的经济增长由粗放型向集约型转型升级。

3）鼓励、扶持基于数据的创新和创业。可以是政府为主导建立大数据产业园，对新兴企业提供办公场所等便利条件或者现金支持，但更有效的方式是调动全社会的力量。例如，拨款支持大数据开源社区、程序员协会等民间组织的建设，通过扶持类似的民间团体，快速推进新技术、新理念在全社会的传播和普及；再例如，以开放的数据为基础，举办应用程序开发大赛，向全社会征询数据使用、创新的意见，主办方可以是政府，也可以是企业，拿出一定的资金，奖励最优秀的应用程序，激发民间蕴藏的创新力量。

4）在全社会弘扬数据文化。数据文化，是尊重事实、推崇理性、强调精确的文化。要承认，回望历史，中国是个数据文化匮乏的国家，就现状而言，中国数据的公信力弱、质量低，数据定义的一致性差也是不争的事实。这方面，政府应该发挥主导作用，首先在公共领域推行数据治国的理念，要认识到，在大数据时代，公共决策最重要的依据将是系统的数据，而不是个人经验和长官意志，过去深入群众、实地考察的工作方法虽然仍然有效，但对决策而言，系统采集的数据、科学分析的结果更为重要。政府应加大数据治国的舆论宣传，将数据的知识纳入公务员的常规培训体系，力争在全社会形成“用数据来说话、用数据来管理、用数据来决策、用数据来创新”的文化氛围和时代特点。

5）加强对数据信息的保密与安全防范，从硬件、软件到人才都要用自己可靠的来进行。

6）要围绕个人和企业数据安全，逐步加强隐私立法。任何技术都是双刃剑，大数据也不例外。如何在推动数据开放的同时有效地保护公民隐私，将是大数据时代的一个重大挑战。

7）要加强大数据技术开发与管理人才的培养。

七、我国开展大数据研究与应用的情况与案例

近年来，我国已启动对大数据的研究与应用，并已取得可喜的成果。主要有以下几个方面：

1、交通运输领域的研究与应用，比较突出的是北京交通大学对铁路、民航、轨道交通等方面的预测与分析。

2、北交大已经整合现有数据、城市轨道交通基础数据，建立信息服务平台，预测客源、市场与成本、收益及发展趋势。从道路和城市交通系统中居民出行和车流数据提取、分析，把握居民的出行大数据，为城市交通系统建设与布局提供决策依据。

3、百度公司与中科院合作，对艾滋病等流行病进行大数据收集与分析，以计算、预测其发展趋势与制定对策。百度还通过关注性分析，提前预测游客的数量，可预防出现安全事故。

八、总结

大数据时代是信息社会运作的必然结果，它令人类的信息社会更上一个台阶。农业社会人们以土地为核心资源，工业时代转为能源资源，信息社会则将变更为数据。谁掌握数据，以及数据分析方法，谁就将在这个大数据时代胜出，无论是商业组织，还是国家文明，只要充分发挥大数据时代的价值、迎接好大数据面临的挑战并及时应对，就会处于大数据时代领域里的不败之地。

参考文献

[1]引自由北京交通大学、百度公司联合举办的大数据自主创新研讨会上的发言记录.

[2]孟妍.电子商务:如何让“大数据”为你盈利[J].中国电信业,2012,12:46-47.

[3]高珍,谢玉婧.电子商务系统中的大数据处理[J].计算机光盘软件与用,2012, 21:111-112.

[4]陈云海,黄兰秋.大数据处理对电子商务的影响研究[J].电信科学,2013,03:17-21.

[5]钟瑛,张恒山.大数据的缘起、冲击及其应对[J].现代传播(中国传媒大学学报),2013,07:104-109.

[6]王雍.电子商务的大数据时代[J].成功营销,2012,09:3.

[7]姚尧.大数据时代的智能物流[J].中国经济信息,2013,07:70-71.

[8]白洁.大数据应用[J].信息安全与通信保密,2013,10:13-16.

[9]钱晓东,王蕾.论数据挖掘与电子商务的契合[J].图书情报工作,2010,10:135-138.