提高数据准确性的探讨

加快数据处理进度、提高数据准确性的探讨

袁文达

普查的目标就是获取相关的普查数据。普查各个阶段所开展的工作都是为如何高质量、高时效取得普查数据而展开的。普查表填写完成后的普查数据处理是普查工作的重要环节，可以讲，普查数据处理进度的快慢直接关系到普查数据获得的早晚，所以结合本次普查的情况和历次处理普查数据的经历，对加快数据处理进度、提高数据准确性提出几点探讨。由于普查是质量要求很高的全面调查，加快进度一定要和提高数据准确性的要求相结合，只有在能确保数据准确的大前提下，进度的加快才更显出意义。这里，通过将普查过程作为一个管理的过程，将进度和数据的准确度作为这个管理的过程需要实现的目标，引入一定的管理理论，促使普查过程的进度和质量的提高。以色列物理学家、企业管理顾问戈德拉特博士（Dr．Eliyahu M．Goldratt）在他开创的优化生产技术（Optimized Production Technology，OPT）基础上发展起来的“约束理论（theory of constraints，TOC）”可以对我们加强普查过程管理提出一些借鉴。该理论紧扣一个管理过程，把最弱的那个环节作为系统的瓶颈，认为制约整个系统有效产出的就是这些瓶颈。我们要做的就是找到这些瓶颈，改善相关的环节，消除瓶颈，完成一次优化，通过反复地发现瓶颈、消除瓶颈的不断循环，达到系统的提升和连续改进（Continuous Improvement）。对我们来说就是要提高普查数据的质量和加快进度。

一、对普查数据处理过程重要性的认识和探讨

（一）普查有明确固定的调查表和需求，应该有稳定可靠的处理程序

既然普查表有完全固定的表式，每个指标都有明确的指标解释，普查的时期、时点也都是预先得到明确的。应该说普查的主业务需求是十分明确的，而且一般都是完全经过多方面的研讨斟酌校验，这些固定的需求对数据处理软件的开发是十分有利的。而且普查都要经过各种试点，包括数据处理的试点。所以，要求一个稳定可靠的处理程序应该是可以达到的。而实际情况是，处理程序往往有数量众多的错误和不足，导致很多次的补丁和升级。其实，每一次的补丁和升级都是具有一定的风险。由于计算机科技的复杂性，一个处理系统往往构建在复杂的硬件、软件环境下，其中的细节差异千变万化，很难说在某一次升级或补丁的过程中不出现某种异常。我们就遇到过，好好地按照升级说明操作，但完成后就是失去了某种表的审核功能，而系统的复杂性让人无法解释为什么会出现这种情况。后来只好重装了整个处理系统，才又回到了正常情况。而中间的延误、风险不言而喻，万一原来的数据回不来、万一系统重装也不能排除呢？所以，稳定可靠的处理程序显得十分的重要，不是说完全不能有补丁升级，而要较好地限制补丁升级的次数，减少数据丢失和进度延误的风险。

（二）普查不断重复，应该充分借鉴前次普查的经验教训

就像本次的人口普查，以往有多次人口普查的经验。当时还是在相比现在落后的信息技术条件下，而取得了数据处理的成功，所以每次普查数据处理的第一项安排就是要学习前次普查和处理的经验教训。应该把吸取前次普查的经验提升到更高的高度上来，在前次成功的基础上，提出切实可行又不冒进的正确目标，按目标的要求，找到制约普查提高进度质量的相关环节，解决这些瓶颈，并在本次普查中将某个经验教训有所突破提高，为更加高效地开展普查和处理积累宝贵的经验。普查的学习和经验分析，一定不能泛泛而学，而需要对经验教训进行充分的讨论，要在前期方案制定的时候就有通盘的考虑。有经验的方案设计者应该有更大的表决权重，这样才能发挥讨论的作用。用科学的精神设计普查的方案才能真正吸收历次普查的经验，才能体现方案的进步和科学。

（三）普查各个环节的程序应该全局考虑，互相可以接口，以数据成果为中心

历经多次的普查后，普查工作的各个环节应该是预先都能明确，每一项普查工作都是在为最后的普查数据的取得做准备和铺垫。在普查的各个阶段，应该能就本阶段对整个普查数据产生哪些作用有个清晰的认识，要在每个阶段都体现出这个成效约束的关系，明确做好这个阶段对整个普查的作用，也要明确如果做得不够将对普查结果导致哪些不良的作用，而且最好能明确这种不良损害作用的量的作用关系。这样的目的在于发现关键环节，通过强化和突出关键环节，在关键的环节中投入足够的人力、财力，才是最有效的对普查工作的组织。普查的组织工作不搞面面俱到，防止在某些非关键环节过多投入而消耗过多资源。

普查的各个环节应该是一环一环紧密相扣的，理想的要做到能互相接口。这个接口的概念可以理解为工作的紧密衔接性，从普查的主客体可以概括成“普查对象”“普查力量”和“普查结果”。普查过程可以概括成发动和组织普查力量，确定普查的对象，进行普查结果的获取。从普查工作的阶段可分为“普查准备阶段”和“普查实施阶段”。准备阶段涉及建立机构、筹措经费、选调两员、准备物资、宣传发动、划分对象（划区绘图等）、业务培训。实施阶段可以包含试点、入户（上门或发表）调查、数据采集校验、数据整理、数据处理审核改错上报等。从两个大的阶段划分，区分每个阶段所做的工作，紧扣数据处理上报的最终成果。以此逆推，要从各个阶段能为最后的数据上报所能提供的作用，以及对数据成果的相关性大小来部署工作的轻重缓急，这就是抓关键环节。从普查数据准确性的要求来看，调查员调查过程的准确性，是整个数据准确性的瓶颈，按照“约束管理理论”，改善调查的准确性应该有一定的对策。我们认为简单的开放式培训方式是不够到位的业务培训，只有构建一定的普查员的业务督导系统，及时校正普查员的调查错误，不单单通过普查指导员，而通过跨普查区对业务较弱的普查员提供强有力的业务支持，才能真正让普查数据的准确度提高起来。通过考试检验、讨论学习组、业务督导组等形式，使得第一线的调查员能在第一时间得到业务指导和错误校正，有效提高调查数据的准确性。

其他的各种准备过程也可以通过对照作用（对最终普查结果产生的作用）、加强接口，形成以普查数据准确性为中心的普查组织体系。数据处理中需要有效的支持系统，包括原始数据校核、查错、改错如何实现，要用到前期调查员的通讯信息、摸底资料、调查底稿等，所以，前期各项工作要为后期处理过程中可以预见的要求做好准备，就能在查错校核数据的时候发挥高效的作用，从而根本地提高数据的质量，这就是整体各个过程的接口。

二、提高数据准确性、加快处理进度的措施探讨

（一）强化普查业务主线，去除细枝末节的纠缠

普查的主线是普查的数据和质量，抓住了这条主线就能分清各项工作在整个普查的过程中所处的位置。比如“编码”作为数据处理的准备环节，其实具有十分重要的作用，可以讲编码准确性直接关系到数据的质量和改错的进度。这次普查的实践中就发现，很多的年龄审核错误实际都是编码的草率引起的，而得到纠正的仅仅是一些有逻辑审核关系的错误能通过审核关系的把关被发现改正，而大量的没有直接审核关系校验的编码错误可以说就被放了过去，这是对编码这个关键环节不够强化的后果，而与此同时普查的组织资源可能正被快速汇总等环节空耗。以现在的技术配备和高速扫描能力，可直接进行光电扫描，以摸底资料作为校核保障，我们认为完全可以达到快速汇总的要求，省去额外快速汇总处理的时间。

还有，通过前置审核、尽早开发审核公式，在光电扫描阶段，前置性大部分审核公式、同时在编审系统采取SQL查询明文的优选写法，便于各级机构及早发现审核公式问题和修订业务审核公式。

借助强大的光电扫描技术的支持，通过及早介入和多次介入，加强对编码员的甄别和遴选，避免编码查错；通过重扫、复扫，能先期发现质量较差的批次，最大限度地发挥扫描系统的鉴别能力，将瓶颈环节找出来，缩短检查鉴别的时间，在机器的指引下进行定向审核修订，能有效弥补质量差异的薄弱环节。

从数据质量评估的需要出发，预先完善汇总出表、汇总出版表式等功能，能有效减少流程衔接等待时间，做到录入审核一完成就能汇总、审核、评估，大大提前成果出产时间。

从信息技术的角度，还可以利用分布式数据库技术，采取全市一库、分布处理的模式，全市设一个总库，每个县区设分库和独立前台服务器，利用数据库后台分布技术保持数据的一致、进度管理的一致。

（二）早谋划出数、出资料

普查处理进度中，如果能预先就规划好出数、出资料的程序和软件，则能大大加快普查的数据处理进度，作为成熟固定的普查，应该有条件早谋划好出哪些数据、产生哪些资料，这本来不需要占用进度。每次普查涉及新的变化和创新，可以从管理学的角度，分生产和设计两条路线推进，设计的推进并不直接作用在当时的生产上，而是等下一次的生产中落实设计的改进和成果。我们完全可以预先都设定汇总表格和汇总的资料，而不是在数据产生后才开发测试汇总程序。普查的方案设计应该包括各种汇总表，而处理程序一开始就包含这些汇总功能，通过使用这些功能，就能早出资料。

（三）分离不确定环节，将普查的过程规范可控

普查资料的利用其实常常需要发动社会的力量，如果仍然依靠普查机构人员就会让普查拖延不止，失去普查过程的可控性。这在管理上是很大的忌讳。资料利用开发的参与对象和组织模式都与前阶段的普查工作有很巨大的差异，具有很大的不确定性。所以，可以对整个普查划定清晰的边界，将整个过程限定在可控的那些环节上，对普查的数据处理定出清晰的边界，这样才能真正改善普查的进度。

（四）突破瓶颈，不断优化普查的全过程

通过完善普查表式的设计，重点指标增加校验项。将几项重点指标的数值直接相加，产生一个校验值也填在调查表上，通过锁定数值，防止重点指标处理出错。

加强重点环节，突破普查管理过程的瓶颈。在填表、编码等方面加强督导、考核，而不是单单进行总体面上的抽查验收，强化关键环节对填表调查人员、编码人员的素质进行客观性考核，通过保障原始调查数据的准确性，同时防止二次差错。可借助技术手段加强填表、编码环节的质量反馈，减少差错。

强化质量规范性，促进对质量的把握尽责，更快积累有效劳动。扩大数据处理的联结纽带作用，围绕数据质量的要求进行工作部署，协调前阶段的各项工作（即反馈），根据各阶段的工作对整个普查数据质量的作用性，把握每个阶段的基本要求。

舟山市人口普查办公室