【前言】

内政部数据质量管理指南的目的是提供一套可复用的流程，用于监测和纠正内政部拥有的数据源，特别是权威数据源中的数据质量。本指南是根据2001财政年度财政部和一般政府拨款法案第515节的OMB信息质量指南的一个附件。该指南详细说明了确保内政部拥有的来源数据具有可衡量质量所需的过程，有助于确保有质量的来源数据可用于内政部发布的信息产品。发布的信息产品的质量由内政部的信息质量指南管理，该指南是根据行政管理和预算办公室信息质量指南制定的。财政部和一般政府拨款法案2001财政年度第515节通常被称为信息质量法案。信息质量法案要求联邦机构制定程序，以确保其发布的信息的质量、客观性、实用性和完整性。其中包括行政机制，使受影响的人能够寻求和获得纠正联邦机构保存和发布的信息。这些机构每年向行政管理和预算局报告其根据内部质量保证所收到的投诉以及这些投诉的处理情况。内政部的数据质量管理指南为内政部提供了切实的商业利益，因为它:

（一）依赖政府和行业公认的应用数据质量标准的实践，以确保质量的一致水平。

（二）促进全部门的纠正和改进活动的监测，这些活动与信息质量法案下的数据纠正要求无关。•促进数据质量活动与其他数据管理活动的集成和协调。为数据质量管理活动提供共同的里程碑和产品。

（三）使数据质量管理制度化。提供在部门内分享技术、解决方案和资源的能力。本指南的目标读者主要是信息技术(IT)从业者，他们负责监测和纠正由内政部拥有和管理的数据源中的数据质量。IT从业者与主要数据管理员和业务数据管理员协作，以理解他们对要测量的数据的理想质量级别和范围的期望。

【介绍】

内政部的数据资源管理和标准化计划是根据数据质量立法，作为2001财政年度合并拨款法案(公法106-554第515条)的一部分而建立的。构建在数据质量报告包含在1999财政年度综合拨款法案(公法105 - 2771),该法案直接的行政管理和预算局(OMB)发行政府指南”提供的政策和程序指导联邦机构保障和质量,最大化效用,以及联邦机构发布的信息(包括统计信息)的完整性。”

该法规进一步要求每个机构发布自己的实施PL 106-554第515节的指导方针。此外，它还要求建立一个行政程序，允许受影响的各方寻求纠正不符合或不符合行政管理和预算办公室指导方针的机构信息。行政管理和预算局向所有联邦机构发出通知(2002年1月3日，第67条联邦法规369)，要求它们在2002年10月1日之前制定自己的信息指导方针。该机构的指导方针必须将上述的法定要求应用于他们自己的特定项目。为了做到这一点，每个机构必须采用一个数据质量的基本标准，该标准针对数据的使用和支持信息质量。

内政部的数据资源管理和标准化计划负责开发部门范围内的数据架构、数据治理和管理基础设施，并促进数据质量的改善。本文件将侧重于数据发布前的数据质量改进过程，以支持管理和预算办公室的信息质量指南。

内政部数据质量改进过程遵循四个阶段的过程:评估、改进、纠正和认证 。系统所有者、主要数据管理员和局业务数据管理员协调他们的工作，执行他们的评估、过程改进、数据校正和认证。根据需要，内政部的高级信息架构师提供指导。

数据质量改进过程的主要目标是改善统计局拥有和管理的主要信息系统中对任务至关重要的数据的质量 。 关键任务数据是对内政部开展业务至关重要的数据，是部门经常使用的数据，是部门诚信和问责的关键数据，以及用于支持《政府绩效和结果法》(GPRA)报告的数据 。

本数据质量管理指南描述了在数据的获取、创建、维护、存储和应用中，为指导内政部的组织持续改善数据质量所需要的过程。本指南为内政部的所有数据社区(例如地理空间、执法、金融、娱乐和设施管理)提供了通用技术指导。该指南主要是为IT受众编写的，这些受众将在负责改进数据质量的业务领域领导的指导和协调下进行数据质量评估。本指南规定了可适用和扩展的标准流程，适用于有专门数据质量管理要求的数据界，特别是地理空间和其他科学数据界。它补充了统计局的数据资源管理政策，该政策确定了统计局各组织需要将数据管理优先事项与统计局的任务和数据质量项目目标保持一致。它还补充了PL 106-554第515节中概述的要求，因为它提供了一个流程，在信息向公众传播之前，提高信息中使用的数据质量。

本指南包含概念、循序渐进的过程，以及有助于改善数据质量和修正过程的工作表的说明和参考。本指引的章节如下:

第1章:实施内政部的数据质量改善环境。提供数据定义、质量标准、角色和职责;区分数据质量和信息质量;并对数据质量改进方法进行了概述。

第2章:数据质量评估过程。描述从选择到最终报告的评估过程。

第3章:数据质量改进过程。描述数据质量项目人员执行数据质量改进应使用的方法和技术。

第4章:数据质量校正过程。描述数据质量项目人员执行数据校正时应使用的方法和技术。

第5章:数据质量认证过程。描述将用于执行任务关键信息的独立验证或认证的最后任务的方法和技术。

附录A:数据质量改进过程规划。包含用于计划数据质量评估、数据质量改进、数据修正或认证项目的工作分解结构的指导和示例。

附录B:数据质量软件工具。包含对可用软件工具的讨论，这些工具可用于自动化数据质量管理和改进。

附录C:数据质量改进过程背景。提供与全面质量管理和数据质量改进过程相关的关键概念的演变的简要背景描述。

附录D:“可接受质量水平”范例。说明如何确定可接受的数据质量水平。

附录E:影响内政部指南的其他立法/条例。提供支持内政部数据质量管理的附加立法和/或法规清单。

附录F:术语表。提供本文档中需要特别注意的术语表。

附录G:尾注。

 

【第1章 内政部实施数据质量改进过程环境】

1.1 概述

本章介绍了数据和数据质量的定义，内政部的数据质量标准，角色和职责，以及数据质量改进过程方法的概述。这种方法的实施必须在业务、组织和文化转型的背景下进行，其特点是:

一组目标:“将资源集中在内政部、局的数据质量目标上。”

价值体系:“我们重视数据客户。”

一种心态:“数据是关键的共享资产，被用于为公民提供重要的信息产品。”

促进持续改进的环境:“消除因不良数据导致的工艺失败和返工造成的浪费。”

1.2 数据的定义

根据联邦企业架构数据参考模型3， 数据是一个值，或一组值，代表一个或多个特定的概念 。当分析数据并可能与其他数据结合以提取意义和提供上下文时，数据就变成了“信息” 。数据的表示可以通过多种媒体或形式获得，包括书面的、数字的、文本的、数字的、图形的、音频和视频。内政部的数据质量管理指南提供了一种实施数据质量管理的方法，适用于内政部要求的所有形式的数据。

1.3 数据质量定义

《Juran质量手册》的作者J.M. Juran4对数据质量的定义是当今最广泛使用的:“ 如果数据适合其在操作、决策和计划中的预期用途，那么数据就是高质量的 。”数据质量是指数据与其预期用途相关，具有足够的细节和数量，具有高度的准确性和完整性，与其他来源一致，并以适当的方式呈现。

数据质量和信息质量不是一回事 。数 据质量确保数据适合其在操作、决策和计划中的预期用途，而信息质量则描述信息系统内容的质量，确保所呈现的数据具有价值，并正确地为其计划使用的真实世界建模。 信息是赋予数据的意义或基于其上下文对数据的解释;它是由这种解释产生的成品。在第515节指南中，信息一词主要用于信息的发布和对发布信息的纠正。

在内政部中，数据被认为是“人造”信息的最基本单元，这些信息随后由一个或多个流程(例如，公园许可证或公园逮捕)组装，并被其他流程(例如，报告性能指标)或客户(例如，公园资源调度协调员)消耗。 客户消费信息产品(即有目的收集的数据)是为了做出关键的决定 ，例如为申请承保或为未来的计划争取资金，为部门的表现提供洞察，或为公共需求提供服务。

提高数据质量包括纠正有缺陷的数据和实施质量改进程序，以确保达到和保持预期的数据质量水平 。数据质量的两个主要子集将使用本指南中所述的指示进行测量和报告:(测量标准见表1-2)。

数据定义和数据架构质量。 正确的数据定义准确地描述了数据所表示的真实世界对象或事件的含义，并满足了信息客户理解他们所使用数据的需求。正确的数据架构正确地表示了数据的内在和真实关系的结构，以表示现实世界的对象和事件，并且是稳定和灵活的。数据定义和数据体系结构是信息产品的规范，必须表示信息的业务领域、应用程序和最终用户的视图和需求。数据定义和体系结构包括业务定义、域或值集，以及管理数据的业务规则。有关数据定义和数据架构维度的详细描述，请参见第2.2节。

数据内容质量。 如果没有质量定义，就不能度量数据内容质量 。数据内容质量是指数据值准确地表示现实世界对象或事件的维度，并满足信息终端用户有效执行其工作需求的程度 。

1.4 管理和预算办公室的信息质量指南和内政部的数据质量指南

根据行政管理和预算局第515节，PL 106-554的指导，各机构被指示制定管理程序，在数据发布前审查和证实其质量。管理和预算办公室指示各机构发布有影响力的科学、财政或统计信息，以确保生成原始数据或辅助数据，并使用可靠的统计方法开发分析结果。管理和预算办公室第515节准则中，数据一词主要用于数据的发布和对发布数据的纠正。鉴于本指南所述方法适用于数据发布前的数据，可根据需要应用于数据的改进和修正。

数据质量处理不同于信息质量处理。组织必须为数据管理人员、数据管理员和任何对数据感兴趣的人建立标准和指导方针，以确保在数据通过信息系统移动的整个生命周期中解决数据质量问题。 数据质量应该包括数据输入、编辑检查、数据验证和审计、纠正数据错误和消除数据污染的根本原因的指导方针。标准和指南还应包括政策和程序，如操作程序、变更控制程序、数据争议解决程序、角色和责任，以及标准文档格式 。所有这些政策、程序和定义都是内政部数据质量管理指南中数据质量定义的一部分。

1.5 内政部的关键任务数据质量标准

每个局必须根据内部用户和外部利益相关者对数据的期望和要求来定义其数据质量标准 。为了提供数据质量项目团队(例如,一个特定、联邦调查局团队组成的权威数据源管家和一组数据专家负责评估,纠正,和认证数据)与特定的和可操作的方向,本节描述关键任务数据的具体标准。该框架应用于为数据质量项目组认为重要的其他数据建立数据质量标准。

为了实现总体数据质量，必须基于数据的质量类别对可测量数据质量的两个领域进行管理。下面定义的质量根据业务需求指示了所考虑的特定数据所需的质量程度。在每个质量等级定义之后，提供了一个推荐的“西格玛水平”。六西格玛方法，全面质量管理的变体，已定义了广泛接受的，标准的，质量水平基准。对应于每个数据质量类别的西格玛水平如下所示，并在本指南术语表中定义。这三个数据质量层级是:

绝对级(接近零缺陷数据)。表示如果这些数据包含缺陷，则会导致严重的流程失败。将这一层制度化纳入内政部的数据架构结构将需要在培训和基础设施方面进行大量投资。因此，该标准应仅适用于关键的数据，其错误的后果可能意味着重大损失。

第二级(高质量数据)。表示在这些数据中存在与缺陷相关的高成本，因此，将缺陷保持在最低限度是至关重要的。通过持续监测和校正数据(统计过程控制)，实现这类数据的标准是可能的，这是一种比对所有不符合标准的系统数据进行工程近零缺陷应用编辑更具成本效益的方法。标准4西格玛(6210个错误/百万，或者0.62%的错误率)适用于这个类，因为它代表了行业标准的、真实世界的生产需求。

第三级(中等质量数据)。表明这些数据中与缺陷相关的成本是适中的，应该尽可能避免。此水平的质量公差应不低于3西格玛，（66807个错误/百万）。数据质量项目组在本指南中描述的数据质量评估阶段确定要审查的数据范围。当没有与数据缺陷相关的影响时，这可能表明部门根本不需要数据。

1.6 数据质量改进过程的角色和职责

本指南将不定义数据质量改进过程的角色和职责，因为这些角色和职责将由局数据架构师、主要数据管理员、业务数据管理员和局的数据质量项目团队确定。这些团队应该包括系统所有者、主题专家和数据架构师，他们了解从初始创建到最终处理数据的业务流程中数据的预期用途。内政部数据标准化程序5(2006年4月)描述了内政部数据治理的总体角色和职责。该文件的2.2.5.9节定义了各局的业务数据专员的数据质量责任。图1-1说明了内政部的数据治理角色和关系，其中包括诸如内政部的数据架构师、内政部的数据咨询委员会、执行赞助商、主要数据管家、局业务数据管家、主题专家、局数据架构师和局数据库管理员等角色。

图1-1:内政部的数据治理角色和关系

1.7 内政部的数据质量改进过程概述

本指南描述了数据质量改进程序的制定和实施过程中，数据质量改进局负责的主要活动。各局会:

1、识别、优先排序并评估提高数据质量的机会领域。

2、确定最有效的方法来改进流程，以确保不合格数据不再生产。

3、纠正现有的缺陷数据。

4、证明过程和数据符合预期的质量水平或质量标准。

数据质量改进过程基于公认的行业标准，并结合了项目管理和数据质量管理原则。该方法是迭代的，可以重复使用，直到数据达到适当的质量水平。只有当被评估的数据在官方指定的权威数据源中时，所有四个过程是强制性的。 权威数据源是被授权提供一种或多种可信赖、及时和安全的数据和信息的官方指定的单一来源，业务部门依赖这些数据和信息 。权威数据源实现的预期结果是向信息消费者提供可见、可访问、可理解和可信的数据和信息，信息消费者包括内政部的业务用户、内政部的信息交换伙伴以及IT应用程序和服务。

选择实施这些过程的其他非权威数据源应遵循评估、纠正和改进过程，而认证过程是可选实施过程。

数据质量评估过程。 第2章主要讨论了数据质量状态的评估。 数据质量项目组将在评估关键任务数据时执行这一过程。 数据质量项目可以将这些过程应用于对其功能和职责很重要的内部数据元素。评估包括基于影响和优先级选择信息组候选者、评估数据定义和数据体系结构质量、确定所需的质量标准、评估数据质量的当前水平、衡量非质量数据成本以及解释和报告数据质量状态。作为最终报告的一部分， 评估的结果是一套建议的后续行动，供办公室和数据质量项目组审查。 主要数据干事和内政部数据咨询委员会(DAC)负责审查和接受最后评估报告。

数据质量改进过程。 第3章描述了一旦评估确定了需要改进的领域，就会发生的活动。在这一点上，数据质量项目团队将启动活动来提高他们获得或产生的数据的质量。这是一种主动的努力，通过改进非质量数据的原因来最小化数据中缺陷的发生率。 改进包括选择数据质量改进的过程、制定改进计划、在受控的环境中实施改进、检查改进的影响以确保结果符合预期，以及在整个企业范围内对改进进行标准化。

数据质量校正过程。 第4章描述了评估过程确定需要纠正的领域后的活动，在此期间，数据质量项目组将采取步骤纠正其获取或产生的数据的质量。 这是一种反应性的、一次性的努力，以消除数据中存在的缺陷，并应作为改进生产过程的补充行动 。校正包括计划数据校正，提取和分析数据，执行手动和自动数据校正，以及确定校正过程的有效性。

数据质量认证过程。 第5章描述了这个可选任务的活动(权威数据源除外)，这是一个独立的验证或认证。该任务在产生或维护选定数据元素和信息组的流程得到改进和现有数据得到纠正之后进行。基于已确定的优先级和时间表，主要数据管理员和DAC将验证所达到的数据质量水平是否符合使用信息的业务领域的期望。