GB/T 36073-2018
9 数据应用
9.1 数据分析
9.1.1 概述
数据分析是对组织各项经营管理活动提供数据决策支持而进行的组织内外部数据分析或挖掘建模,以及对应成果的交付运营、评估推广等活动。数据分析能力会影响到组织制定决策、创造价值、向用户提供价值的方式。
9.1.2 过程描述
过程描述如下:
- a)常规报表分析,按照规定的格式对数据进行统一的组织,加工和展示;
- b)多维分析,各分类之间的数据度量之间的关系,从而找出同类性质的统计项之间数学上的联系;
- c)动态预,基于一定的算法、模型对数据进行实时监测,并根据预设的阀值进行预警;
- d)趋势预报,根据客观对象已知的信息而对事物在将来的某些特征、发展状况的一种估计、测算活动,运用各种定性和定量的分析理论与方法,对发展趋势进行预判。
9.1.3 过程目标
过程目标如下:
- a)数据分析能力满足组织的业务运营需求,并适应业务、技术领域的发展变化;
- b)数据分析促进数据驱动型决策和业务价值实现,数据分析成为组织的核心竞争力。
9.1.4 能力等级标准
能力等级标准如下:
a)第1级:初始级- 1)在项目层面开展常规报表分析,数据接口开发;- 2)在系统层面提供数据查询,满足特定范围的数据使用需求。
b)第2级:受管理级- 1)各业务部门根据自身需求制定了数据分析应用的管理办法;- 2)各业务部门独立开展各自数据分析应用的建设;- 3)采用点对点的方式处理数据分析中跨部门的数据需求;- 4)数据分析结果的应用局限于部门内部,跨部门的共享大部分是以线下的方式进行。
c)第3级:稳健级- 1)在组织级层面建设统一报表平台,整合报表资源,支持跨部门及部门内部的常规报表分析和数据接口开发;- 2)在组织内部建立了统一的数据分析应用的管理办法,指导各部门数据分析应用的建设;- 3)建立了专门的数据分析团队,快速支撑各部门的数据分析需求;- 4)能遵循统一的数据溯源方式来进行数据资源的协调;- 5)数据分析结果能在各个部门之间进行复用,数据分析口径定义明确。
d)第4级:量化管理级
- 1)建立了常用数据分析模型库,支持业务人员快速进行数据探索和分析;
- 2)能量化评价数据分析效果,实现数据应用量化分析;
- 3)数据分析能有力支持业务应用和运营管理。
e)第5级:优化级- 1)能推动自身技术创新;- 2)在业界分享最佳实践,成为行业标杆。
9.2 数据开放共享
9.2.1 概述
数据开放共享是指按照统一的管理策略对组织内部的数据进行有选择的对外开放,同时按照相关的管理策略引入外部数据供组织内部应用。数据开放共享是实现数据跨组织、跨行业流转的重要前提,也是数据价值最大化的基础。
9.2.2 过程描述
过程描述如下:
- a)梳理开放共享数据,组织需要对其开放共享的数据进行全面的梳理,建立清晰的开放共享数据目录;
- b)制定外部数据资源目录,对组织需要的外部数据进行统一梳理,建立数据目录,方便内部用户的查询和应用;
- c)建立统一的数据开放共享策略,包括安全、质量等内容;
- d)数据提供方管理,建立对外数据使用政策、数据提供方服务规范等;
- e)数据开放,组织可通过各种方式对外开放数据,并保证开放数据的质量;
- f)数据获取,按照数据需求进行数据提供方的选择。
9.2.3过程目标
过程目标如下:
- a)数据开放共享可满足安全、监管和法律法规的要求;
- b)数据开放共享可促进内外部数据的互通,促进数据价值的提升。
9.2.4能力等级标准
能力等级标准如下:
a)第1级:初始级- 1)按照数据需求进行了点对点的数据开放共享;2)对外共享的数据分散在各个应用系统中,没有统一的组织和管理。
b)第2级:受管理级- 1)在部门层面制定了数据开放共享策略,用以指导本部门数据的开放和共享;- 2)建立了部门级的数据开放共享流程,审核数据开放共享需求的合理性,并确保对外数据质量;- 3)对部门内部的数据进行统一整理,实现集中的对外共享。
c)第3级:稳健级- 1)在组织层面制定了开放共享数据目录,方便外部用户浏览、查询已开放和共享的数据;- 2)在组织层面制定了统一的数据开放共享策略.包括安全、质量、组织和流程,用以指导组织的数据开放和共享;- 3)有计划的根据需要修改开放共享数据目录,开放和共享相关数据;- 4)对开放共享数据实现了统一管理,规范了数据口径,实现了集中开放共享。
d)第4级:量化管理级- 1)定期评审开放数据的安全、质量,消除相关风险;- 2)及时了解开放共享数据的利用情况,并根据开放共享过程中外部用户反馈的问题,提出改进措施。
e)第5级:优化级- 1)通过数据开放共享创造更大的社会价值,同时促进组织竞争力的提升;- 2)在业界分享最佳实践,成为行业标杆。
9.3 数据服务
9.3.1 概述
数据服务是通过对组织内外部数据的统一加工和分析,结合公众、行业和组织的需要,以数据分析结果的形式对外提供跨领域、行业的数据服务。数据服务是数据资产价值变现最直接的手段,也是数据资产价值衡量的方式之一,通过良好的数据服务对内提升组织的效益,对外更好的服务公众和社会。
数据服务的提供可能有多种形式,包括数据分析结果,数据服务调用接口,数据产品或数据服务平台等,具体服务的形式取决于组织数据的战略和发展方向。
9.3.2 过程描述
过程描述如下:
- a)数据服务需求分析,需要有数据分析团队来分析外部的数据需求,并结合外部的需求提出数据服务目标和展现形式,形成数据服务需求分析文档;
- b)数据服务开发,数据开发团根据数据服务需求分析对数据进行汇总和加工,形成数据产品;
- c)数据服务部署,部署数据产品,对外提供服务;
- d)数据服务监控,能对数据服务有全面的监控和管理,实时分析数据服务的状态、调用情况、安全情况等;
- e)数据服务授权,对数据服务的用户进行授权,并对访问过程进行控制。
9.3.3 过程目标
过程目标如下:
- a)通过数据服务探索组织对外提供服务或产品的数据应用模式,满足外部用户的需求;
- b)通过数据服务实现数据资产价值的变现。
9.3.4 能力等级标准
能力等级标准如下:
a)第1级:初始级- 1)根据外部用户的请求进行了针对性的数据服务定制开发;- 2)数据服务分散在组织内的各个部门。
b)第2级:受管理级- 1)对数据服务的表现形式进行了统一的要求;- 2)组织层面明确了数据服务安全、质量、监控等要求;- 3)组织层面定义了数据服务管理相关的流程和策略,指导各部门规范化管理。
c)第3级:稳健级- 1)在组织层面制定了数据服务目录,方便外部用户浏览、查询已具备的数据服务;- 2)统一了数据服务对外提供的方式,规范了数据服务状态监控、统计和管理功能,并由统一的平台提供;- 3)进一步细化了数据服务安全、质量、监控等方面的要求,建立了企业级的数据服务管理制度;- 4)有意识地响应外部的市场需求,积极探索对外数据服务的模式,主动提供数据服务。
d)第4级:量化管理级- 1)与外部相关方合作,共同探索、开发数据产品,形成数据服务产业链;- 2)通过数据服务提升组织的竞争力,并实现了数据价值;- 3)对数据服务的效益进行量化评估,量化投入产出比。
e)第5级:优化级- 1)业界分享最佳实践,成为行业标杆。
10 数据安全
10.1 数据安全策略
10.1.1概述
数据安全策略是数据安全的核心内容,在制定的过程中需要结合组织管理需求、监管需求以及相关标准等统一制定。
10.1.2 过程描述
过程描述如下:
- a)了解国家、行业等监管需求,并根据组织对数据安全的业务需要,进行数据安全策略规划,建立组织的数据安全管理策略;
- b)制定适合组织的数据安全标准,确定数据安全等级及覆盖范围等;
- c)定义组织数据安全管理的目标、原则、管理制度、管理组织、管理流程等,为组织的数据安全管理提供保障。
10.1.3过程目标
过程目标如下:
- a)建立统一的数据安全标准;
- b)提供适用的数据安全策略。
10.1.4 能力等级标准
能力等级标准如下:
a)第1级:初始级- 1)在项目中设置了数据安全标准与策略,并在文档中进行了描述。
b)第2级:受管理级- 1)业务部门内部建立了数据安全标准、管理策略和管理流程;- 2)业务部门内部识别数据安全利益相关者;- 3)业务部门内部数据安全标准与策略的建立能遵循合理的管理流程。
c)第3级:稳健级- 1)建立组织统一的数据安全标准以及策略并正式发布;- 2)规范了组织数据安全标准与策略相关的管理流程,并以此指导数据安全标准和策略的制定;- 3)数据安全标准与策略制定过程中能识别组织内外部的数据安全需求,包括外部监管和法律的需求;- 4)规范了数据安全利益相关者在数据安全管理过程中的职责;- 5)定期开展数据安全标准和策略相关的培训和宣贯。
d)第4级:量化管理级- 1)数据安全标准和策略的制定能符合国家标准或行业标准的相关规定;- 2)梳理和明确了组织相关的外部法律、监管等方面关于安全方面的需求列表,并和组织的数据安全标准和策略进行了关联;- 3)能根据内外部环境的变化定期优化提升数据安全标准与策略。
e)第5级:优化级- 1)参与数据安全相关国家标准的制定;- 2)在业界分享最佳实践,成为行业标杆。
10.2 数据安全管理
10.2.1概述
数据安全管理是在数据安全标准与策略的指导下,通过对数据访问的授权、分类分级的控制、监控数据的访问等进行数据安全的管理工作,满足数据安全的业务需要和监管需求,实现组织内部对数据生存周期的数据安全管理。
10.2.2 过程描述
过程描述如下:
- a)数据安全等级的划分,根据组织数据安全标准,充分了解组织数据安全管理需求,对组织内部的数据进行等级划分并形成相关文档;
- b)数据访问权限控制,制定数据安全管理的利益相关者清单,围绕利益相关者需求,对其数据访问、控制权限进行授权;
- c)用户身份认证和访问行为监控,在数据访问过程中对用户的身份进行认证识别,对其行为进行记录和监控;
- d)数据安全的保护,提供数据安全保护控制相关的措施,保证数据在应用过程中的隐私性;
- e)数据安全风险管理,对组织已知或潜在的数据安全进行分析,制定防范措施并监督落实。
10.2.3 过程目标
过程目标如下:
- a)对组织内部的数据进行分级管理,重点关注数据的管理需求;
- b)对数据在组织内部流通的各个环节进行监控.保证数据安全;
- c)分析潜在的数据安全风险,预防风险的发生。
10.2.4 能力等级标准
能力等级标准如下:
a)第1级:初始级
- 1)在项目中进行了数据访问授权和数据安全监控;
- 2)对出现的数据安全问题进行分析和管理。
b)第2级:受管理级- 1)依据数据安全标准在业务部门内部对数据进行安全等级的划分;- 2)业务部门内部进行了数据利益相关者需求的识别,并进行数据访问授权以及数据安全保护;- 3)业务部门内部进行了数据访问、使用等方面的监控;- 4)业务部门内部对潜在数据安全风险进行了分析,制定了预防措施。
c)第3级:稳健级- 1)组织对数据进行了全面的安全等级划分,每级数据的安全需求能清晰定义,安全需求的责任部门明确;- 2)根据外部监管定义数据范围,能清楚的定义外部监管对数据的安全需求;- 3)围绕数据生存周期,了解组织内利益相关者的数据安全需求,并对数据进行了安全授权和安全保护;- 4)能对数据生存周期进行安全监控,及时了解可能存在的安全隐患;- 5)对于不同的数据使用对象,通过数据脱敏、加密、过滤等技术保证数据的隐私性;- 6)定期开展数据安全风险分析活动,明确分析要点,制定风险预防方案并监督实施;- 7)定期汇总,分析组织内部的数据安全问题,并形成数据安全知识库;- 8)新的项目建设中能按照数据安全要求进行数据安全等级划分、数据安全控制等;- 9)定期开展数据安全相关培训和宣贯,提升组织人员数据安全意识。
d)第4级:量化管理级- 1)定义了数据安全管理的考核指标和考核办法,并定期进行相关的考核;- 2)定期总结数据安全管理工作,在组织层面发布数据安全管理工作报告;- 3)重点数据的安全控制可落实到字段级,明确核心字段的安全等级和管控措施。
e)第5级:优化级- 1)能主动预防数据安全风险,并对已发生的数据安全问题进行溯源和分析;- 2)在业界分享最佳实践,成为行业标杆。
10.3 数据安全审计
10.3.1 概述
数据安全审计是一项控制活动,负责定期分析、验证、讨论、改进数据安全管理相关的政策、标准和活动,审计工作可由组织内部或外部审计人员执行,审计人员应独立于审计所涉及的数据和流程。数据安全审计的目标是为组织以及外部监管机构提供评估和建议。
10.3.2过程描述
过程描述如下:
- a)过程审计,分析实施规程和实际做法,确保数据安全目标、策略、标准、指导方针和预期结果相一致
- b)规范审计,评估现有标准和规程是否适当,是否与业务要求和技术要求相一致;
- c)合规审计,检索和审阅机构相关监管法规要求,验证机构是否符合监管法规要求;
- d)供应商审计,评审合同、数据共享协议,确保供应商切实履行数据安全义务;
- e)审计报告发布,向高级管理人员、数据管理专员以及其他利益相关者报告组织内的数据安全状态;
- f)数据安全建议,推荐数据安全的设计、操作和合规等方面的改进工作建议。
10.3.3过程目标
过程目标如下:
- a)确保组织的安全需求、监管需求得到满足;
- b)及时发现数据安全隐患,改进数据安全措施;
- c)提出数据安全管理建议,促进数据安全的优化提升。
10.3.4 能力等级标准
能力等级标准如下:
a)第1级:初始级- 1)与组织信息化安全审计合并进行,没有独立的数据安全设计;- 2)根据外部或监管的需要进行审计。
b)第2级:受管理级- 1)检查数据安全管理标准与策略是否能满足各业务部门数据安全管理的需要;- 2)评估数据安全管理的措施是否能按照数据安全管理标准与策略的要求进行;- 3)规范数据安全审计的流程和相关文档模板。
c)第3级:稳健级- 1)在组织层面统一了数据安全审计的流程、相关文档模板和规范,并征求了利益相关者的意见;- 2)制定了数据安全审计计划,可定期开展数据安全审计工作;- 3)评审数据安全标准与策略对业务、外部监管的需求;- 4)评审数据安全管理岗位、职责、流程的设置和执行情况;- 5)评审组织数据安全等级的划分情况;- 6)评审新项目开展过程中的数据安全管理工作情况;- 7)定期发布数据安全审计报告。
d)第4级:量化管理级- 1)内部审计和外部审计相结合,协同推动数据安全工作的开展;- 2)数据安全审计报告包括数据安全对业务、经济的影响并分析影响数据安全的根本原因,提出数据安全管理工作的改进建议;- 3)数据安全的管理流程、制度能根据数据安全审计来进行优化提升,实现数据安全管理的闭环
e)第5级:优化级- 1)数据安全审计是组织审计工作的重要组成,数据安全审计能推动数据安全标准和策略的优化及实施;- 2)在业界分享最佳实践,成为行业标杆。
11 数据质量
11.1 数据质量需求
11.1.1 概述
数据质量需求明确数据质量目标,根据业务需求及数据要求制定用来衡量数据质量的规则,包括衡量数据质量的技术指标、业务指标以及相应的校验规则与方法。数据质量需求是度量和管理数据质量的依据,需要依据组织的数管理目标、业务管理的需求和行业的监管需求并参考相关标准来统一制定、管理。
11.1.2 过程描述
过程描述如下:
- a)定义数据质量管理目标,依据组织管理的需求,参考外部监管的要求,明确组织数据质量管理目标;
- b)定义数据质量评价维度,依据组织数据质量管理的目标,制定组织数据质量评估维度.指导数据质量评价工作的开展;
- c)明确数据质量管理范围,依据组织业务发展的需求以及常见数据问题的分析,明确组织数据质量管理的范围,梳理各类数据的优先级以及质量需求;
- d)设计数据质量规则,依据组织的数据质量管理需求及目标,识别数据质量特性,定义各类数据的质量评价指标、校验规则与方法,并根据业务发展需求及数据质量检查分析结果对数据质量规则进行持续维护与更新。
11.1.3 过程目标
过程目标如下:
- a)形成明确的数据质量管理目标;
- b)明确各类数据质量管理需求;
- c)建立持续更新的数据质量规则库。
11.1.4 能力等级标准
能力等级标准如下:
a)第1级:初始级- 1)在项目中分析了数据质量的管理需求,并进行了相关的管理。
b)第2级:受管理级- 1)制定数据质量需求相关模板,明确相关管理规范;- 2)在组织或业务部门识别了关键数据的质量需求;- 3)设计满足本业务部门需求的数据质量评价指标,并建立了数据质量规则库。
c)第3级:稳健级- 1)明确组织层面的数据质量目标,统一数据质量需求相关模板、管理机制;- 2)建立数据认责机制,明确各类数据管理人员以及相关职责,制定各类数据的优先级和质量管理需求;- 3)数据质量目标的制定考虑了外部监管、合规方面的要求;- 4)设计组织统一的数据质量评价体系以及相应的规则库;- 5)明确新建项目中数据质量需求的管理制度,统一管理权限。
d)第4级:量化管理级- 1)数据质量需求能满足业务管理的需要,融入数据生存周期管理的各个阶段;- 2)数据质量评价指标体系的制定参考了国家、行业相关标准;- 3)量化衡量数据质量规则库运行的有效性,持续改善优化数据质量规则库。
e)第5级:优化级- 1)在业界分享最佳实践,成为行业标杆。
11.2 数据质量检查
11.2.1 概述
数据质量检查根据数据质量规则中的有关技术指标和业务指标、校验规则与方法对组织的数据质量情况进行实时监控,从而发现数据质量问题,并向数据管理人员进行反馈。
11.2.2 过程描述
过程描述如下:
- a)制定数据质量检查计划,根据组织数据质量管理目标的需要,制定统一的数据质量检查计划;
- b)数据质量情况剖析,首先根据计划对系统中的数据进行剖析,查看数据的值域分布、填充率、规范性等,切实掌握数据质量实际情况;
- c)数据质量校验,依据预先配置的规则、算法,对系统中的数据进行校验;
- d)数据质量问题管理,包括问题记录、问题查询、问题分发和问题跟踪。
11.2.3过程目标
过程目标如下:
- a)制定数据质量检查计划;
- b)全面监控组织数据质量情况;
- c)建立数据质量问题管理机制。
11.2.4 能力等级标准
能力等级标准如下:
a)第1级:初始级- 1)基于出现的数据问题,开展数据质量检查工作。
b)第2级:受管理级- 1)定义了数据质量检查方面的管理制度和流程,明确数据质量检查的主要内容和方式;- 2)业务部门根据需要进行数据质量剖析和校验;- 3)在各新建项目的设计和实施过程中参考了数据质量规则的要求。
c)第3级:稳健级- 1)明确组织级统一的数据质量检查制度、流程和工具,定义了相关人员的职责;
e)第3级:稳健级- 1)明确组织级统一的数据质量检查制度、流程和工具,定义了相关人员的职责;- 2)根据组织内外部的需要,制定了组织级的数据质量检查计划;- 3)在组织层面统一开展数据质量的校验,帮助数据管理人员及时发现各自的数据质量问题;- 4)在组织层面建立数据质量问题发现、告警机制,明确数据质量责任人员;- 5)建立了数据质量相关考核制度,明确了数据质量责任人员考核的范围和目标;- 6)明确新建项目各个阶段数据质量的检查点、检查模板,强化新建项目数据质量检查的管理。
d)第4级:量化管理级- 1)定义并应用量化指标,对数据质量检查和问题处理过程进行有效分析,可及时对相关制度和流程进行优化;- 2)数据质量管理纳人业务人员日常管理工作中,可主动发现并解决相关问题。
e)第5级:优化级- 在业界分享最佳实践,成为行业标杆。
11.3数据质量分析
11.3.1 概述
数据质量分析是对数据质量检查过程中发现的数据质量问题及相关信息进行分析,找出影响数据质量的原因,并定义数据质量问题的优先级,作为数据质量提升的参考依据。
11.3.2 过程描述
过程描述如下:
- a)数据质量分析方法和要求,整理组织数据质量分析的常用方法,明确数据质量分析的要求;
- b)数据质量问题分析,深入分析数据质量问题产生的根本原因,为数据质量提升提供参考;
- c)数据质量问题影响分析,根据数据质量问题的描述以及数据价值链的分析,评估数据质量对于组织业务开展、应用系统运行等方面的影响,形成数据质量问题影响分析报告;d)数据质量分析告,包括对数据质量检查、分析等过程累积的各种信息进行汇总、梳理、统计和分析;
- b)数据质量问题分析,深入分析数据质量问题产生的根本原因,为数据质量提升提供参考;
- c)数据质量问题影响分析,根据数据质量问题的描述以及数据价值链的分析,评估数据质量对于组织业务开展、应用系统运行等方面的影响,形成数据质量问题影响分析报告;
- d)数据质量分析报告,包括对数据质量检查、分析等过程累积的各种信息进行汇总、梳理、统计和分析;
- e)建立数据质量知识库,收集各类数据质量案例、经验和知识,形成组织的数据质量知识库。
11.3.3 过程目标
过程目标如下:
- a)建立数据质量问题评估分析方法;
- b)定期分析组织数据质量情况;
- c)建立持续更新的数据质量知识库。
11.3.4 能力等级标准
能力等级标准如下:
a)第1级:初始级- 1)基于出现的数据质量问题进行分析和评估。
b)第2级:受管理级- 1)在某些业务部门建立数据质量问题评估分析方法·制定数据质量报告模板;- 2)对数据质量问题进行分析,明确数据质量问题原因和影响;- 3)在某些业务部门建立数据质量报告。
c)第3级:稳健级- 1)制定组织层面的数据质量问题评估分析方法,制定统一的数据质量报告模板,明确了数据质量问题分析的要求;- 2)制定数据质量问题分析计划,定期进行数据质量问题分析;- 3)对关键数据质量问题的根本原因,影响范围进行分析;- 4)组织定期编制数据质量报告,并发送至利益相关者进行审阅;- 5)建立数据质量分析案例库,提升组织人员对于数据质量的关注度;- 6)对产生的信息进行知识总结,建立数据质量知识库。
d)第4级:量化管理级- 1)建立数据质量问题的经济效益评估模型,分析数据质量问题的经济影响;- 2)通过数据质量分析报告及时发现潜在的数据质量风险,预防数据质量问题的发生;- 3)持续改善优化数据质量知识库。
e)第5级:优化级- 1)通过数据质量分析提升员工数据质量的意识,建立良好的数据质量文化;- 2)在业界分享最佳实践,成为行业标杆。
11.4 数据质量提升
11.4.1 概述
数据质量提升是对数据质量分析的结果,制定、实施数据质量改进方案,包括错误数据更正、业务流程优化、应用系统问题修复等,并制定数据质量问题预防方案,确保数据质量改进的成果得到有效保持。
11.4.2 过程描述
程描述如下:
- a)制定数据质量改进方案,根据数据质量分析的结果,制定数据质量提升方案;
- b)数据质量校正,采用数据标准化、数据清洗、数据转换和数据整合等手段和技术,对不符合质量要求的数据进行处理,并纠正数据质量问题;
- c)数据质量跟踪,记录数据质量事件的评估、初步诊断和后续行动等信息,验证数据质量提升的有效性;
- d)数据质量提升,对业务流程进行优化、对系统问题进行修正,对制度和标准进行完善,防止将来同类问题的发生;
- e)数据质量文化、通过数据质量相关培训、宣贯等活动,持续提升组织数据质量意识,建立良好的数据质量文化
11.4.3 过程目标
过程目标如下:
- a)建立数据质量持续改进策略;
- b)制定数据质量改进方案;
- c)建立良好的数据质量文化。
11.4.4 能力等级标准
能力等级标准如下:
a)第1级:初始级- 1)对业务部门或应用系统中出现的数据问题进行数据质量校正。
b)第2级:受管理级- 1)制定数据质量问题提升的管理制度,指导数据质量提升工作;- 2)明确数据质量提升的利益相关者及其职责;- 3)批量进行数据质量问题更正,建立数据质量跟踪记录;- 4)根据数据质量问题的分析,制定并实施数据质量问题预防方案。
c)第3级:稳健级- 1)建立组织层面的数据质量提升管理制度,明确数据质量提升方案的构成;- 2)结合利益相关者的诉求制定数据质量提升工作计划,并监督执行;- 3)定期开展数据质量提升工作,对重点问题进行汇总分析,制定数据质量提升方案,从业务流程优化、系统改进、制度和标准完善等层面进行提升;- 4)明确数据质量问题责任人,及时处理出现的问题,并提出相关建议;- 5)持续开展培训和宣贯,建立组织数据质量文化氛围。
d)第4级:量化管理级- 1)组织中的管理人员、技术人员、业务人员能协同推动数据质量提升工作;- 2)能通过量化分析的方式对数据质量提升过程进行评估,并对管理过程和方法进行优化。
e)第5级:优化级- 1)开展数据质量提升工作,避免相关问题的发生,形成良性循环;- 2)业界分享最佳实践,成为行业标杆。
12 数据标准
12.1业务术语
12.1.1概述
业务术语是组织中业务概念的描述,包括中文名称、英文名称、术语定义等内容。业务数据管理就是制定统一的管理制度和流程,并对业务术语的创建、维护和发布进行统一的管理,进而推动业务术语的共享和组织内部的应用。业务术语是组织内部理解数据、应用数据的基础。通过对业务术语的管理能保证组织内部对具体技术名词理解的一致性。
12.1.2 过程描述
过程描述如下:
- a)制定业务术语标准,同时制定业务术语管理制度,包含组织、人员职责、应用原则等;
- b)业务术语字典,组织中已定义,并审批和发布的术语集合;
- c)业务术语发布.业务术语变更后及时进行审批并通过邮件、网站、文件等形式进行发布;4)业务术语应用,在数据模型建设、数据需求描述、数据标准定义等过程中引用业务术语;
- e)业务术语宣贯,组织内部介绍、推广已定义的业务术语。
12.1.3过程目标
过程目标如下:
- a)业务术语可准确描述业务概念的含义;
- b)组织建立了全面、已发布的业务术语字典;
- c)业务术语的定义能遵循相关标准;
- d)通过管理流程来统一管理业务术语的创建和变更;
- e)通过数据治理来提升业务术语的管理和应用。
12.1.4 能力等级标准
能力等级标准如下:
a)第1级:初始级- 1)项目级的业务术语已定义;- 2)在项目级数据模型、数据需求的创建过程采用已定义的业务术语。
b)第2级:受管理级- 1)建立了部分业务术语管理流程,并在业务术语定义、管理、使用和维护的过程中得到应用;- 2)建立了业务术语标准,保证了业务术语定义的一致性;- 3)定期对业务术语标准进行复审和修订;- 4)建立了项目建设过程中业务术语应用的检查机制。
c)第3级:稳健级- 1)创建和应用组织级的业务术语标准;- 2)建立组织级的业务术语索引;- 3)在组织内明确了业务术语发布的渠道,并提供了浏览、查询功能;- 4)组织的业务术语在数据相关项目建设的过程中得到普遍应用;- 5)通过数据治理建立了业务术语应用、变更的检查机制;- 6)定期进行业务术语的宣贯和推广。
d)第4级:量化管理级- 1)建立KPI分析指标监控业务术语管理过程的效率,并定期对于管理流程进行优化;- 2)业务术语的定义引用了国家标准、行业标准,
d)第4级:量化管理级- 1)建立KP1分析指标监控业务术语管理过程的效率,并定期对于管理流程进行优化;- 2)业务术语的定义引用了国家标准、行业标准。
e)第5级:优化级- 1)参加行业、国家业务术语标准的制定;- 2)业界分享最佳实践,成为行业标杆。
12.2 参考数据和主数据
12.2.1概述
参考数据是用于将其他数据进行分类的数据。参考数据管理是对定义的数据值城进行管理,包括标准化术语、代码值和其他唯一标识符,每个取值的业务定义,数据值域列表内部和跨不同列表之间的业务关系的控制,并对相关参考数据的一致、共享使用。
主数据是组织中需要跨系统、跨部门共享的核心业务实体数据。主数据管理是对主数据标准和内容进行管理,实现主数据跨系统的一致、共享使用。
12.2.2 过程描述
过程描述如下:
- a)定义编码规则,定义参考数据和主数据唯一标识的生成规则;
- b)定义数据模型,定义参考数据和主数据的组成部分及其含义;
- c)识别数据值域,识别参考数据和主数据取值范围;
- d)管理流程,创建参考数据和主数据管理相关流程;
- e)建立质量规则,检查参考数据和主数据相关的业务规则和管理要求,建立参考数据和主数据相关的质量规则;
- f)集成共享,参考数据、主数据和应用系统的集成。
12.2.3 过程目标
过程目标如下:
- a)识别参考数据和主数据的SOR;
- b)建立参考数据和主数据的准确记录;
- e)建立参考数据和主数据的管理规范。
12.2.4能力等级标准
能力等级标准如下:
a)第1级:初始级- 1)在项目级已确认参考数据和主数据的范围;- 2)参考数据和主数据与部分应用系统进行集成。
b)第2级:受管理级- 1)识别参考数据和主数据的SOR;- 2)建立参考数据和主数据的数据标准,整合并描述部分参考数据和主数据的属性;- 3)建立参考数据和主数据的管理规范。
c)第3级:稳健级- 1)实现组织级的参考数据和主数据的统一管理;- 2)定义组织内部各参考数据和主数据的数据标准,并在组织内部发布;- 3)各应用系统中的参考数据和主数据与组织级的参考数据和主数据保持一致;- 4)明确各类参考数据和主数据的管理部门,并制定各类数据的管理规则;- 5)规范参考数据和主数据的管理流程,保证参考数据和主数据在各方面的应用;- 6)新建项目的过程中,统一分析项目与组织内部已有的参考数据和主数据的数据集成问题;- 7)分析、跟踪各应用系统中参考数据和主数据的数据质量问题,推动数据质量问题的解决。
d)第4级:量化管理级- 1)制定各部门的参考数据和主数据管理的考核体系;- 2)定期生成、发布参考数据和主数据管理的考核报告;- 3)优化参考数据和主数据的管理规范和管理流程。
e)第5级:优化级- 1)建立参考数据和主数据管理的最佳实践资源库;- 2)在业界分享最佳实践,成为行业标杆。
12.3 数据元
12.3.1 概述
通过对组织中核心数据元的标准,使数据的拥有者和使用者对数据有一致的理解。
12.3.2 过程描述
过程描述如下:
- a)建立数据元的分类和命名规则,根据组织的业务特征建立数据元的分类规则,制定数据元的命名,描述与表示规范;
- b)建立数据元的管理规范,建立数据元管理的流程和岗位,明确管理岗位职责;
- c)数据元的创建,建立数据元创建方法,进行数据元的识别和创建;
- d)建立数据元的统一目录,根据数据元的分类及业务管理需求,建立数据元管理的目录,对组织内部的数据元分类存储;
- e)数据元的查找和引用,提供数据元查找和引用的在线工具;[)数据元的管理,提供对数据元以及数据元目录的日常管理;
- g)数据元管理报告,根据数据元标准定期进行引用情况分析,了解各应用系统中对数据元的引用。
12.3.3过程目标
过程目标如下:
- a)建立统一的数据元管理规范;
- b)建立统一的数据元目录。
12.3.4 能力等级标准
能力等级标准如下:
- a)第1级:初始级 - 1)在项目文档中记录数据元的描述信息;- 2)数据元在项目数据模型建模的过程中得到应用。
b)第2级:受管理级- 1)在业务部门内统一记录公共数据元信息;- 2)在业务部门内建立数据元识别方法,进行数据元的识别、创建;- 3)在业务部门内建立数据元管理和应用的流程;- 4)在新项目建设过程中,建立数据元应用情况的检查机制,
c)第3级:稳健级- 1)建立组织内部数据元管理规范,规范数据元的管理流程;- 2)依据国家标准、行业标准对组织内部的数据元标准进行优化;- 3)建立组织级的数据元目录,提供统一的查询方法;- 4)保证数据元标准与相关业务术语,参考数据等标准保持一致;- 5)定期组织和开展数据元应用的相关培训;- 6)建立数据元的应用机制,进行应用偏差分析;- 7)对于数据元相关的问题进行处理和跟踪。
d)第4级:量化管理级- 1)发布数据元管理报告,汇总数据元管理工作的进展;- 2)制定各部门数据元的考核体系,生成数据元管理考核报告;- 3)根据数据元管理过程的监控和分析,优化数据元的管理规则,管理流程,定期更新数据元信息。
e)第5级:优化级- 1)参与国家标准或行业标准的制定;- 2)在业界分享最佳实践,成为行业标杆。
12.4指标数据
12.4.1 概述
指标数据是组织在经营分析过程中衡量某一个目标或事物的数据,一般由指标名称,时间和数值等组成,指标数据管理指组织对内部经营分析所需要的指标数据进行统一规范化定义、采集和应用.用于提升统计分析的数据质量。
12.4.2过程描述
- a)根据组织业务理需求,制定织内指标数据分类管理框架,保证指标分类框架的全面性和各分类之间的独立性;
- b)定义指标数据标准化的格式,梳理组织内部的指标数据,形成统一的指标字典;
- c)根据指标数据的定义,由相关部门或应用系统定期进行数据的采集、生成;
- d)对指标数据进行访问授权,并根据用户需求进行数据展现;
- e)对指标数据采集、应用过程中的数据进行监控,保证指标数据的准确性、及时性;
- f)划分指标数据的归管门、管职责和管理流程,并按照管理规定对指标标准进行维护和管理。
12.4.3过程目标
过程目标如下:
- a)建立指标数据分类规范、格式规范;
- b)建立组织内部统一的指标数据字典;
- c)指标数据定义,清晰的描述指标含义等;
- d)建立了统一的指标数据管理流程。
12.4.4 能力等级标准
能力等级标准如下:
a)第1级:初始级- 1)在项目中定义了指标分析数据,并在文档中进行了描述;- 2)项目组人员直接管理指标数据的增减、变更等需求,维护文档变更。
b)第2级:受管理级- 1)在业务部门内部初步汇总了当前的指标数据,形成了指标数据手册;- 2)在业务部门内部统一了指标数据标准和管理规则;- 3)在业务部门内部指定了指标数据管理人员,实现了指标的统一管理;- 4)建立指标数据管理流程,管理指标数据的增减、变更等。
c)第3级:稳健级- 1)根据组织的业务战略、外部监管需求建立统一的指标框架;- 2)在组织层面建立指标数据标准,包括指标维度、公式、口径、描述等;- 3)对于各部门的指标进行统一汇总,形成组织层面的指标数据字典并发布;- 4)明确各类指标数据的归口管理部门,进行本部门指标数据的管理;- 5)规范了组织层面的指标数据管理流程,明确了指标数据的管理需求,包括质量、安全等需求;- 6)对于指标数据相关的问题进行处理和跟踪。
d)第4级:量化管理级- 1)定期发布指标数据管理报告,阶段汇总指标数据管理工作的进展;- 2)制定各部门指标数据的考核体系,定期生成指标数据管理考核报告;- 3)应用量化分析的方式对指标数据的管理过程进行考核。
e)第5级:优化级- 1)通过指标数据的定义促进数据应用和数据价值的体现;- 2)在业界分享最佳实践,成为行业标杆。
13 数据生存周期
13.1 数据需求
13.1.1概述
数据需求是指组织对业务运营、经营分析和战略决策过程中产生和使用数据的分类、含义、分布和流转的描述。数据需求管理过程识别所需的数据,确定数据需求优先级并以文档的方式对数据需求进行记录和管理。
13.1.2 过程描述
过程描述如下:
- a)建立数据需求管理制度,明确组织数据需求的管理组织、制度和流程;
- b)收集数据需求,需求人员通过各方式分析数据应用场景,并识别数据应用场景中的数据分类、数据名称、数据含义、数据创建、数据使用、数据展示、数据质量、数据安全、数据保留等需求编写数据需求文档;
- c)评审数据需求,组织人员对数据需求文档进行评审,评审关注各项数据需求是否与业务目标、业务需求保持一致,数据需求是否使用已定义的业务术语、数据项、参考数据等数据标准,相关方对数据需求是否达成共识;
- d)更新数据管理标准,对于已有数据管理标准中尚未覆盖的数据需求以及经评审后达成一致需要变更数据标准的,由数据管理人员根据相关流程更新数据标准,保证数据标准与实际数据需求的一致性;
- e)集中管理数据需求,各方数据用户的数据需求应集中由数据管理人员进行收集和管理,确保需求的汇总分析和历史回顾。
13.1.3过程目标
过程目标如下:
- a)建立数据需求管理制度,统一管理各类数据需求;
- b)数据相关方对数据需求有一致的理解,能满足业务的需求;
- c)各类数据需求得到梳理和定义;
- d)数据的命名、定义和表示遵循组织发布的相关标准。
13.1.4 能力等级标准
能力等级标准如下:
a)第1级:初始级- 1)在项目层面,相关方评审和审批数据需求;- 2)在项目层面,建立了收集、记录、评估、验证数据需求并确定优先级的方法,将数据需求与业务目标、应用需求匹配一致。
b)第2级:受管理级- 1)业务部门建立了数据需求管理制度,对数据需求进行了管理;- 2)数据需求管理依托信息化项目管理流程运行;- 3)数据需求与业务流程、数据模型之间的匹配关系得到管理和维护;- 4)各业务部门自行开展数据溯源的工作。
c)第3级:稳健级- 1)建立了组织级的数据需求收集,验证和汇总的标准流程,并遵循和执行;- 2)数据需求管理流程与信息化项目管理流程协调一致;- 3)根据业务、管理等方面的要求制定了数据需求的优先级;- 4)明确了数据需求管理的模板和数据需求描述的内容;- 5)评审了数据需求、数据标准,数据架构之间的一致性,并对数据标准和数据架构等内容进行了完善;- 6)记录了产生数据的业务流程,并管理和维护业务流程与数据需求的匹配关系;- 7)集中处理各部门的数据需求,统一开展数据寻源的工作,
d)第4级:量化管理级- 1)定义并应用量化指标,衡量数据需求类型、需求数量以及需求管理流程的有效性;- 2)组织对数据需求管理流程开展了持续改善措施;- 3)覆盖外部商业机构对本组织的数据需求,促进基于数据的商业模式创新。
e)第5级:优化级- 1)在业界分享最佳实践,成为行业标杆。
13.2 数据设计和开发
13.2.1 概述
数据设计和开发是指设计、实施数据解决方案,提供数据应用,持续满足组织的数据需求的过程。数据解决方案包括数据库结构、数据采集,数据整合、数据交换、数据访问及数据产品(报表、用户视图)等。
13.2.2 过程描述
过程描述如下:
- a)设计数据解决方案,设计数据解决方案包括概要设计和详细设计,其设计内容主要是面向具体的应用系统设计逻辑数据模型、物理数据模型、物理数据库、数据产品、数据访问服务、数据整合服务等,从而形成满足数据需求的解决方案;
- b)数据准备,梳理组织的各类数据,明确数据提供方,制定数据提供方案;
- c)数据解决方案的质量管理,数据解决方案设计应满足数据用户的业务需求,同时也应满足数据的可用性、安全性、准确性、及时性等数据管理需求,因此需要进行数据模型和设计的质量管理,主要内容包括开发数据模型和设计标准,评审概念模型、逻辑模型和物理模型的设计,以及管理和整合数据模型版本变更;
- d)实施数据解决方案,通过质量评审的数据解决方案进入实施阶段.主要内容包括开发和测试数据库、建立和维护测试数据、数据迁移和转换,开发和测试数据产品、数据访问服务、数据整合服务、验证数据需求等。
13.2.3 过程目标
过程目标如下:
- a)设计满足数据需求的数据结构和解决方案;
- b)实施并维护满足数据需求的解决方案;
- c)确保解决方案与数据架构和数据标准的一致性;
- d)确保数据的完整性、安全性、可用性和可维护性。
13.2.4 能力等级标准
能力等级标准如下:
a)第1级:初始级- 1)在项目层面设计、实施数据解决方案,并根据项目要求进行了管理。
b)第2级:受管理级- 1)单个业务部门建立了数据设计和开发的流程并遵从;- 2)单个业务部门建立了数据解决方案设计和开发规范,指导约束数据设计和开发;- 3)建立了数据解决方案设计的质量标准并遵从;- 4)数据解决方案设计和开发过程中加强了数据架构和标准方面的应用;- 5)各业务部门根据需要开展数据准备工作。
c)第3级:稳健级- 1)建立了组织级数据设计和开发标准流程并执行;- 2)建立了组织级数据解决方案设计、开发规范,指导约束各类数据设计和开发;- 3)建立了组织级数据解决方案的质量标准、安全标准并执行;- 4)应用级数据解决方案与组织级数据架构,数据标准、数据质量等协调一致;- 5)数据解决方案设计和开发过程中参考了权威数据源的设计,优化了数据集成关系并进行了评审;- 6)明确数据供需双方职责,统一开展数据准备工作。
d)第4级:量化管理- 1)参考、评估并采用数据设计与开发的行业最佳实践;- 2)定义并应用量化指标,衡量数据设计与开发流程的有效性;- 3)组织对数据设计与开发流程开展了持续改善措施。
e)第5级:优化级- 1)数据设计与开发能支撑数据战略的落地,有效促进数据的应用;- 2)在业界分享最佳实践,成为行业标杆。
13.3 数据运维
13.3.1 概述
数据运维是指数据平台及相关数据服务建设完成上线投入运营后,对数据采集、数据处理、数据存储等过程的日常运行及其维护过程,保证数据平台及数据服务的正常运行,为数据应用提供持续可用的数据内容。
13.3.2 过程描述
过程描述如下:
- a)制定数据运维方案,根据组织数据管理的需要,明确数据运维的组织,制定统一的数据运维方案;
- b)数据提供方管理,建立数据提供的监控规则,监控机制和数据合格标准等服务水平协议和检查手段,持续监控数据提供方的服务水平,确保数据平台和数据服务有持续可用、高质量、安全可靠的数据,数据提供方管理包括对组织的内部和外部数据提供方;
- c)数据平台的运维,根据数据运维方队对数据库、数据平台、数据建模工具、数据分析工具、ETL工具、数据质量工具、元数据工具、主数据管理工具的选型、部署、运行等进行管理,确保各技术工具的选择符合数据架构整体规划,正常运行各项指标满足数据需求;
- d)数据需求的变更管理,数据需求实现之后,需要及时跟踪数据应用的运行情况,监控数据应用和数据需求的一致性,同时对用户提出的需求变更进行管理,确保设计和实施的一致性。
13.3.3 过程目标
过程目标如下:
- a)组织的内外部数据提供方可按照约定的服务水平提供满足业务需求的数据;
- b)保证数据相关平台和组件的稳定运行。
13.3.4 能力等级标准
能力等级标准如下:
a)第1级:初始级- 1)各项目分别开展数据运维工作,跟踪数据的运行状态,处理日常的问题。
b)第2级:受管理级- 1)对某类或某些数据确定了多个备选提供方,建立了选择数据提供方的依据和标准;- 2)在某个业务领域建立了数据提供方管理流程,包括数据溯源、职责分工与协同工作机制等并得到遵循;- 3)在某个业务领域建立了数据运维管理规范,并指导相关工作的开展;- 4)在某个业务领域对数据需求变更进行了管理。
c)第3级:稳健级- 1)建立了组织级数据提供方管理流程和标准并执行;- 2)建立了组织级的数据运维方案和流程并执行;- 3)数据运维解决方案能与组织级数据架构、数据标准、数据质量等工作协调一致;- 4)建立了数据需求变更管理流程,并以此对组织中的需求变更进行管理;- 5)定期制定数据运维管理工作报告,并在组织内进行发布。
d)第4级:量化管理级- 1)参考、评估并采用数据运维的行业最佳实践;- 2)定义并应用量化指标,衡量数据提供方绩效、衡量数据运维方案运行有效性;- 3)组织对数据运维流程开展了持续改善措施。
e)第5级:优化级- 1)参与制定国际、国家、行业数据运维相关标准;- 2)在业界分享最佳实践,成为行业标杆。
13.4 数据退役
13.4.1 概述
数据退役是对历史数据的管理,根据法律法规、业务、技术等方面需求对历史数据的保留和销毁,执行历史数据的归档,迁移和销毁工作,确保组织对历史数据的管理符合外部监管机构和内部业务用户的需求,而非仅满足信息技术需求。
13.4.2 过程描述
过程描述如下:
- a)数据退役需求分析,向公司管理层、各领域业务用户调研内部和外部对数据退役的需求,明确外部监管要求的数据保留和清除要求,明确内部数据应用的数据保留和清除要求,同时兼顾信息技术对存储容量、访问速度、存储成本等需求;
- b)数据退役设计,综合考虑合规、业务和信息技术需求,设计数据退役标准和执行流程,明确不同类型数据的保留策略,包括保留期限、保留方式等,建立数据归档、迁移、获取和清除的工作流程和操作规程,确保数据退役符合标准和流程规范;
- c)数据退役执行,根据数据退役设计方案执行数据退役操作,完成数据的归档、迁移和清除等工作,满足法规、业务和技术需要,同时根据需要更新数据退役设计;
- d)数据恢复检查,数据退役之后需要制定数据恢复检查机制,定期检查退役数据状态,确保数据在需要时可恢复;
- e)归档数据查询,根据业务管理或监管需要,对归档数据的查询请求进行管理,并恢复相关数据以供应用。
13.4.3 过程目标
过程目标如下:
- a)对历史数据的使用、保留和清除方案符合组织的内外部业务需求和监管需求;
- b)建立流程和标准,规范开展数据退役需求收集,方案设计和执行。
13.4.4 能力等级标准
能力等级标准如下:
a)第1级:初始级- 1)在项目层面开展数据退役管理,包括收集数据保留和销毁的内外部需求,设计并执行方案。
b)第2级:受管理级- 1)建立了数据退役标准并执行;- 2)对组织内部的数据进行统一归档和备份;- 3)在需要归档数据查询时进行数据的恢复;- 4)对数据退役、清除请求进行了审批。
c)第3级:稳健级- 1)全面收集了组织内部业务部门和外部监管部门数据退役需求;- 2)结合组织利益相关者的需求,建立了组织层面统一的数据退役标准;- 3)对不同数据建立了符合需求的数据保留和销毁策略并执行;- 4)制定了数据退役标准,定期检查退役数据的状态;- 5)对数据恢复请求进行审批,相关人员同意之后进行数据的恢复和查询;- 6)根据数据优先级确定不同的存储设备。
d)第4级:量化管理级- 1)参考、评估并采用数据退役的行业最佳实践;- 2)定义并应用量化指标,衡量数据退役管理运行有效性和经济性;- 3)组织对数据退役流程开展持续改善措施。
c)第5级:优化级- 1)数据退役提升了数据访问性能、降低了数据存储成本,并保证了数据的安全;- 2)在业界分享最佳实践,成为行业标杆。
标签:
大数据
本文转载自: https://blog.csdn.net/houliling/article/details/143107232
版权归原作者 Amy_ll 所有, 如有侵权,请联系我们删除。
版权归原作者 Amy_ll 所有, 如有侵权,请联系我们删除。