大数据质量管制规范示例

大数据质量管制规范示例

一、前提概要

在当今大数据信息时代，大数据平台（大数据平台开发规范示例）和大数据仓库（大数据仓库开发规范示例）的开发规范已成为组织和企业管理决策的重要基础。

随着数据量的不断增长和数据应用的广泛应用，确保数据质量成为了一个至关重要的问题。因此，有必要制定数据质量规范化管理制度来规范数据质量的管理和保证。

二、相关概念

• 应用系统：是按照信息一体化的要求,用于处理我司经营管理的应用软件系统。
• 数据：是指公司实施信息化管理过程中产生的所有电子数据。
• 数据质量：是指数据的及时性、完整性以及准确性。

三、管理原则

数据质量管理应遵循以下原则：

• 统一规范原则,各类应用系统采集和处理的数据,应符合各自应用系统所要求的数据标准。
• 层级考核原则,各个业务信息系统对各自的数据质量管理工作进行严格的目标管理考核。

同时，数据质量应遵循真实、完整、规范、及时的原则：

• 真实：应严格依据经营管理原始数据所记载的内容准确录入相关数据,如实反映,不得随意修改、增减。
• 完整：要按照各类应用系统的有关要求进行数据采集,保证数据齐全,避免数据的缺失。
• 规范：数据采集应按照应用软件系统的相关标准进行。
• 及时：数据要在规定的时间内采集,确保应用系统数据及时反映经营管理实际。

四、治理委员

数据治理委员会是公司数据质量管理的牵头部门，主要负责：

• 制定公司的数据质量管理的相关规章制度。
• 对各应用系统管理部门的履职情况进行考核、监督。
• 根据需要,参与对公司各应用系统数据质量管理的检查监督。
• 对违反数据质量管理规定,造成数据错误、失真、延误、漏填等违规行为进行问责。
• 向高管层报告我司数据质量管理执行情况。

五、应用管理

应用系统的管理部门，负责管理各自的应用系统,是本应用系统数据质量的主责任人，主要负责：

• 贯彻落实公司制定的数据质量管理的相关规章制度。
• 制定本应用系统录入、维护、审核的基本标准和规范性要求,并适时开展检查监督,保障数据管理符合规范性要求。
• 制定本应用的数据质量监控指标体系,定期对本级数据质量评估分析,及时解决数据质量管理中出现的问题。
• 提交本应用系统数据质量管理报告。

六、查验方式

数据检查采取应用系统使用部门自查和应用系统管理部门检查的方式。数据检查的方法有：

• 在业务软件使用过程中对数据库中已有数据进行检查。
• 用数据质量检查工具进行检查。
• 抽取源表与ODS层数据进行对比。
• 其它数据检查的方法。

检查的内容：

• 数据的处理是否及时、正确、全面。
• 数据的抽取是否规范、及时。

七、考核比率

考核的比率指标是：

• 信息采集率：已经采集进入应用系统的信息与应该采集进入应用系统信息的比率。
• 信息采集准确率：录入应用系统的正确信息与录入的所有信息的比率。
• 信息传输及时率：规定时期内传输的信息与检查期限内所有传输信息的比率。
• 信息处理率：考核期内处理的符合规定的信息与考核期内处理的所有信息的比率。

八、扣分标准

数量指标是指分级列出问题数据的数量,根据问题的严重程度,确定扣分标准,进行扣分。根据数据的重要程度具体分为四级：

• 只影响数据本身的完整性而不影响其他数据。
• 只影响本工作环节质量。
• 不仅影响本工作环节质量,而且影响后面工作环节数据处理质量。
• 数据质量错误造后面工作无法处理或无法工作。

九、责任划分

数据质量责任划分：

• 数据采集的责任部门即为数据质量的责任部门。
• 从数据库后台记录中确认的数据录入人员是数据质量的直接责任人。
• 将自己的用户名、密码提供给他人使用,或因保管不善导致他人盗用、冒用用户名、密码的,用户名所有者是数据质量责任人。

十、追责范围

数据质量责任追究范围：

• 因数据质量问题导致统计数据不能生成或生成错误的。
• 因数据质量问题导致其他部门工作不能正常开展的。
• 因数据质量问题影响经营决策行为的及时性、正确性的。
• 因数据质量问题损害客户合法权益的。
• 因数据质量问题造成财产、声誉损失的。

十一、其它条例

• 数据维护是按照应用系统的有关规定对错误的数据进行数据修改的行为。
• 数据维护由各应用系统管理部门按照各自应用系统的有要求,明确数据维护的权限和职责,制定数据维护的程序。凡是采集进入应用系统的数据,不得擅自修改、删除。
• 数据维护前应做好相应数据和系统的备份工作。能够通过系统模块解决的,经过审批后按照各类应用系统的操作规范进行维护。需要通过技术手段解决的，由责任人提出申请,由相关业务部门和技术部门审核确认,经主管行领导审批同意后,方可进行数据维护。
• 数据维护工作应严格备案,科技信息部对各应用系统管理部门报送的每项数据维护的时间、内容、维护原因、责任人等记录进行备案,涉及的书面材料必须登记存档。
• 数据维护人员在进行数据维护时,必须认真负责,避免在数据维护过程中产生新的错误数据。
• 数据检查是按照有关应用系统数据管理规定对数据及时性、完整性以及准确性进行的数据质量检查的行为。
• 应用系统使用部门在业务软件使用过程中发现错误数据,必须及时告知相应的数据抽取的责任人或部门进行维护。

十二、总结

数据质量规范化管理制度可以帮助组织识别和解决数据质量问题。通过明确数据质量的标准和指标，并建立相应的数据质量监控机制，可以及时发现数据质量异常，并采取相应的纠正措施，以确保数据质量符合要求。

总而言之，梳理数据质量规范化管理制度是为了确保数据质量，从而提高决策的科学性、客户满意度、业务流程优化以及法规合规要求的满足。这对于组织和企业的长期发展具有重要意义。

规范示例仅作为参考，实施过程中需要根据组织架构、业务要求和应用场景进行调整适配。