数据与商业：数字化转型浪潮下的追逐与成就

近年来，随着移动互联网、大数据、云计算、物联网等技术的发展，越来越多的企业开始思考，如何运用现代数字化技术来突破自身发展的瓶颈。

从外部环境来看，人口红利逐渐消失，国际贸易的摩擦、生态环境保护的加强，市场消费的升级、开放市场的逐步趋于饱和，我们需要数字化转型来完成或者完善自身的IT基础建设，转变运营模式，通过海量数据的分析处理找到数据蕴藏的巨大商机。

从企业内部环境看，从前的企业主要是依靠人来运营，很多商业决策和商业要素没有将数字化纳入其中，没有实现智能化，企业的经营管理与市场运行脱节，我们需要数字化转型来使得在运营各个环节产生的数据来回馈指导决策的制定。

从企业IT架构看，传统企业的IT架构在构建之初，围绕着生产、流通、服务等具体的经济活动展开，天然缺乏以软件和数据平台为核心的数字世界入口。典型的特点是形成了“一类业务，一个IT系统，一个数据库”的封闭IT架构，形成了数据孤岛和数据烟囱。比如系统语言的不统一，系统的数据不贯通，同样的数据需要在不同的系统中重复录入，甚至出现数据录入错误。

商业模式的发展和变革，让企业纷纷看到了企业业务数据在实际场景中的复杂和无序。哪怕是在数字孪生的世界中，可量化、可捕捉的数据，最终无序汇集，无法被有效利用，指导企业的运营和决策。数据和商业，在技术和企业飞速发展的大背景下，互相掣肘，又始终纠缠，企业终究需要进行数字化转型去解决这种局面。

一、商业的数字孪生：什么是数字化转型？

企业数字化转型就是要打造一套数据和商业互为促进，相辅相成的闭环系统。基于数据分析的结果引导企业的商业行为，商业行为又生成数据，继续反馈到数据分析里，数据分析再次指挥商业行为。如此反复，数据和商业行为之间形成一个动态的、循环拟合的运转状态，帮助企业实现数字化转型的目标，获得良好的业绩，实现持续成长。

如何实现数字化转型

企业数字化转型不可一蹴而就，而是一个系统性工程，是一种系统性的变革和创行，包括了战略制定、数据治理、技术更新、产品创新、组织变革、管理变革等。

企业数字化转型是一个至上而下的过程，需要从领导层面重视这个变更，从而推进这个过程。需要认识到数字化并非只是浅层的统计分析，而是要关注数字化技术与业务、与组织架构、生产流程、管理模式的融合。需要认识到数据也是企业重要的资产，通过数据治理来实现数据的打通和共享，形成数据资产。

企业数字化转型需要将数据资产化、资产服务化，将数据用起来。通过数据采集、数据治理、数据挖掘、数据分析、智能应用等方法，通过建立数据模型达到应用的沉淀、将共享的数据和沉淀的应用形成闭环，让应用生成数据，让数据完善应用，最终快速满足用户需求，实现降本增效。

企业数字化转型首先需要的数据。只有在生产和运营过程中产生和积累了大量高质量、安全和可靠的数据，才能谈得上进行数据的治理和挖掘分析。

企业数字化转型需要数据中台。数字化转型是一个不断学习、迭代、拟合的过程，底层技术架构依托数据中台的建设，数据中台支撑着企业上层应用。以海量的数据为依托，利用数据中台为抓手，将现有的运营、管理、研发等思维重新组合、利用数字化实现数字智能化。

二、数据分析与数据驱动：什么是数据中台？

数据中台不是一套系统，也不是一套产品，而是一种机制。在传统IT架构中，不同部门，不同业务系统和不同的数据中心会产生大量数据。这些数据如果烟囱一样是垂直划分的，彼此之间无法连接，我们也把这种数据叫做数据孤岛。分散在各个孤岛上的数据彼此独立，无法很好的支撑企业的经营决策，也无法很好地应对快速变化的前端业务。因此，我们需要一套机制，利用这一套机制整合这些分散在各个孤岛上的数据，为企业经营决策、精细化运营提供支撑，这套机制就是数据中台。

数据中台核心能力

数据中台不会生产数据，只会对数据进行治理。数据中台具备4个核心能力：数据汇聚整合、数据提纯加工、数据资产化，数据服务化。

1.数据汇聚整合

数据中台的构建，第一步就是让企业内部各个业务系统的数据实现互联互通，从物理上打破数据孤岛，元年数据中台主要通过元数据采集和数据集成来实现。

元数据是描述数据的数据，除了业务逻辑直接读写处理的那些业务数据，所有其它用来维持整个系统运转所需的信息和数据都可以叫做元数据。比如数据库的Schema、Table、Column信息等。通过对元数据的采集，我们获取了对数据源数据的描述信息。

在对数据进行集成的过程中，元年数据中台支持数据的全量同步和增量同步两种方式。全量同步即读取整表数据或者读取整库数据并写入；增量同步通过不同的增量策略，来追加写数据。很多企业结合自身实践开源了一些优秀的集成工具，如DataX、Sqoop等。

在对数据进行集成的过程中，元年数据中台支持数据的全量同步和增量同步两种方式。全量同步即读取整表数据或者读取整库数据并写入；增量同步通过不同的增量策略，来追加写数据。很多企业结合自身实践开源了一些优秀的集成工具，如DataX、Sqoop等。

当我们手中已经有了同步后的数据，这些数据还没有价值，还需要对其进行加工处理，就像对原油提纯加工形成石油、橡胶等不同产品一样，我们也需要对这些数据进行提纯加工。

（点击查看大图）

2.数据提纯加工

将原始数据通过清洗、转换、加工等手段，变成对我们有价值的数据，这个过程就是数据的提纯加工。元年数据中台对数据的加工支持离线开发和实时计算两种计算方式。

离线开发封装了大数据相关技术，包括数据加工、数据分析，同时也整合了任务的调度、监控、告警等。在数据开发过程中，经常需要配置作业的上游依赖作业，这样作业之间就会形成一个有向无环图（DAG）。元年数据中台将此过程进行了可视化设计，更加友好的面向离线开发的使用者，仅通过在画布中拖拽不同的数据组件即可完成整个数据流的构建过程，然后交由基于Spark的数据引擎进行处理。

实时计算是对流计算能力的封装，其起源于对数据加工时效性的要求，即数据的业务价值随着时间流逝而降低，因此必须尽快对其进行计算和处理。元年数据中台通过读取数据库的操作日志（BinLog），并将其导入到Kafka中，整个过程也是通过Spark的流处理来实现实时计算。

3.数据资产化

当数据已经有价值之后，我们还需要对其进行整理，将其分门别类，形成企业可以感知、使用、管控的数据资产。元年数据中台通过业务板块、数据域和逻辑表等维度，对数据资产进行了管理。

业务板块是根据业务的属性进行划分而得到的一种比较大的分类标准，各个业务板块中的业务重叠度极低，如银行板块、燃气板块、商旅板块等。

数据域是数仓的顶层划分，是一个较高层次的数据归类标准，也是对企业业务的抽象提炼和集合。一个数据域对应一个宏观分析域，比如交易域、客户域等。

逻辑表是物理表的视图抽象。

（点击查看大图）

4.数据服务化

我们有了数据资产之后，还需要将其用起来，即对上层的业务层面进行数据支撑。元年数据中台提供了应用层面和API层面两个层次的服务，同时对服务的访问控制、流量控制、审计等都做出了相应的处理。

（点击查看大图）

数据中台建设方法论

1.理现状：梳理企业的系统建设，业务特点、现有IT系统架构的痛点。

2.立架构：所谓架构，即是根据现状形成的整体规划蓝图，呈列现状和规划状态。在立架构阶段需要进行业务架构、技术架构、应用架构和组织架构的建设。

3.建资产：通过数据集成、数据开发形成有价值的数据，再对其进行资产化管控，同时通过标签体系的建设，方便的支撑应用。

4.用数据：将数据用起来，将数据服务化，同时考虑数据质量和数据安全的问题。

5.做运营：数据中台的构建是一个持续，需要不断的进行PDCA戴明环的过程。

三、数据驱动成就商业新模式

企业数字化转型是企业适应新时代竞争，解决自身运营、管理及IT系统架构痛点的必经之路。企业可以通过数据中台建设方法论，结合企业自身具体情况，以数据中台为抓手，将数据打通，把数据管起来，用起来，真正实现对前台业务的支撑平台化。

数字时代，基于数据驱动实现更好的客户体验，更高的组织效能，形成更好的商业竞争力，是现下普遍共识。通过数据驱动的方式构建“企业经营大脑”，这种新型管理模式将成为企业的必然选择。数据驱动企业商业模式变革，数据中台的建设变得尤其重要。

元年认为，数据中台的核心价值在于数据赋能业务, 要结合业务场景，让数据实现业务价值，实现企业的经营战略目标。在企业数字化转型的道路上，元年以数据驱动业务夯实的数据业务底座，盘活全量数据赋能业务场景，帮助企业创建高效、灵活、良好体验的场景化数据应用，实现数据与商业的有机链接，共创数据驱动型企业，帮助企业发掘新型商业模式实现业务增长。