一、数据中台的产生与发展
1.1 脱胎于大数据的发展
在谈论数据中台之前，不妨先看一下大数据的发展历史：
有迹可循的大数据思想萌芽，可追溯至1974年，当时有学者在论文中首次提出了“大数据集”的概念，但一直到1991年，Bill Inmon出版了《建立数据仓库》一书，才真正算是在大数据领域有了被广泛接受的“数据仓库”定义。随后，在20世纪初，数据处理量达到TB级的情况下，数据处理、展现应用于业务带来的提升，学界的广泛认同和商界的快速产品化，证明了数据仓库的历史意义与价值。
从大数据发展的编年史，也许能看出一些端倪，为什么数据中台会在短短数年内从默默无闻到炙手可热。从2011年开始，大数据的发展仿佛进入了高速公路，无论是国际知名组织，还是国家层面，都将大数据上升到战略级地位。伴随地位的提升，大数据领域的研究在广度和深度上都不断得到拓展，从早期以硬件、网络为主的单一领域分类，扩展到平台化及场景化的数据仓库、元数据管理、主数据管理、数据质量、数据安全、数据科学等多元的领域分类。与此同时，数据仓库的概念正在被外延——衍生出“大数据平台”、“商业智能”以及“数据湖”的“逻辑数据仓库”概念，数据处理量从TB级跃升至PB级，开源的Hadoop生态正式开始商业化，数据中台在这个时期脱颖而出，也似乎并不突兀。
1.2 概念诞生于中国
“数据中台”是一个在中国诞生并实践落地的概念，已经被中国信息通信研究院、IDC、Forrester等多家权威技术评估机构认可和推崇。这表明数据中台已经进入逐渐成熟的阶段，也证明了数据中台在赋能企业业务发展方面具有持久的活力。
回顾数据中台的产生与发展，就不得不提它发端的企业——阿里巴巴。2014年阿里巴巴从芬兰Supercell公司接触到中台概念，2015年开始在集团内部积极践行。基于应用数据中台的实践经验，以及对以新零售、新金融等互联网技术和思维为核心的数据赋能业务的创新尝试，阿里巴巴开创了“大中台、小前台”的组织机制和业务机制。
2018年，百度、京东、腾讯等头部互联网企业在组织架构调整中增设中台部门或对应职能的组织，中台概念开始逐渐深入互联网企业，然后被全行业接受。
2019年，连锁零售行业通过数据中台打通了各个渠道的广告数据以及CRM、ERP等后台数据，实现了对用户画像、精准营销、个性化服务、门店管理等方面的数据支撑。地产行业通过数据中台整合多业务板块的资源，实现了资源的更大效能共享。金融行业利用数据中台实现了数据治理、数据资产管理、数据服务等能力。
2020年，政务数据中台开始在各省、市、区各级政府得到利用，实现了政府数据的统一管理、共享和开放，为政府决策、公共服务、社会治理提供数据支撑平台。政务数据中台的建设有利于提升政府治理能力和水平，增强政府公信力和透明度，促进社会创新和发展。
除此之外，近几年数据中台在制造、医疗、教育、传媒等领域也得到广泛应用，目前绝大部分大中型企业（包括一些政府部门、机构等组织，后面统一称作企业）把数据中台作为数字化转型支撑的必选。
二、数据中台的定义
2.1 概述
数据中台概念自诞生以来持续保持行业热度，但是目前为止对于数据中台并没有统一、标准的定义。
2.2 定义一
认为数据中台是云平台的一部分，同时包括业务中台和技术中台。
2.2 定义二
认为数据中台是数据+技术+产品+组织的组合，是企业开展新型运营的一个中枢系统。
2.3 定义三
认为数据中台可以理解为企业的最核心的数据大脑，是一种理念、一种思维，是一种面向未来的架构。
2.4 定义四
认为数据中台是高质量、高效赋能数据前台的一系列数据系统和数据服务的组合
2.5 定义五
认为数据中台是“计算平台+算法模型+智能硬件”，不仅有云端，还需要智能设备帮企业在终端收集线下数
2.6 我对数据中台的解读
从服务方到客户方，对数据中台的理解并不相同，如同1000个观众心中有1000个哈姆雷特一样。从多方对数据中台的理解也可以看出，数据中台不是简单的技术或者产品，而是一套体系、一套机制。
数据中台是一套可持续“让数据用起来”的机制，是一种战略选择和组织形式，是依据企业特有的业务模式和组织架构，通过有形的产品和实施方法论的支撑，构建的一套持续不断地把数据变成资产并服务于业务的机制。数据来自业务，并反哺业务，不断循环迭代，实现数据可见、可懂、可用、可运营。
通过数据中台把数据变为一种服务能力，既能提升管理、决策水平，又能直接支撑业务。数据中台不单指技术，也不单指产品，而是一套完整的让数据用起来的机制。既然是“机制”，就需要从企业战略、组织、人才等方面来全方位地规划和配合，而不能仅仅停留在工具和产品层面。
当然了，每家企业的业务与数据状况各不相同，业务对数据服务的诉求不同，数据中台的建设将呈现出不同的特点，没有任何两家企业的数据中台是完全相同的。数据中台的实施不仅需要一整套技术产品，更需要针对不同业务、数据、应用场景的体系化的实施方法和经验，过程中涉及企业的战略、组织、技术、人才等全面的保障和配合。
三、对数据中台的认知
3.1 概述
数据中台能否从自发的单点状态、媒体热点，变成数字经济的基础、普惠性的数据服务机制，取决于业界能否广泛接受以下几个认知并为之共同努力。
3.2 数据中台需要提升战略高度，并规模化投入
数据中台的目标是提供普惠数据服务，在“互联网+”行动计划和“智能+”的推动下，数字产业化和产业数字化成为数字经济的两大基础。数字产业化（互联网）从C端市场起步进而走向B端市场（互联网+），产业数字化天然在B端市场（+互联网）。
数据中台只有在B端市场被企业提升到下一代基础设施的高度，才能帮助企业从根本上解决数字化转型过程中遇到的瓶颈和痛点，例如数据孤岛林立（本质上是底层计算和存储架构的复杂性与异构造成的）、数据资产化程度低、数据服务提供效率与业务诉求严重不匹配等。
相比于信息化部门把数据中台中的某些功能和特性作为新技术来局部验证与引入，数据中台更需要企业从战略高度进行顶层设计，确定规模化投入政策，设置更合理的组织架构，以确保数据中台作为数据应用的基础设施并落地建设，承担起企业数据资产全生命周期的管理责任。
3.3 数据中台需要新的数据价值观和方法论来指引建设
数据中台所包含的数据技术创新可以在成熟的平台型企业内部孕育，技术的创新和融合应用于很多贴近业务的创新应用场景。但数据中台不仅仅是技术平台，倘若停留于此，就完全忽略了IT到DT的本质变化是围绕数据资产，企业面临的主要矛盾是无法解决业务端的灵活性和经营管理的稳定性之间的冲突，单纯地增大技术投入和人才投入都无法保障企业经营效能的持续提升。只有秉持数据价值观和方法论，才可能系统性地解决企业经营发展围绕数据的诸多问题。谁能率先解决面向数字经济特征的全新数据价值观和方法论的问题，并在其指引下打造出平台级能力，谁就能真正帮助企业把数据用起来。
3.4 数据中台建设会衍生出新人才要求，需要人才储备
人才永远是瓶颈，并且人才的具体定义在动态变化，需要为人才准备成长的土壤。信息化历程中从简单的搭建网站、单功能系统开发，到复杂系统开发、建设、运营，再到新技术引入等，都曾经是人才具体定义的重要关注点。
在社会范围内，信息化人才天然倾向于两类企业：成熟稳定的平台型企业或有成为成熟平台潜力的企业。企业只有围绕数据中台明确了人才的定位和职业通道，才可能吸引或培养出拥有业务、数据、分析等综合素养的新型信息化人才。企业需要尽快启动数据中台人才储备计划。
3.5 企业需要清楚数据中台的定位
伴随着云计算、大数据、人工智能等技术的迅速发展，以及这些技术与传统行业的快速融合，全社会数字化、智能化转型的步伐逐渐加快。放眼全球，数字经济占比逐步提升，数字经济增长成为经济增长的主要力量。产业数字化、数字产业化对数据应用都有直接的需求，数据应用成为每个行业增长的新动能。
数字化转型成功的企业，其内部和外部的交互均以数据为基础。业务的变化快速反馈在数据上，企业能够迅速感知并做出反应，而其决策与考核基于客观数据。同时，数据是活的，是流动的，越用越多，越用越有价值。随着数据与业务场景的不断交融，业务场景将逐步实现通过数据自动运转和自动优化，进而推动企业进入数字化和智能化的阶段。
传统IT建设方式下，企业的各种信息系统大多是独立采购或者独立建设的，无法做到信息的互联互通，导致企业内部形成多个数据孤岛。互联网、移动互联网的发展带来很多新的业务模式，很多企业尝试通过服务号、小程序、O2O平台、直播平台等新模式触达客户，服务客户，而新模式是通过新的平台支撑的，产生的数据与传统模式下的数据无法互通，这进一步加剧了数据孤岛问题。分散在各个孤岛上的数据无法很好地支撑企业的经营决策，也无法很好地应对前端业务的快速变化。
因此需要一套机制，通过这套机制融合新老模式，整合分散在各个孤岛上的数据，快速形成数据服务能力，为企业经营决策、精细化运营提供支撑。这套机制就是数据中台。所以企业要清楚明白数据中台的战略地位，搞清楚新模式与传统模式的区别和联系。
四、数据中台需要理清的概念
4.1 数据中台与业务中台
4.1.1 数据中台与业务中台的区别
业务中台更偏向于业务流程管控，将业务流程中共性的服务抽象出来，形成通用的服务能力。比如，电商平台有C2C、B2C、C2B、B2B四种模式，其中订单、交易、商品管理、购物车等组件都是有共性的。将这些组件沉淀下来，形成电商行业的业务中台，再基于这些业务中台组件的服务能力，可以快速搭建前台应用，譬如C2C模式的淘宝、B2C模式的天猫、B2B模式的1688、C2B模式的聚划算，用户通过这些前台业务触点使用业务服务。业务中台不直接面向终端用户，但可以极大地提升构建面向终端用户的前台的速度和效率。
业务中台抽象业务流程的共性形成通用业务服务能力，而数据中台则抽象数据能力的共性形成通用数据服务能力。比如，原始业务数据通过资产化、服务化，形成客户微观画像服务，这个服务既可用于电商平台的商品推荐，也可用于地产购房意愿，还可用于金融领域的信用评级。同一个服务，在应用层面展现的内容可能不一致，但是底层的数据体系是一致的。数据中台也将极大提升数据开发的效率，降低开发成本，同时可以让整个数据场景更为智能化。
4.1.2 数据中台与业务中台的联系
如果同时拥有业务中台和数据中台，则数据中台与业务中台是相辅相成的。业务中台中沉淀的业务数据进入数据中台进行体系化的加工，再以服务化的方式支撑业务中台上的应用，而这些应用产生的新数据又流转到数据中台，形成循环不息的数据闭环，如图所示：
业务中台与数据中台相互促进，为企业业务的发展、管理者更好的决策提供支持。其中，业务中台的存在是为了围绕公司业务流程运作进行服务，将获取的多维度数据传递给数据中台，由数据中台挖掘新的价值反馈给业务中台，以优化业务运营。
有人可能会有疑惑：数据中台和业务中台的建设是否有先后顺序？我是这么认为的：这两者的建设没有先后之分，主要依据企业的实际情况进行规划。
从数据层面看，业务中台只是数据中台的数据源之一，除此之外，企业还有很多其他的数据来源，如App、小程序、IoT等多源数据，可以将这些数据的价值直接赋能于现有业务或某个创新业务。
从服务层面看，数据中台的数据服务也不一定经过业务中台作用于业务，它还可能直接被上层应用系统进行调用和封装，如电商领域的“千人千面”系统。
而从业务中台的角度来看，如果没有数据中台，也可以做一些简单的数据处理，如简单的分析和统计等，但是涉及较复杂的分析、数据的挖掘等则难以实现。而通过数据中台对业务中台的赋能，则可以使业务中台拥有全维度、智能化的数据应用能力。譬如业务的推荐、圈人、风控、预警等能力。有了这些能力，业务系统将从信息化业务系统升级成智能化的业务系统。
4.1.3 .建设的必要性
建设中台是为了资源的共享利用，建设数据中台是为了数据资源更充分的共享利用，建设业务中台是为了业务资源更充分的共享利用。所以不管建立哪种中台，都要考虑是否有需要共享的资源，如果没有可共享的资源或者资源的共享度不高，建设中台就很难达到预期的效果。
企业要建立业务中台，要考虑是不是多业务单元经营模式，并且这些业务单元是否有比较高的相似度，这样才有业务资源共享的可能。如果是单一的简单业务模式，则谈不上共享业务资源；如果多个业务间差异比较大，也无法共享业务资源。不需要共享或者无法共享，建立业务中台就没有意义。
拿中台的提出者阿里巴巴举例子，阿里巴巴电商系有淘宝、天猫、聚划算、闲鱼、饿了么、飞猪等业务，这些业务各有特色，但是相似度很高，都需要管理卖家、买家、商品、订单、物流等，通过建立业务中台提供统一共享的卖家、买家、商品、订单、物流等服务，各业务单元利用业务中台提供的公共服务再结合自己业务单元的个性需求做一些定制，可以快速支撑业务所需，适应市场的快速变化。
比如阿里巴巴可以利用这些共享的业务服务能力，快速组装出淘宝特卖这样的新的业务应用。但是绝大部分企业并不像阿里巴巴这样有多个相似度很高的业务单元，它们要么业务单一，要么多个业务板块之间差异巨大，这样就很难找到可共享的业务单元，很难发挥中台的价值。
经过多年信息化的发展，很多企业积累了足够多的数据，利用好这些数据，让数据在多个业务环节共享，对于这些企业来说都是必要的。所以笔者认为，数据中台是每家有信息化基础的企业都要考虑建设的，而业务中台的建设则要根据企业的业务情况慎重决策。
4.2 数据中台与数据仓库
数据仓库的主要应用场景是支持管理决策和业务分析，而数据中台则是将数据服务化之后提供给业务系统，目标是将数据能力渗透到各个业务环节，包含但不限于决策分析类场景。数据中台持续不断地将数据资产化、价值化并应用到业务，而且关注数据价值的运营。
数据中台建设包含数据体系建设，也就是说数据中台包含数据仓库的完整内容。数据中台将企业数据仓库建设的投入进行价值最大化，以加快数据赋能业务的速度，为业务提供更快速、更多样的数据服务。数据中台也可以将已建好的数据仓库当成数据源，对接已有数据建设成果，避免重复建设。当然也可以基于数据中台提供的能力，通过汇聚、加工、治理各类数据源，构建全新的离线或实时数据仓库。
另外，数据中台一般采用全新的数据技术架构，可以更方便地进行数据价值的挖掘。随着企业的数据量越来越大，智能化场景越来越多，传统架构的存储计算能力无法满足这类数据业务的需求。而机器学习、深度学习等技术不断发展，从看似无用的数据中挖掘出新价值的能力越来越强，新的技术架构为这些场景的建设提供了很好的能力支撑。
4.3 数据中台与BI
BI（Business Intelligence，商业智能）是将企业现有的数据进行有效整合，面向业务经营提供快速、准确的决策依据。BI通常依赖处理好的结构化数据，以报表或者大屏等可视化方式提供给决策者。BI一般在数据仓库的技术层，面向不同的业务分析决策提供支持以及可视展现。当企业业务相对简单，涉及的系统相对较少时，可以在建设数据仓库或者数据中台之前，利用BI做业务的决策支持。但当企业的业务复杂度提升，系统繁多，BI难以对接多种复杂系统、复杂的异构数据时，就要考虑用数据中台或者数据仓库配合BI系统。有了数据中台，BI可以作为数据中台应用的一种出口，数据中台的数据体系中的应用数据层可以对接BI系统，面向不同的业务需要提供决策支持和展示。这样BI可以作为数据中台体系的一部分，用于决策分析可视的应用。
4.4 数据中台与数据湖
数据湖(Data Lake)是一个以原始格式存储数据的存储库或系统。它按原样存储数据，而无须事先对数据进行结构化处理。数据湖可以存储结构化数据（如关系型数据库中的表）、半结构化数据（如CSV、日志、XML、JSON）、非结构化数据（如电子邮件、文档、PDF）和二进制数据（如图形、音频、视频）等。
数据湖最初的目的是存储多种格式的数据。因为数据的价值难以在短期内挖掘，但是数据所包含的信息又可能在未来的某一时刻极其重要，所以为了把当前阶段难以挖掘的数据保存下来，以便在未来随时使用，人们提出了数据湖的概念。也就是说，利用相对廉价的存储方式，把企业尽可能多的数据存入数据湖，再在适当的时间点根据需要从数据湖中提取出需要处理的数据进行加工。
但是随着数据湖概念和技术的发展，数据湖已经不只是个数据存储池，而逐步融入了数据集成、数据处理、数据管理、数据挖掘、数据分析等一系列技术架构，与数据中台的定义越来越接近。
总体上看，国外更多人提数据湖，而国内提数据中台的比较多。笔者认为，数据湖可以与数据中台结合，数据中台是个更大范围的体系，数据中台的目标是管控好整个企业或者组织的数据，让数据尽可能服务于业务，提供价值。而数据湖可以作为数据中台的全量数据汇集存储的环境，数据湖的数据最终还是要通过治理和挖掘服务于业务，采集、存储、管理、挖掘、使用这些功能组件可以与数据中台融为一体。数据湖就是企业的全量数据资源池，通过数据中台这套体系来管理，通过数据中台的数据服务能力让数据更充分地利用起来。
4.5 数据中台与数据编织
数据编织(Data Fabric)是最近数据技术领域一个比较火热的词，业界对于数据编织有多种理解，并没有统一、标准的定义。综合业界的多个定义来看，数据编织是一种设计理念，通过一套数据架构思想，统一管理并链接所有数据源，利用知识图谱和AI能力面向不同的数据使用场景提供准确、方便的数据访问，从而更高效、更大限度地发挥数据价值。
数据编织旨在解决大数据时代海量数据以及多云的复杂架构导致的数据孤岛加剧、数据集成成本高、数据使用难的问题。有了数据编织这套设计理念，企业可以在不迁移数据的情况下，方便地了解自有的数据资源，并根据业务需要快速访问所需数据。数据编织融入了知识图谱和AI能力，能够将合适的数据在合适的时间传送给合适的使用者。基于以上分析，数据编织应包含以下几方面的能力。
- 异构数据源连接能力：能够连接多个系统多种异构数据源的数据，包括各种业务系统、数据仓库、数据湖、文档系统等。
- 智能数据编目能力：对连接的数据源进行自动识别并获取元数据，获取元数据的同时识别数据的消费行为，对数据和数据消费行为自动编目，形成企业数据知识网。
- 数据连接能力：能够在不同的数据之间建立连接，简化数据访问模式。
- 语义理解能力：理解数据的业务含义，面向不同的使用者有针对性地进行语义表达。
- 智能建模能力：面向不同的使用场景，具备自动的智能建模能力，帮助用户获取场景化的数据服务能力。
可以看出，数据编织是一种数据技术的设计思想，强调智能化的能力。而数据中台是一套让数据用起来的机制，不仅包含数据技术，还包含企业战略、组织文化、运营机制等多个方面，目的是通过一整套机制的配合让数据在企业业务中被持续用起来。数据中台和数据编织不是非此即彼的关系，两者可以相互配合。数据中台可以借鉴数据编织的设计理念，数据编织可以借鉴数据中台的运转机制。
4.6 数据中台与现有信息架构
如何唤醒沉睡的数据资产，把数据真正用起来，以支持自身业务的智能化升级，是摆在所有传统企业面前的数字化转型难题。因此，对于是否有必要建设数据中台这件事情，似乎并无太多质疑之声，但真要建设数据中台，尤其是落实到具体建设的实操阶段，企业又开始担心，它们最担心的莫过于建设数据中台是不是要将企业的现有信息架构推倒重来。
在整个信息化的过程中，随着企业的业务发展和战略调整，为了更好地适应和支撑业务发展，企业的信息化系统常有推倒重建的情况。伴随着一批又一批数据人员的成长和离开、行业专家和业务人员的晋升或转型以及技术的演进等，数据仓库也有推倒重来的案例。有了这些经历，新的技术方案的提出会不会推倒原有的系统，是不是又要适应新系统，成为大家的顾虑。
数据中台作为解决企业级数据应用难题的新方案，不是一套软件系统，也不是一个标准化产品。站在企业的角度，数据中台更多地指向企业的业务场景，即帮助企业沉淀能力，提升业务效率，最终完成数字化转型。因此，数据中台与企业的现有信息架构不存在竞争关系，不会导致企业现有系统、功能和应用的重复建设。
数据中台在定位上与业务IT系统并不冲突。企业原有的IT系统依旧会根据业务和IT技术的迭代不断升级，依旧会为企业的生产运营或者经营管理提供支撑。数据中台的定位则是在数据领域帮助企业不断沉淀数据能力。两者之间是相互依托、相互赋能、相互促进的关系。数据中台需要IT系统不断提供数据，而IT系统未来更加需要横向、综合的数据特征来支撑。只有形成了数据中台和IT系统良好的配合关系，才能更好地构建企业整体的IT支撑能力。
五、数据中台的意义
5.1 概述
在数字化时代，数据既是企业的核心资产，也是企业的核心竞争力。如何有效地管理和利用数据，是企业面临的重大挑战和机遇。数据中台是一个能够整合企业内外各种数据，提供统一的数据服务和能力的平台，是企业实现数字化转型和创新发展的战略支撑。
5.2 适应数字化时代的需求
随着互联网、物联网、云计算等技术的发展，数据的规模越来越大，类型越来越多样，来源越来越复杂，企业需要有一个能够快速响应和适应这些变化的平台，而数据中台就是这样一个平台。数据中台可以帮助企业实现数据的采集、存储、处理、分析、展示、应用等全流程的管理与优化，提升数据的质量、安全性和效率。
5.3 促进跨行业和跨领域的协同
数据中台可以实现数据的横向和纵向整合，打通企业内部和外部的数据壁垒，实现数据的共享和流动，从而促进不同行业和领域之间的协同与创新。数据中台可以帮助企业构建一个开放、共赢、协作的生态系统，实现资源的优化配置和价值的最大化。
5.4 提高企业的竞争力和价值
数据中台可以利用人工智能、大数据分析、机器学习等技术，对数据进行深度挖掘和洞察，提供智能化的数据服务和应用，支持企业的决策、优化、创新等，从而提高企业的竞争力和价值。数据中台可以帮助企业发现新的商业模式、产品、服务、市场等机会，实现持续的增长和变革。
好了，本次内容就分享到这，欢迎大家关注《数据中台》专栏，后续会继续输出相关内容文章。如果有帮助到大家，欢迎大家点赞+关注+收藏，有疑问也欢迎大家评论留言！
版权归原作者 夜夜流光相皎洁_小宁 所有， 如有侵权，请联系我们删除。