本网站含有烟草内容,未成年人谢绝访问

烟业智汇

零售户在线

微薰

手机版

您的位置:  首页 > 资讯 > 科技创新 > 正文

浅谈数据中台的构建与实施——以烟叶平台为例

2023年07月05日 来源:烟草在线 作者:张滔
A+ A

【摘要】数据中台是行业和企业管理数据资产的核心,它为一体化应用、创新场景、决策分析等提供标准化、智能化、场景化的数据服务。数据中台是实现行业和企业数据业务化、资产化和服务化转型的关键所在。掌握数据中台的作用、构建理念和演进特点,明确数据中台与业务中台、数据管理系统(主数据管理系统或数据管理系统本文中简称为MDM)、大数据平台、BI系统(BI数据仓库、BI数据湖仓本文中简称为BI系统)的关系,对行业和企业实现数据转型的“早见效”至关重要。

盘塘创客从数据中台的作用和理念出发,分析其内部构建要素。根据其演进特点,梳理了数据中台与业务中台、MDM、大数据平台、BI系统的区别;并以行业一体化项目烟叶平台为例,深入探讨数据中台省级基线版的实施方法、路径。希望能为烟草行业数字化转型提供一些参考和启示,为行业探索数据中台运营提供一些借鉴和支持。

关键词:数据中台;MDM;大数据平台;BI系统;数据资产

在数据驱动时代,数据作为最重要的生产要素和战略资源,对于企业决策支持、业务创新、价值创造等方面具有至关重要的作用。为安全、高效利用好企业内外部的海量数据,近年来出现了数据中台这种新型架构模式。

数据中台是行业和企业管理数据资产的核心,但究竟它的作用和理念是什么?如何在企业整体技术架构中演进?与业务中台、MDM、大数据平台和BI系统之间又存在怎样的区别和联系?这些问题,行业每一位数字化转型项目的参与者都需要深入理解和掌握。

1、数据中台的作用及理念

数据中台是指企业通过内外部多源异构的数据采集、治理、建模、分析、应用,使数据对内优化管理提高效率,对外可以数据合作释放价值。作为企业数据资产管理中枢,数据中台旨在打通企业各个业务系统之间的数据壁垒,构建一个统一、开放、高效、安全的数据平台,为各类业务场景提供标准化、智能化、场景化的数据服务,实现数据赋能。数据中台的核心理念是将数据转化为资产,通过规范化、标准化、智能化、共享化等手段,实现数据的价值最大化。

从数据中台的功能和理念出发,我们可以总结出数据中台的内部构建要素:首先,数据中台需要有强大的数据技术平台基础设施支撑,包括大数据平台、数据仓库和数据湖等支撑能力。其次,数据中台的核心作用是将数据转化为有价值的资产。再次,数据中台应具备一套完善的数据资产管理体系,涵盖数据采集、数据清洗、数据建模、数据标签、数据开放和数据安全等各方面的管理与控制。最后,数据中台还需要建立一套全面的数据服务运营体系,包括数据接入、数据存储、数据计算、数据分析和数据应用等。

2、数据中台的演进

根据应用架构和数据集成处理方式的变化,盘塘创客将数据中台的演进划分为五个阶段。

第一阶段,传统单体应用架构阶段。信息系统由企业自行建设,系统架构、数据库、开发模式各异,形成了烟囱式的结构。基础数据由各业务系统产生、维护,不同系统的数据属性不一致,导致数据孤岛或信息孤岛等问题。数据处理采用电子表格或手工方式填报。如图1所示:

图1.png

图1  传统单体应用架构

第二阶段,BI阶段。行业对系统架构、网络架构、平台架构进行了统一,通过一号工程实现行业各单位部分基础数据代码与行业代码的对应、订阅。使用ETL工具等,实现动态业务数据的同步和定时抽取。但是,仍存在基础数据属性不一致的情况,数据同步、数据钻取、分析延迟较大。如图2所示:

图2.png

图2  传统BI

第三阶段,数据集成阶段。针对基础数据由各业务系统产生、维护,导致的数据不一致问题,各企业在应用系统集成时,建立了数据管理系统或主数据管理系统。在MDM中实现基础数据统一管理维护,业务系统或其他新建系统需要使用时,通过接口分发的方式调用。此时的BI系统也发生了很大的变化,数据抽取分为两部分:静态基础数据从MDM系统抽取到ODS,动态共享数据从业务系统中抽取。这样,数据分析、决策能力明显提升,基础数据不一致问题得到较好解决。如图3所示:

图3.png

图3:数据集成阶段

第四阶段,数字中台实施阶段(现阶段)。数字中台省级基线版部署上线,行业一体化应用复用业务中台共享中心能力并沉淀数据。业务数据化已技术实现,数据业务化尚在形成中。此阶段各企业根据自身环境,结合《关于构建烟草行业数字中台体系的指导意见》和《烟草行业新型数字基础设施体系技术架构》内容,开始同步运营数字中台,朝“早见效”发力。数字中台尚未全面接管企业基础数据,需与MDM系统实现能力互补,并集成整合企业现有内外部数据资源。如图4所示:

图4.png

图4  数字中台现阶段

第五阶段,数字中台运营阶段(见效阶段)。基础数据管理功能已下沉到业务中台的各能力中心。数据中台作为业务应用的数据唯一服务提供方,通过自身的平台能力和业务中台数据的输送(业务数据化),已形成一套高效可靠的数据资产体系和数据服务运营能力(数据业务化、资产化、服务化)。当企业员工、创新团队或业务部门在面对市场环境变化需构建前台应用时,数据中台能实时提供数据服务能力。如图5所示:

图5.png

图5  见效阶段

3、数据中台与业务中台、BI系统、大数据平台的区别

在《浅析行业1242架构下的业务中台设计》文中,笔者认为“中台是基于企业资源整合的需要,形成的能力枢纽和能力共享中心。中台是在集中的基础上建设分权的业务,进行联通,并为各业务提供统一的服务,将企业各式各样的资源转化为易于前台使用的能力”。对于业务中台来说比较好理解,就是将企业共性业务能力下沉,形成多个微服务化的业务能力中心供上层应用使用。对数据中台的理解则是指,把企业内外部数据资源整合形成资产,以共享的数据服务能力提供上层各类业务应用使用,并持续地迭代循环。

3.1 数据中台与业务中台

数据中台和业务中台本身是相辅相成的,业务中台沉淀的业务数据进入到数据中台进行体系化加工,再以服务化的方式支撑业务中台上层应用,而这些应用产生的新数据又重新流转到数据中台,形成循环不息的数据资产服务闭环。两者的区别在于,业务中台重点是业务数据化,而数据中台重点是数据业务化。

3.2 数据中台与BI系统

BI系统主要支持管理决策和业务分析,数据中台则是将数据服务化,为业务应用提供数据能力,让数据能力渗透到各个业务环节,不仅限于决策分析。数据中台不断将数据资产化、价值化,并运营数据价值。数据中台和BI系统有共性,也有特性。共性是都需要数据采集集成,数据存储,数据模型构建,数据开发和分析。特性是数据中台需要有统一的数据服务能力开放层,而BI系统更注重数据分析和报表展现;此外,数据中台实时协同于业务应用,服务于业务增值、业务创新等需求,BI系统服务于管理经营决策。这导致两者在数据模型构建,数据开放和提供策略上有所不同,但核心的底层数据平台能力则是一致的。

3.3 数据中台与大数据平台

数据中台底层架构包含了大数据平台的核心架构和分布式存储,以及实时计算和流处理能力。此外,数据中台架构中为业务应用提供数据能力的数据服务层,这是传统的数据湖仓或大数据平台所没有的。如图6所示,红色框为数据中台的大数据能力支撑层。

图6.png

图6  数据中台架构

正因数据中台与企业已有的MDM、BI系统、大数据平台有诸多共性,所以在实施数据中台项目时,首先需要对企业现有数字资产分析评估,看如何保留资产、复用资产,如何迁移数据。

4、数据中台省级基线版的实施路径探讨

《关于构建烟草行业数字中台体系的指导意见》明确指出:“数据中台省级基线版拥有10项数据管控和3项数据运营能力,同时构建了4项数据应用中心。”从技术架构的角度看,数据中台省级基线版已具备数据资产管理体系和数据服务运营体系管控能力的雏形。数据中台省级基线版的实施工作主要包括两个方面:一是建设数据技术平台;二是按照信息分类与编码管理要求,做好数据内容和数据资产的建设。如图7所示(蓝色部分表示企业实施工作内容)。

图7.png

图7  数据中台省级基线版实施工作内容

但在实施过程中,我们不能忽视数据与业务之间的紧密关系。数据中台的实施需要将业务数据和前台应用紧密结合。以行业一体化平台的烟叶应用为例,它在数据中台基础上覆盖了多种业务应用场景,如图8所示(蓝色部分表示企业实施工作内容)。在这种情况下,数据中台省级基线版实施工作的项目范围和技术难度都已明显增大。然而,在现有组织形式和项目知识领域下,除开数据技术平台建设的实施工作之外,其他实施工作内容都只能由烟叶平台项目组承担,数据资产分层、建模等技术挑战也只能由烟叶平台项目组应对。这一切只因数据资产源于业务(详见《浅析行业数字化转型之烟叶平台运营的挑战与思考》)。

图8.png

图8  叠加烟叶业务场景后的数据中台实施内容

在叠加业务平台应用场景后,数据中台省级基线版实施的目标就显而易见了。即实现业务中台共享数据和企业内外部基础数据的跨域整合,再经数据资产管控体系如采集、清洗、建模、标签等流程加工处理后形成企业的数据资产,并按运营体系要求提供数据资产服务。为实现企业数据业务化、资产化、服务化转型 “早见效”的目标,可以采取以下技术路径:

一是分析评估现有企业数字资产,包括大数据平台、数据集成平台、MDM、BI系统等,确定哪些可以保留、哪些可以复用,以此构建底层数据技术平台;

二是配合行业一体化项目建设进度,分业务线开展业务领域分析,厘清行业一体化应用与企业应用的边界,同步梳理业务架构和数据架构。形成满足行业管控和省级业务需求的,业务能力域蓝图和业务数据蓝图(例如,烟叶平台行业侧计划物流管控的8大业务流程及数据,省级侧业务运营涉及的生产、收购、调拨、复烤加工等业务流程及数据);

三是结合信息分类与编码管理要求及研发管控系统开展业务域数据治理(数据中台管控范围不能完全覆盖企业所有数据治理的规范流程,但通过信息分类与编码及研发管控系统管理后数据治理的规范流程就能延伸到原有IT系统及新建IT系统);

四是结合一体化平台业务应用、省级扩展应用,构建数据视图形式的数据资产服务提供能力,实现基础数据在双中台间闭环流转;

五是利用底层数据技术平台,将业务关联的内外部系统、业务中台、MDM进行数据采集和集成,汇聚形成数据中台的ODS层,按照业务场景构建不同层级的数据资产(如DWD、DWS、ADS等),并进行各层的数据建模;

六是如果企业自身的数据内容管理还不完善,而且短期内无暇对省级原有业务应用进行微服务架构转型,那么笔者建议优先完善和改造MDM,使其能够适配数据中台的数据资产管控和运营服务管控。这样比去构建一个大而全的业务中台,或构建一个全业务能力中心,更高效、更加切合实际。

七是数据中台是企业宝贵的数据资产,受到数据安全法和信息系统等级保护等法律法规的制约。为了保障数据的安全性和合规性,实施过程中的安装、部署、调试等操作环节最好由企业自身人员亲力亲为,以便在后期运营中及时应对可能出现的问题和挑战。

结语:盘塘创客所述,仅是对数据中台省级基线版实施的一家之言,主要说明其实施的核心要义。数据中台省级基线版实施不仅是搭建一个大数据技术平台,也不仅是服务于行业一体化应用。它需要充分考虑法律法规、企业自身的业务需求、数据资源状况、组织结构和文化背景等多方面因素,并在此基础上以行业数据资产管控和省级业务运营为导向,整合企业的数据资产和数据内容,打造一个支持行业数据资产管控和省级业务运营的数据服务能力。通过业务数据化、数据业务化的迭代循环,提升企业数据资产的价值和效益,实现数据业务化、资产化、服务化转型的“早见效”目标。这才是数据中台省级基线版实施的真正价值所在。

声明:本文系烟草在线用户的原创作品,所有内容均代表作者个人观点,并仅供学习和交流之目的。本文内容未经授权,严禁任何形式的转载。如有转载需求,请通过微信号“tobacco_yczx”联系客服烟小蜜,以获取正式授权。

热文榜

更多

视频

更多

专题

分享到微信朋友圈×
打开微信,点击底部的“发现”,
使用“扫一扫”即可将网页分享至朋友圈。