168页6万字企业数字化转型及数据中台建设方案（WORD）

原文《企业数字化转型及数据中台建设方案》WORD格式，共168页，约6万字，来源网络公开渠道，旨在交流学习，如有侵权，联系速删，更多参考公众号：优享智库

更多参考公众号：优享智库

建设目标

针对本次系统接管与替换，在整体架构上考虑以中台支撑现有系统的发展，基于智慧平台构建的OSS数据中台，实现数据专业整合，打通专业信息壁垒和数据孤岛，提升数据规范化水平。实现数据集中存储和业务逻辑的数据处理，包括按时间粒度和维度组合的数据汇总。同时数据中台中的数据可根据需要封装后直接对上层应用开放。

数据资产一键发布

依托统一的元数据库，将开发完成的标签、指标数据一键发布到标签库、指标库、。

标签库：展现企业的标签数据，用于包括开发人员、业务人员、运维人员理解系统标签库的现状，支撑其进行数据订阅使用、生命周期管理等应用。

指标库：展现企业的指标数据，用于包括开发人员、业务人员、运维人员理解系统标签库的现状，支撑其进行数据订阅使用、生命周期管理等应用。

数据资产可视、可用、可管理强化元数据管理能力

将数据开发过程和元数据登记录入过程融合，实现元数据信息的自动录入。

实现数据开发的统一管控

数据生产各环节的开发工作基于数据管理模块实现，各环境的元数据信息自动获取，并同步给其他应用系统，确保应用系统的元数据信息与数据管理模块一致。

数据资产应用审批

确保数据资产安全，上层应用或用户申请数据使用时，需要通过流程审批。

数据对外开放信息完整

提供样例数据查询，字段级统计数据查询，以方便开发人员选择所需数据资产。

数据质量可控、可视、可追溯数据标准落地

结合湖南移动网络运维与业务发展要求，梳理适合本地的数据标准，并基于数据管理模块完成数据标准的IT落地。

数据血缘关系可视

通过数据生产各环节的元数据信息自动获取，形成端到端的数据血缘关系，通过可视化手段呈现数据血缘关系。

端到端数据质量监控

依托数据标准与数据血缘关系的构建，建立数据质量稽核告警与端到端可视化呈现机制，质量情况可监控，可量化。

建设思路

系统整体分为数据采集层、数据模型层、能力开放层及功能域。

数据采集层：采集层采用模块化设计思想，从业务功能上分为采集适配器、数据处理层、采集调度层、数据共享层四个层次，并通过系统自身管理模块实现自身的业务逻辑控制和管理，通过多维监控和质量管理，实现对系统平台的实时多角度监控与数据质量管理；同时，开放标准化的外部管理接口，以实现对外的可管理性。业务功能层面，每层只需要关心本层的数据、业务逻辑和业务实现，层与层之间通过标准接口进行交互，能更好地实现系统的可扩展性。数据模型层：结合业界规范和多年的O数据数据建模经验，综合考虑了数据特点、存储方式、处理效率、处理复杂度、访问效率及模型扩展性等方面，采用了模型分层设计的思想，分为原始数据层、基础数据层、融合信息层、应用数据层四层，实现了数据源和加工处理过程的分离，保证了数据流向清晰，提高了数据访问效率等。能力开放层：主要提供发布订阅模式、异步模式、同步模式等不同模式的数据开放共享。数据治理功能域：提供对数据的统一治理能力，主要包括数据标准管理、元数据管理、数据资产管理、数据安全管理和数据质量管理等能力。

建设方案采集层采集适配模块

采集适配模块实现网元直连网管接口采集和OMC北向接口适配采集；采集适配器层接收采集任务，实现与设备侧的接口协议适配，从设备侧获取原始数据，进行数据采集，采集适配器的功能组成如下：协议适配、数据获取，并支持被动接收设备侧发送的数据。采集的源数据通过适配器北向接口向上共享。

采集适配器支持实时数据、非实时数据；协议接口类型支持文件接口、数据库接口、指令接口、Syslog接口、NetFlow接口、SNMP接口、CORBA接口等主流网管接口类型，同时支持接口类型的扩展。

系统提供采集适配器的注册、动态加载及注销功能，并提供采集、处理适配器参数配置界面，以及适配器状态查看功能。并对适配器进行手工的状态变更，比如启动、停止、重启等操作。

采集过程数据检测

能够及时检测设备侧发送过来的文件准备好消息通知或者原始数据准备情况，数据准备好消息接收到后立即进行采集；数据始终未达到设定的完整标准，也能把部分准备好的数据进行采集，可配合厂商侧的情况，尽最大可能完整及时的采集数据。

数据处理适配器

数据处理适配器接收调度中心的数据处理命令，将采集适配器生成的数据进行处理、关联运算，通过ETL过程将数据录入到数据库中。

数据处理适配层接收处理任务，对数据进行解析、格式化，并根据需要进行,风暴抑制、数据上报、KPI指标计算。原始数据、格式化数据、KPI指标均可以推送到数据共享层，可以文件、数据库、消息等方式进行传送和保存。可以有选择地提供告警数据过滤能力。

数据采集策略的定制管理

根据第三方应用，或者定制的配置、性能和告警数据的特性，采用不同的策略利用导航方式创建采集流程，描述了在何时到何地采集什么样的数据。

以向导式根据不同业务需求创建合适的采集策略。

根据性能、配置和告警数据的特性，采用不同的策略创建流程，明确创建过程，降低用户输入错误率。

创建策略的步骤有采集数据（数据源和数据集）、处理数据（标准化）和制定策略。描述了在何时到何地采集什么样的数据。

数据补采

当任务执行失败后，具有对某个环节进行一定的重做能力，包括重新采集和数据处理环节的重做；补采主要是指自动补采的能力，根据补采的规则进行任务级别的补采。

采集调度模块

采集调度模块实现对各类采集任务的统一调度管理；

（1）根据策略，生成相应的任务，进行分发。

（2）接收适配器发送来的采集任务执行情况查看请求，如：采集节点的内存、CPU、磁盘占用率，采集节点当前正在运行任务的情况。

（3）接收自动补采模块发送的任务信息，然后对该任务进行分发。

（4）任务的重做或补采: 当任务执行失败后，具有对某个环节进行一定的重做能力，包括重新采集和数据处理环节的重做；补采主要是指自动补采的能力，根据补采的规则进行任务级别的补采。

（5）通过消息通道，发送任务消息到采集适配器。

（6）负载均衡策略，保持各采集适配器负荷基本均衡，进行动态的负载分担，可以参考采集适配器硬件配置、CPU占用率、内存总量、内存占用率和采集机空闲线程数、任务负载权重等信息。

（7）在采集适配器出现异常后，能够把未执行完成的任务重新执行。

（8）容灾能力：包括三种级别的容灾，即任务、适配器实例和调度中心容灾。任务级别的容灾是指当适配器实例宕机时，该适配器实例中的任务可以切换到其他适配器实例中执行；适配器实例级别的容灾是指当一个适配器实例宕机时，该适配器的其他实例可以接管任务的执行；调度中心级别的容灾是指一个调度中心服务宕机后，其他调度中心服务可接管调度工作。

采集策略接收

接收从数据共享层下发的策略信息，并把这些策略信息保存。这里的策略是指：采集的任务，该去哪个范围去采集，用什么频率去采集等。

采集目标网元资源与综合资源数据信息相关联，能够自动识别、同步网元信息，并能自动化完成采集关联动作。

任务生成

根据策略数据生成任务，任务中包含采集源标识、指标组列表、采集的起始时间、结束时间、网元信息、任务唯一标识。具有任务启停功能，即对已经停止或需要启动的采集任务，在界面上单击启动按钮，启动采集任务，对已经在运行的采集任务单击停止按钮，停止采集任务。

任务分发

接收任务生成模块生成的任务，进行分发。接收状态监控模块发送来的采集任务执行情况查看请求，如：采集节点的内存、CPU、磁盘占用率，采集节点当前正在运行任务的情况。接收自动补采模块发送的任务信息，然后对该任务进行分发；通过消息通道，发送任务消息到采集适配器。

任务分发能够判断系统是否支持分布式软件部署，并能够依据各采集节点的负荷忙闲情况每次总是优先选择负荷最低的采集节点下发采集任务，以实现计算资源的负荷分担。

（1）接收任务生成模块生成的任务，进行分发。

（2）接收适配器发送来的采集任务执行情况查看请求，如：采集节点的内存、CPU、磁盘占用率，采集节点当前正在运行任务的情况。

（3）接收自动补采模块发送的任务信息，然后对该任务进行分发。

（4）通过消息通道，发送任务消息到采集适配器。

（5）负载均衡策略，保持各采集适配器负荷基本均衡，进行动态的负载分担，可以参考采集适配器硬件配置、cpu占用率、内存总量、内存占用率和采集机空闲线程数、任务负载权重等信息。

（6）在采集适配器出现异常后，能够把未执行完成的任务重新执行。

下图描述了性能、配置和告警数据采集的整体调度过程，分为两个阶段：消息触发和任务运行。

该架构包含了同步和异步的采集机制，异步方式的分离，有利于采集过程的统一。

具备负载均衡调度能力。可以通过采集机资源空闲优先等（根据排队任务数、CP负荷、内存占用率、IO等）策略选择合适的适配器实例完成数据的采集。

统一采集系统采用负载均衡管理实现采集节点的扩展和任务的均衡分配，但当单个或多个采集节点由于突发原因出现高负荷时，按照正常的动态分配和扩展机制会造成高负荷节点向其他采集节点波及，影响其它正常采集节点，进而导致整个采集层效率下降，请详细描述该问题的解决方法。

系统采用分布式云部署，调度也是云调度。在负载均衡过程中，系统采用最优适配器算法，即根据采集机负荷的评估动态选择合适的适配器实例，可以有效的利用分布式资源，从而高效的进行任务调度，确保采集任务的及时、高效。

调度中心与适配器方便的进行热插拔式的升级扩容。

新增的调度中心可即时分担调度工作，升级则可以将原来的重启，可实现24小时运行服务。

新增的适配器实例可即时分担采集工作，升级则可以将原来的重启，可实现24小时运行服务。

此两者容灾的能力将使整套架构均能达到每一层的扩容能力，即任何一层中的服务都可以随时增加，而不会对系统运行造成致命的影响。

系统支持采集任务迁移功能，迁移1000个任务所需时间：0.1秒左右。

自动补采

接收状态监控模块发送的采集任务执行情况，自动判断数据是否完整，在数据不完整情况下根据设定的补采策略，重新生成采集任务，发送这些任务给任务分发模块，重新采集数据。补采策略中包含某采集源的指标组在不完整情况补采次数、补采时机等信息。补采的机制要支持周期补采、自定义补采或幂指数补采，同时支持手工进行补采。

当统一采集系统与单个或多个采集源中断，造成一定数量的采集数据积压时，以告警采集为例，当出现采集源中断情况时，往往经过自动补采，过段时间会自动重连上采集源，但是由于告警量比较大，会造成短时间的告警数据大量过来，首先采集适配器与处理适配器是分布式部署的，各自的环境并不互相依赖，而且，处理适配器采用分布式云计算方法，已经足以处理数据积压情况下的数据处理，所以，统一采集平台会既确保当前数据的采集正常，又有效将历史积压数据正常采集处理。

状态监控

对下发到采集机上的采集任务的执行情况监控，如有某一采集任务某次采集有问题，及时进行处理保证数据采集的连续性。

实时监控任务全生命周期各个环节：未下发任务、正在执行的任务和异常结束的任务，提供单个任务的流程拓扑图，端到端查看相应环节的执行情况。

当出现异常任务时，系统除支持自动补救以外，还可以进行手工的补救以及分环节的补救。

采集节点负荷异常的影响范围控制

系统考虑了采集的数据分级，在紧急情况下能保证高级别数据的采集完备性；对于采集节点的负荷也进行分级监控，采集的新增、调整、停止也充分考虑到各个采集机的负荷情况，调整机制完备；极限情况下，低级别采集任务的停止、或是否新增能够提示管理员进行干预，同时支持未干预条件下的自动执行机制，机制合理、安全。

高安全平台容灾机制

调度中心池可承载多个调度中心，从而达到调度中心级别容灾。

可以为一个适配器启动多个实例，从而达到适配器级别容灾。

此两者容灾的能力将使整套架构均能达到每一层的容灾能力，即任何一层中的设备宕机都不会对系统运行造成致命的影响。

更高效负载均衡能力

系统采用最优适配器算法，即根据采集机负荷的评估动态选择合适的适配器实例，可以有效的利用分布式资源，从而高效的进行任务调度，确保采集任务的及时、高效。

热插拔式升级和扩容能力

此两者容灾的能力将使整套架构均能达到每一层的扩容能力，即任何一层中的服务都可以随时增加，而不会对系统运行造成致命的影响。

数据模型层

结合业界规范和多年的大数据建设经验，浪潮提供完整、合理、准确的数据模型建设方案。

采用了模型分层设计的思想

综合考虑了数据特点、存储方式、处理效率、处理复杂度、访问效率及模型扩展性等方面，采用分层的模型设计思想，按照原始数据层、基础数据层、融合信息层和应用数据层建设。

“自顶向下”和“自底向上”相结合的建模方法

采用“自顶向下”和“自底向上”相结合的建模方法，对数据模型体系结构分层设计。

遵循“概念模型-逻辑模型-物理模型”的三阶段五步实施法

每层模型通过概念-逻辑-物理的三个阶段，按照概念模型设计、数据源系统评估、逻辑模型设计、物理模型设计与实施、模型验证与优化的五个步骤进行实施落地。

逻辑分层、物理分布式存储的模型存储设计

基于数据的分层模型结构，结合实际技术选型，数据采用逻辑分层，物理分布式存储的方式，并对典型数据的处理流程、访问流程进行设计规划。

合理的模型存储计算部件选择

结合各层数据的特点（数据量、访问频度、存储周期等）和各项技术的特性（存储、计算、查询、扩展等方面），对各层模型的存储计算部件进行合理规划。

建模方法思路

数据中台数据建模的基本思想:

采用概念模型、逻辑模型、物理模型三阶段建模方式；自顶向下”方式为主，从业务需求出发，分析研究业务需求中的业务场景，提炼业务数据，界定系统的数据范围，划分主题域，对业务数据进行分类，构建抽象实体，最终梳理出业务实体，以及实体之间的关联关系，通过实体及实体间关系表示业务规则；“自底向上”方式为辅，从源系统入手，研究和识别源系统内的数据实体，并对数据实体进行分类；将实体以及实体的分类结果与“自顶向下”方式梳理出的结果进行对比，验证建模结果的合理性，并进行修正；“自顶向下”和“自底向上”两种方式相互协作，不断迭代演进，逐级细化，构建出数据模型；充分考虑未来的业务分析需求，对于一些通用概念和结构采用相同的模型设计，从而保证了公用和未来扩展的需求；遵循业界通用标准和方法论（SID），保证模型的适用性；模型设计思路

遵循模型设计规范要求，采用“自顶向下”和“自底向上”相结合的建模方法。根据业务需求设计应用层模型，根据数据源模型设计ODS、BDS、CIS层模型，在CISADS间实现数据的结合。

模型设计原则标准化、规范化原则

数据模型应遵从统一的主题域划分和实体命名规则，保证模型的标准化和规范化；

先进性原则

要求逻辑模型在设计上吸收业界、国内外优秀的建模经验与方法，确保模型的先进性；

一致性原则

数据模型的设计要能够确保数据的一致性，消除各数据源的数据不一致性，以保证数据模型内的信息是关于整个企业一致的全局信息；

扩展性原则

要求数据模型具备良好的可扩展性，支持对模型的迭代性演进。当业务需求提出新问题或有新的数据加入模型时，要求数据模型能够确保现有的数据和应用都不发生改变，更不得导致系统崩溃；

自上而下的设计与自下而上的验证原则

数据模型是为业务分析服务的，所以在创建模型时，应以业务需求为驱动。根据业务需求采用自上而下的方法设计并实现数据模型，并且采取迭代演进的模式，逐步丰富数据模型，逐步求精。同时，为了验证设计与实现的合理性与正确性，要求以实际数据对模型进行自下而上的验证；

简单可识别原则

实体命名等要遵循简洁、能直接识别出业务意义的原则。

数据建模步骤

数据建模五步法如下：

概念模型设计：分析业务需求，确定范围定义，确定概念模型生成指标集，区分基本指标、衍生指标，作为业务元数据梳理明确接口需求数据源系统评估评估数据质量与提供能力，进行字段属性取舍、整合明确接口规范确定业务模型逻辑模型设计明确逻辑模型实体、属性、主键、关联确定实体加载算法，新增、修改物理模型设计与实施建立物理模型，映射文档；生成建模语句、数据映射脚本执行脚本进行物理模型落地模型验证与优化按照业务需求对模型的支撑能力、效率等进行验证优化调整模型结构，形成最终模型数据模型分层架构设计分层架构设计原则

结合业界规范和多年的大数据建设经验，综合考虑了数据特点、存储方式、处理效率、处理复杂度、访问效率及模型扩展性等方面，采用了模型分层设计的思想，分为原始数据层、基础数据层、融合信息层、应用数据层四层，实现了数据源和加工处理过程的分离，保证了数据流向清晰，提高了数据访问效率等。

原始数据层作为数据缓冲区，减少对数据源系统压力；便于问题回溯及数据重新处理与数据源的模型保持一致基础数据层做为稳定的基础数据层，主要做归一化处理（数据的清洗、关联整合、编码统一据单位统一等），采用实体-关系建模，模型遵循第三范式融合信息层存储汇总数据，为用户自主分析应用提供支撑采用维度建模方式，支持星型模型和雪花模型；其中业务相关性较高的数据合并为宽表应用数据层对汇总数据层数据进行重新组织满足部门、地市、专题个性化需求，快速响应用户需求。采用反范式的建模方式数据模型分层设计

基于数据的分层模型结构，结合实际技术选型，数据采用逻辑分层，物理分布式存储的方式。

各层模型存储

原始数据层：数据存储在接口层内，物理上存储在接口机磁盘及Kafka集群内。基础数据层：用户详单数据（信令相关）存储在HBase集群内，经清洗归一化后的非用户详单数据存储在MPP数据库内。融合信息层：经汇总后的各类数据存储在MPP数据库内。应用数据层：针对上层应用的数据存储在关系型数据库内。数据治理功能统一数据标准管理

按照数据中台新建数据标注内容，实现对数据标准的统一管控。

针对青海移动数据标准体系中规定的各类数据对象分类、数据分层、数据分域、数据命名规则、数据编码规则等各类标准进行界面化统一管理，指导。

数据标准管理模块对数据标准提供系统工具支撑，包括标准管理、标准展示、标准监控三大功能。面向数据管理者提供标准发布、审批管理等功能；面向数据维护者提供标准维护、稽核、版本管理等功能；面向数据提供者和消费者提供查询、提取、核对及分析等功能，全面提供数据标准服务能力。

统一数据建模

基于数据标准和元数据管理体系，提供可视化的建模工具，构造最优的数据库模式，建立数据库及其应用系统，能够有效地存储数据，满足大数据治理需求。

系统提供基于元数据管理图形化数据建模工具，提供模型的设计、审核、实施、验证；包含物理模型的设计、指标模型、分析模型的设计等。

统一数据加工

根据业务需求及各类技术特点，对平台内的不同类型数据采用不同的数据处理技术及流程，主要分为大数据处理流程、传统数据处理流程、实时流数据处理流程。

统一数据资产

数据资产是指已通过数据清洗规则配置，并进行任务校验后的有效数据或是系统中的资产数据，以不同的方式呈现给用户，或供用户使用。数据资产以资产的角度开展数据管理工作，为解决目前普遍存在的需求分散重复、口径模糊等问题，实现成果和经验的共享和积累，方便实现应用和数据的生命周期的自动化管理。数据资产化包含了数据资产梳理盘点和数据价值评估的过程。

统一数据质量管理

系统支持对业务数据进行全面的质量管理，通过数据质量的管理办法、组织、流程以及评价考核规则的制定，及时发现并解决数据质量问题，提升数据的完整性、及时性、准确性和一致性，从而提升数据的价值。

基于数据架构体系，为平台提供全程的端到端数据质量管控；