打破数据壁垒,繁荣大数据生态:中国移动与华为共推“湖仓一体”加速落地

网优雇佣军 2022-11-18 16:41:25

进入数字经济时代,数据是关键生产要素已成为常识。但与土地、劳动力、资本等传统经济中的生产要素不同,数据不会因为投入生产而被消耗掉,反而可以尽可能地重复使用,并在使用、转移的过程中汇聚更多数据,产生更大的价值。

不言而喻,要实现数据要素价值最大化,助推数字经济高质量发展,关键在于构建开放共享的数据平台,让各种各样的数据无缝流通,促使数据在各领域、各链条间共享交换。

然而,随着行业数字化转型加速,多样化应用产生的数据量越来越庞大,数据类型越来越多,数据分布更加分散,对数据处理的时效性要求也越来越高,导致数据碎片化、数据孤岛等问题日益严重,传统数据基础设施的存储、分析、分发等能力逐渐陷入瓶颈。

如何破解这一横亘在数字道路上的壁垒,已成为全行业需直面的一道必答题。几天前,在华为全联接大会以“面向全应用,构建多云时代可靠存储底座”为主题的数据存储峰会上,中国移动信息技术中心副总经理陶涛在题为《繁荣大数据生态,加速产业链协同》的主题演讲中给出了中国移动的答案。

践行“湖仓一体”,打通数据底座

一直以来,数据仓库和数据湖是我们熟知的大数据架构,但面对各类数据迅猛增长,它们已无法适应数字经济时代的数据存储和分析需求。

数据仓库主要存储经过处理的、结构化的数据,不适合处理不断增长的XML、文本、图片、视频等半结构化和非结构化数据,且存在构建过程费时费力、集群规模扩展能力有限等缺点。后来诞生的数据湖尽管支持所有类型的源数据,提升了数据管理的及时性和灵活性,但事务支持差,无法完全替代数据仓库。同时,两套数据系统并立运行,导致数据重复存储于两个或多个位置,会增加数据管理成本和复杂度,难以充分释放发挥数据价值。

而湖仓一体打通了数据湖与数据仓库能力,将数据湖的灵活性与数据仓库的高效率优势融合起来,不仅打破了两者之间的数据壁垒,而且能简化数据管理,提升资源利用率和数据分析效率,已成为大数据架构演进的必然趋势。

在此背景下,中国移动已联合华为,基于在全国九大区域中心构建的大数据分布式协同计算平台,构建统一的数据底座,共同推进湖仓一体新型开放式架构应用落地。

陶涛表示,中国移动已在宁波、汕头等东部节点完成存算分离试点,目前正在推进大规模应用。且正在打造全局元数据网关,实现数据冷温热分级管理,通过统一元数据视图,实现分散在异构存储、异地数据中心的数据统一访问,助力“东数西算”国家战略工程实施。

该架构不仅打破了单中心节点内多套系统的数据烟囱,让数据湖与数据仓库中的数据无缝联通流动,更重要的是,它采用存算分离的结构,提供统一开放的存储接口,对接多样的计算引擎,支持资源弹性伸缩、灵活规划与部署,可在提升大数据分析效率的同时有效简化数据基础设施架构。因此,面对国家“东数西算”战略背景下数据存储和处理呈现多个地理位置分布的特点,可构建全局统一的存储资源池,构筑全局统一的数据视图,高效实现数据跨区跨云无缝按需流通。

而华为大数据存算分离解决方案打破了传统大数据平台存算一体的部署架构,支持存储资源灵活按需扩展,支持湖仓融合的新兴数据格式,可帮助企业构建超大型的数据存储资源池,还可以面向多云提供数据共享能力,让数据在不同的业务系统、平台和环境中自由移植和高速共享,高效解决了企业存储面临的数据存不下、流不动、管不好的问题。双方珠联璧合,一方有领先的架构设计,另一方有成熟的技术方案,自然促成了此次成功实践,相信接下来将加速推动湖仓一体技术广泛落地。

除了落地实践,面对当前不同企业对湖仓一体架构存在不同的理解和方法论,行业缺乏统一的规范和目标,中国移动还充分发挥产业链链长作用,携手存储、计算、数据库、数据服务等多领域伙伴,在不久前发布了《大数据湖仓一体技术规范》,首次定义了大数据湖仓一体技术架构的关键组成要素,以及湖仓一体架构下统一存储、统一元数据、统一计算、统一服务、运维管理、安全管理、平滑演进等关键能力的规范要求,以凝聚发展合力,推动湖仓一体技术加速发展。

为进一步促进产业达成共识,中国移动再次携手华为、信通院等十多家产业合作伙伴,联合编制了《湖仓一体技术白皮书》,并准备在近期发布,将全面阐述湖仓一体发展背景、概念定义、关键技术、典型应用场景、当前挑战、未来展望以及实践案例。

培育合作生态,共推大数据繁荣

当前,不管从国家政策层面还是从市场发展状况看,大数据产业正迎来高质量发展新阶段。2021年11月,工信部发布《“十四五”大数据产业发展规划》,明确部署了推动大数据产业高质量发展的行动与保障措施。过去几年来大数据技术快速发展,已应用到精准营销、金融风控、城市交通调度等多个场景,渗入到金融、政务、文旅、交通等各个领域,产业格局已逐渐形成,数据价值也得到了社会广泛认可。

在此背景下,陶涛表示,中国移动充分发挥央企责任担当,已依托于在大数据领域丰富的数据、场景、渠道等优势,打造出符合中国移动特色的一流大数据新型基础设施,构建了中国移动大数据+价值经营体系:一是基于九大区域中心算力体系,构建分布式协同计算平台,实现数据贴源采集、贴源处理,任务一点开发全网运行,全国九大中心算力统一管控、统一调度,支撑数据服务秒级交付;二是打造中国移动特色的数据治理体系,围绕位置洞察、内容洞察、客户标签、统一指标,打造行业级标杆能力图谱;三是以数据“中央厨房”的思路构建了PaaS、DaaS、SaaS三种对外开放模式,可根据服务对象的特点制定具有针对性的服务标准体系,高效助力千行百业数字经济转型。

与此同时,中国移动正实施“梧桐引凤”计划,与产业伙伴一道在产业布局、产品打造、技术合作三方面全方位合作,加快培育新型创新合作生态,共推大数据产业高速发展。比如,如前文所述,正是依托于技术合作,中国移动与华为、信通院等产业伙伴一起,成功推动了湖仓一体技术落地实践,并制定了湖仓一体技术标准和白皮书。

有湖仓一体架构筑牢数据底座,有开放的产品创新平台,有互利共赢的产业布局,还有优越的资源禀赋和一流的数据基础设施,相信中国移动与产业伙伴一道坚持不断创新,定能加速推进大数据生态繁荣,充分释放数据要素价值,为我国数字经济高质量发展注入澎湃动力!

1 阅读:224

网优雇佣军

简介:聚焦ICT,关注通信、科技和移动互联网