十一载风雨历程,亚马逊云科技re:Invent加速底层技术创新

在前线 2022-12-26 22:47:35

文/在前线 华仔

知格局,晓大势,着创新;一场云产业的技术大秀已经拉开帷幕。

作为云计算的开创者,每年亚马逊云科技举办的re:Invent全球大会都会成为产业的风向标。能够持续处于引领者地位,核心自然离不开强大的创新能力,面对全球数字化纵深发展新形势,亚马逊云科技基于客户需求,不断加速底层技术创新,并构建全新的云原生端到端数据战略,帮助用户实现更快捷、安全的数据洞察。

图为亚马逊云科技大中华区产品部总经理陈晓建

近日,亚马逊云科技开启了2022 re:Invent中国巡展活动,包含北京、上海、苏州、成都、西安等多个城市,面向中国市场展示最新的产品、技术、前沿趋势及最佳实践。亚马逊云科技大中华区产品部总经理陈晓建表示,面对全球经济的不确定性,每个客户都希望进一步降低成本、增强业务灵活性,更多中国企业也展现出了对全球市场的野望。亚马逊云科技每年都会在re:Invent全球大会上发布许多重磅的新服务、新功能和新应用,目的就是为全球各地区、各行业的用户发展、创新和重塑提供支持。

在前线认为,上云趋势无可避免,快人一步的秘诀是更迅速的需求反馈及更强大的创新能力。在2022 re:Invent上,亚马逊云科技发布了全新的云原生端到端数据战略和三条自研芯片产品线的最新进展,这些创新来自于对客户的倾听,也是亚马逊云科技在云计算领域不断领先的新“底气”。持续数日的中国巡展,将进一步为中国用户剖析云技术创新的新形势,全面助力企业抓住产业变革新机遇,重塑自身业务和产业格局。

全新数据战略 re:Invent重塑企业上云能力

在Gartner发布的《2022年云基础设施和平台服务(CIPS)魔力象限》报告中,亚马逊云科技(Amazon Web Services)再次霸榜Gartner云计算魔力象限,位居领导者象限图中最高位置,这也是这是亚马逊云科技连续第12年在Gartner该系列报告中处于领导者。

时至今日,这已经是亚马逊云科技第11年举办re:Invent,不仅有全球的5万多客户和合作伙伴参加了线下盛会,还有超过30万人在线上齐聚。

盛会十一载,亚马逊云科技见证了云计算产业发展的一波又一波高潮。

在陈晓建看来,re:Invent是重塑,也是亚马逊云科技一直以来所秉持的精神内核,而客户的需求就是亚马逊云科技坚持技术重塑的源泉。正是这样,亚马逊云科技根据用户业务发展需求,结合行业发展趋势,致力构建全新的数据战略。

众所周知,数据是整个应用程序业务逻辑的核心,也是每个组织数字化转型的基石。我们处于数字时代发展的关键时刻,未来五年产生的数据量将会是数字世界开始以来的两倍多。面对海量数据,如何管理、挖掘其中的价值,则是每个企业直面的挑战。

亚马逊云科技坚持在数据存储、分析、机器学习等方面创新,核心目的就是构建一个云原生的数据战略。亚马逊云科技认为,云原生的数据战略由三个关键因素构成,极致的性能,轻松和无处不在的连接,以及推行数据的普惠化,降低使用门槛。

其中,建立面向未来的云原生数据基础设施是打造极致性能的关键。在亚马逊云科技统计的数据中,前1000名客户有94%使用了10项以上的数据库和分析服务,从这个趋势来看,亚马逊云科技致力于为业务场景构建专门的服务。也是基于此,亚马逊云科技提供Amazon Athena和 Apache Spark来进行复杂的数据处理。为了进一步减少用户在基础架构配置层面的耗时,亚马逊云科技推出适用于 Apache Spark 的 Amazon Athena以及针对 Apache Spark 的新 Amazon Redshift 集成预览,让用户能够在云端获得更高的性能。

当然,为了确保企业在可靠性和安全性的前提下,保持大规模情况下的高性能,并消除繁重复杂的工作,亚马逊云科技在更新多项数据库特性的基础上,通过自动化和机器学习的内置智能来减少客户的手动任务,并推出Amazon RDS蓝/绿部署和Amazon Redshift Multi-AZ多可用区功能,提升运维效率的同时,为企业客户的关键分析负载加上双保险。

在构建极致性能的基础设施之后,便是打造高效的数据连接能力,这是实现跨组织数据一体化融合的必经之路。在这方面,亚马逊云科技推出从自动化数据路径到数据治理工具的多项服务,如将分散数据整合的ETL,这是进行机器学习建模的必要前置步骤。在本次2022 re:Invent上,亚马逊云科技提出“Zero-ETL”(零ETL)的构想,并推出Amazon Redshift流式注入功能、Amazon Redshift auto-copy from S3等多项全新集成功能,大幅降低用户的服务使用工作量。

此外,亚马逊云科技还新增22个新的 Amazon AppFlow 连接器以及可以访问多达40多个新数据源的Amazon Sagemaker Data Wrangler,降低数据源获取门槛。

数据治理方面,亚马逊云科技通过Amazon Lake formation许可模型和授权机制使客户可以搭建针对数据存储层的精细化访问控制,并借助Amazon DataZone和机器学习治理工具Amazon SageMaker ML Governance来实现快速、智能的数据管理服务,提升客户的数据洞察力。

构建云原生端到端数据战略的核心,还应该借助教育和工具实现数据普惠化。在这方面,亚马逊云科技推出Amazon DeepRacer对学生进行ML培训。目前,已有来自150个国家/地区的超过31万名开发人员通过亚马逊云科技 DeepRacer 接受了机器学习方面的培训。亚马逊云科技也会持续深耕这个领域,帮助更多用户实现新数据战略的全周期部署。

锚定芯片自研之路 夯实底层技术创新地基

构建云原生端到端的数据战略是企业加快变革,重塑业务格局的最优解,而为此提供支撑的便是坚持不懈的底层技术创新。

要想在云计算产业走得更远、更深,自研芯片必不可少,这也成为了全球各大云服务商的共识。亚马逊云科技深刻理解这一点,在创立云计算初期,便在自研芯片领域投入重兵。

在本次2022 re:Invent全球大会上,亚马逊云科技在自研芯片的道路上更进一步,三条产品线各自开花,第五代虚拟化芯片Nitro5、Gravition3E以及机器学习推理芯片Inferentia2相继亮相。亚马逊云科技用十年时间,使得自研芯片矩阵不断丰富、成长。

回顾亚马逊 Nitro 系统的发展史,十年时间,历经四代,每一代Nitro都在性能和功能上带来更惊艳的表现。初代Nitro只能提供 10 Gbps的网络吞吐,每秒120万的包转发能力;到第四代Nitro 网络性能已经提高到 100 Gbps,每秒转发1500万个数据包。

Nitro的最大创新点在于,它将架构演进与技术复杂性进行了解耦,类似于云原生架构的思想,服务原子化,封装功能到模块内部,接口标准化,从而大大降低了系统的复杂性,并提升了系统的可扩展性。数据显示,最新发布的Nitro V5 晶体管数量大约是上一代Nitro芯片的两倍,每秒数据包能力提高了60%,延迟减少30%,每瓦特性能提升40%。

Graviton3E是 Graviton 3 家族的最新成员,专为浮点和向量指令运算而优化,这在高性能计算工作负载里非常重要。相比于 Graviton3实例,Graviton3E 在 HPL(线性代数的测量工具)上性能提升35%,在 GROMACS(分子运动)上性能提升 12%,在金融期权定价的工作负载上性能提升30%。

而机器学习芯片则由两部分组成,用于训练的Trainium和用于推理的Inferentia。今年10月份,亚马逊云科技发布专为云中的高性能模型训练而构建训练芯片实例Amazon EC2 Trn1,大幅提高深度学习训练服务的性价比。此次,亚马逊云科技推出Amazon EC2 Trn1n,这是一款基于Trainium的网络优化型训练实例,可以将网络带宽进一步增加一倍。

在推理方面,亚马逊云科技带来推理实例Amazon EC2 Inf2,这是基于最新款 Inferentia2 机器学习加速推理芯片,唯一一个专门为大型Transformer模型分布式推理建立的实例。

在底层技术的创新上,除了持续加速自研芯片的创新,亚马逊云科技致力于构建事件驱动的云原生应用,由此实现软硬件的共同进步。当前,云原生已经成为构建现代化应用的核心技术,亚马逊云科技也推出了大量服务,如开创无服务器计算先河的Amazon Lambda,适用于容器的无服务器计算服务Amazon Fargate、专为云打造的高性能关系数据库服务Amazon Aurora等。

在亚马逊云科技看来,云原生应用的构建是一段旅程,包括构建、治理和迭代3个阶段9个节点。针对这些阶段和节点,亚马逊云科技推出相应的服务与支持,并持续迭代。

以最新发布的Amazon Lambda SnapStart for Java Functions为例,Lambda是业界首个Serverless计算服务,月活用户超过百万,每个月函数调用次数超过10万亿次。通过对用户需求的观察,亚马逊云科技发现,冷启动一直是Lambda用户关心的问题,特别是使用Java开发Lambda函数的客户。

基于此,亚马逊云科技推出 Lambda SnapStart,在函数新建和更新时,Lambda会启动运行环境,当用户代码完成初始化后,对整个微型虚拟机(MicroVM)进行快照;当函数被调用时,Lambda会从快照实现亚秒级恢复运行环境,并运行用户的handler函数。这样不仅不会产生额外成本,还能大幅降低Java函数的冷启动延迟。

对于数字时代演进而产生的新趋势,如HPC,亚马逊云科技同样在深刻了解用户需求后推出新服务。Hpc7g实例,应对计算和网络密集型负载,基于Graviton3E,配备200Gbps 带宽的低延迟EFA网络,适合于运行计算密集型HPC应用;Hpc6id实例,应对数据和内存密集型负载,可为其提供领先的性价比;对SRD网络协议进行更新,推出高速虚拟网卡ENA Express,提供更低延迟和更高网络吞吐量;Amazon SimSpace Weaver服务,针对负载巨大且高度复杂的模拟应用场景,主要帮助客户构建、操作和运行大规模的空间模拟仿真系统……据了解,亚马逊云科技已连续7年获得HPCWire评选的最佳HPC云平台称号,最近上演的大片《阿凡达2》也选择了亚马逊云科技来进行渲染工作。

可以说,亚马逊云科技通过不断地更新服务和功能来加速客户的现代化应用改造,多条线路齐头并进,获得了更多用户的认可,也让亚马逊云科技在云计算领域的领先地位更加巩固。

“云数智”三位一体 助力用户突破行业限制

加速底层技术创新,构建云原生数据战略,都是为了助力企业更好把握数字时代机遇,从日益复杂的数据中获得洞察,迎接未知挑战,并拥有破局的能力。

面对充满不确定性的全球经济大环境,企业的上云热情会被最大限度激发,安全、可靠、智能、计算、存储等也会成为企业用户直面的问题,这也驱动云计算产业进入新的发展阶段。

陈晓建表示,云数智三位一体是云技术发展的大势所趋,作为云计算的开创者,亚马逊云科技的数智阶段也早已开始。通过构建云中统一的数据治理底座,为机器学习提供生产级别的数据处理能力,再结合客户的实际需求,亚马逊云科技可以赋能给业务人员更加智能的数据分析工具。

以新发布的Amazon Clean Rooms和Amazon Supply Chain为例。陈晓建告诉在前线,Amazon Clean Rooms不仅是一个独立的、平台级的解决方案,同时也是亚马逊云科技整体营销自动化解决方案的一部分,它可以帮助多方参与者共同完成数据上的协作。让客户放心地分享数据集而不会造成元数据的泄露。

Amazon Supply Chain则是针对供应链管理的一个基于云的新应用程序,可以帮助供应链领导者减轻风险并降低成本,以提高供应链弹性。应用场景也十分广泛,涵盖制造、汽车、零售、快消、化工、医疗等行业。

这些都是亚马逊云科技基于用户需求和反馈,提供的开箱即用的应用程序和方案,更重要的是,亚马逊云科技将AI/ML的能力植入到行业方案中,从而提高客户对云的使用能力。

在前线认为,亚马逊云科技具备独到的产业趋势洞察和技术创新视野,从底层技术创新,到构建全新的云原生数据战略,再到推动客户业务应用向自动化、智能化方向发展,亚马逊云科技用全线发展的势头,来奠定在云计算领域的持续领先。

同时,亚马逊云科技坚持客户为中心,并加大在中国市场的布局,将客户需求转化为源源不断的创新动力,再反哺到客户,助力更多企业在全球市场的扬帆远航。

0 阅读:2

在前线

简介:科技互联网自媒体,冷静分析,还原真相。