说到存储,
大家首先想到的就是全闪存这个当红炸子鸡。
但全闪存有一个问题就是贵、贵、贵!并不是所有企业都用得起全闪存存储。
当然,也并不是所有业务都必须要买全闪存存储。
今天我们就来聊聊一个适合备份、归档等领域使用的且很"便宜"的存储--磁带存储。
▉ 什么是磁带存储?
提到磁带,80和90后一定深有感触。
还记得那些年我们用磁带听刚刚出道的周杰伦、孙燕姿,以及多少次听着英语磁带的循环昏昏欲睡……
后来,我们逐渐长大了,磁带换成了MP3,最后变成了现在的智能手机,磁带也成为了很多人的回忆。
磁带现在虽然离开了大多数人的视线,但其实它并没有消失,反而在存储领域一直处于高速发展态势。
磁带可以说是最古老的电子数据存储技术之一。磁带的原理是在磁性记录介质上,通过磁头读取和写入磁性痕迹来进行数据的存储和读取。磁带储存技术起源于20世纪50年代,最初被广泛用于音乐、视频等方面的录制。
磁带的优点是相对较低的成本和相对较大的存储容量。在计算机的早期年代,由于硬盘和光盘等存储技术的高昂成本,磁带存储成为了大量数据备份和归档的主要方式。尽管现在随着硬盘和云存储的价格逐渐降低,但磁带储存仍然被广泛用于数据备份和长期数据存储等领域。
虽然现在磁带已经很大程度上被SSD和HDD取代了主要存储介质的地位,但是由于高容量、低成本且长耐用性,它仍然是很多企业归档、备份最佳选择。
磁带存储主要的挑战就是加载到磁带驱动器中延迟高,但是在归档、备份这种对延迟要求不是很高的领域,就有着很大的优势。很多电影公司都会将镜头保存在磁带上,还有很多石油、天然气等室外工作的行业,也用磁带将数据从现场带回来。另外,还有那种几微秒内产生大量数据的科学实验也会利用磁带的容量来存储数据。
目前,磁带通常与对象存储配合使用,以满足对低延迟文件访问的需求。当然有时,磁带也被对象存储完全取代。
▉ 磁带存储的组成和工作原理
下面我们来看磁带存储的组成和工作原理。
通常情况下,磁带存储是由磁带介质、磁头、磁带传送机构和控制电路等组成,如下图。
磁带介质是指一个用于存储数据信息的磁性材料。磁带介质通常包含磁性层、基片和表面涂层等组成部分。其中磁性层是指一种可以被磁化的材料,通常为氧化铁或黏土,目前业界已经转向钡铁氧体,因为它支持垂直磁记录,可以提供高记录数据密度。钡铁氧体目前既用于Oracle和IBM的企业磁带,也用于LTO Consortium的Linear tape - open ultrum格式磁带。基片是磁性层的支撑材料,通常为塑料或金属,表面涂层则是用于保护磁性层。
磁头是一种能够读取和写入磁性痕迹的设备,通常由一个小的电极和磁性材料组成,可以用来擦除、写入和读取磁性轨迹。
另外就是磁带传送机构,磁带传送机构用于控制磁带的传送速度和方向等参数。磁带传送机构通常由一个马达和一个带有压力辊和驱动轮的传动装置组成,用于控制磁带的卷绕和传送。
最后是控制电路,用于控制磁头和磁带传送机构的操作,实现磁带的读取、写入和擦除等操作。控制电路通常由一个控制器、一个驱动器和一个接口组成,用于与计算机或其他设备进行连接。
磁带储存的工作原理是通过一个定位磁头来读取和写入磁性轨迹。定位磁头通常放置在磁带传送机构的对面。在磁带运转时,定位磁头可以在磁带中读取或写入磁性轨迹。数据在磁带上的存储方式是写入磁性痕迹。在读取数据时,磁头会读取并解码磁性痕迹,并将其转换为数字数据。
这里需要补充一点,由于磁带库是纯机械构造,因此故障要比 X86服务器要多很多,这也是磁带库使用时,应该重点考虑的事。
目前,企业磁带存储常见有两种使用方式,一种是独立机柜,单个磁带库占地面积较小,通常配置的槽位数为400~900左右的量级(一个槽位可以插一盘磁带),对应物理存储空间约5~10PB 左右;
另一种联排机柜,单个磁带库占地面积较大,通常为多个机柜组合而成,槽位数配置也可以达到几千甚至上万,对应的磁带存储空间可以达到百 PB 级别。
互联网公司通常使用独立机柜较多,一个原因是硬件部署时对 IDC 的机位的侵入性更小,机位易改造;另一个更关键的原因是当发生整机故障时,故障影响范围更小。
▉ 磁带存储的优势和劣势
随着数据量的不断增长,磁带是大容量、长期备份存储和归档的有力选择,相比于磁盘存储,磁带存储具有以下几个优势:
首先就是成本优势。磁带与硬盘相比,其扩容成本更低。一个磁带驱动器可以对应大量的磁带产品,当用户需要扩展容量时,磁带方案只需考虑存储介质的成本,但硬盘无法做到这点。同时不少数据显示,在日常使用的功耗上,硬盘存储的成本远远超过磁带。
其次是容量优势。现在最新的数据流磁带产品上涂布的是纳米级磁性颗粒,不仅磁颗粒变小,而且物理性能更加的稳定。简单地说,正是因为单位面积的颗粒变多,使得存储数据的容量变大。以LTO技术为例,2000年诞生了第一代,到2020年推出第八代,现在是第九代,LTO9为18TB;未来推出的LTO14,容量将高达576TB。从理论上而言,与硬盘相比,容量的瓶颈几乎为零。
第三是长久保存的稳定性。通常有30年的保质期。磁带记录的稳定性已经多次在极端的环境下得到验证,并且磁带存储已经被证明每读写1万PB数据量后才有可能出现一次故障,同时也提供WORM磁带(一次写入,多次读取)使数据无法被覆写也无法被修改,这样的特性让其在重要的数据保存场景中得到用户的青睐。
第四,相比于磁盘存储,磁带很容易移动。在灾难恢复场景中,只要磁带离受影响的数据中心足够远,那它的数据就不会受到影响,企业就可以使用它们进行数据恢复。例如,2011 年,Google 邮箱 Gmail 因为一次更新中的 Bug 意外删除了 40000 多个账户的邮件,虽然 Google 一直有在多个数据中心用硬盘储存数据副本,但仍有部分数据无法恢复。所幸这些数据同时也有备份到磁盘里, 才得以恢复所有数据。
不过,在恢复速度方面,从磁盘恢复数据要快得多。因此,磁盘存储目前已取代磁带存储成为很多企业首选的备份介质。这是由于磁盘能够提供随机访问,因此在磁盘上查找特定数据是一个快速的过程。另外,基于磁盘的备份产品通常全天执行备份,而磁带备份数据的频率较低,例如每天备份一次。因此,企业一般不会依赖磁带存储进行近期的备份。而且企业必须确保其磁带库与其基础设施能够兼容的。
另外,值得注意的是,随着勒索软件攻击的增加,磁带存储的离线特性成为一个很大的卖点。网络攻击无法影响未连接到网络的存储磁带。在这种情况下,磁带甚至击败了云备份,虽然云是一个越来越普遍的备份平台,但由于其在线性质,它很容易受到网络威胁。
▉ 磁带存储的发展历史
在过去,人类将数据保存在石板、竹简上,后来人类将数据保存在纸上,配合印刷术,使得信息可以大范围长久传播保存。直到计算机问世后,人类终于可以突破自己处理信息的生理学极限,让程序和电路代替自己处理信息。
1928年,可存储模拟信号的录音磁带问世,每段磁带随着音频信号电流的强弱不同而被不同程度的磁化,从而使得声音被记录到磁带上。
1951年,磁带开始应用于计算机中,据数据存储供应商铁山公司(Iron Mountain)介绍,当第一台现代商用计算机UNIVAC I于1951年发布时,发明者使用磁带来补充计算机的存储。
UNIVAC采用了磁带技术,引起了IBM公司的注意。不久后的1952年,IBM成功发布了计算机业内的第一款磁带机,拉开了磁带发展第一时期的序幕。最早的磁带机可以每秒钟传输7200个字符。20世纪70年代后期出现的小型磁带盒,可记录约660KB的数据。
1956年第一款磁盘驱动器成功面世,随后出现了存储分工:磁盘用于在线存储,而磁带用于离线存储。当磁盘及其随机存取进入市场时,它在很大程度上取代了磁带作为主存储器。不过,有些行业,如媒体和娱乐,以及科学和视频监控,大量使用磁带进行存储,尤其是因为它的大容量。
不久以后,业界首次出现存储管理应用概念--备份和恢复。成立于1969年的StorageTek公司(于2005年被Sun公司收购)成为存储业界最成功的磁带驱动器厂商之一。在这一时期,IBM和StorageTek是整个磁带市场的领导厂商。
1984年,盒式磁带取代了圆轴磁带,从而为磁带工业的许多新的发展奠定了基础。在这一时期,大量光盘生产厂商跃跃欲试,想取代磁带成为可移动存储介质。但是,这一梦想自始至终也没有成真。
1987年,StorageTek自动磁带库的成功问世,拉开了"近线时代"的序幕,自动存储服务消除了以前手动磁带操作过程中容易引发的问题。可以说,StorageTek的近线解决方案为磁带工业的继续发展注入新的活力。
从1997年开始,IBM和StorageTek开始了对虚拟化的探索,创新性地提出了用于大型主机的虚拟带库理念。
在20世纪90年代末,LTO ultrum格式推出。惠普(现在的惠普企业)、IBM和希捷合作开发磁带存储技术。
到了2002年,磁带技术经历了其50年发展历程中最引人注目的技术突破:磁带盒的容量在这一年首次超过了最大的磁盘驱动器的容量--这改变了存储行业的游戏规则:过去,一个磁盘所能容纳的信息量往往需要多盒磁带才能装得下;但是现在情况完全反过来,一盒磁带就可以容纳多个磁盘的数据。
2003年,StorageTek推出全球第一套基于ATA技术的刀片式磁盘阵列Bladestore,"联线"概念由此产生。BladeStore以其独特的性能和低价位,填补了企业级在线磁盘和近线磁带解决方案之间的存储空白,彻底改变了企业的存储策略。
索尼在 2014 年利用自主开发的溅射薄层沉积技术,将 7.7nm 的极细磁颗粒铺设在磁带上,实现了高密度磁存储,储存容量可以达到 185TB。
2015 年 IBM 与 Fujifilm 研发出容量为 220 TB 的单盒磁带,成本只有硬盘的十五分之一。
在 2018 年发布的 IBM 3592 数据磁带 使用 TS1160 格式最大未压缩容量可达 20TB,而读写速度也可以达到 400MB/s,均超过现在的硬盘。
另外,自LTO-1于2000年推出,每个磁带盒提供100gb的本地存储空间。每隔两到三年,就会有一个新的LTO版本上市,其容量大约是以前版本的两倍,吞吐量更高。随着代数的提高,磁带的厚度越来越薄,但是长度越来越长,如LTO9单盒磁带的长度超过1000米。
实际上磁带的储存容量已经以每年 33% 的速度增长了多年,而且并没有放缓的迹象,这也意味着在未来 10 年能以每两年翻一番的速度增长,在摩尔定律逐渐失效后,磁带有可能成为遵循摩尔定律的最后一种信息技术。
根据 IDC 的数据,互联网上的大数据正以每年 30%-40% 的速度增长,而目前硬盘容量增长的速度不到大数据增长速度的一半,或许磁带有可能填补这个空缺,成为更加理想的储存技术。
▉ 顶级供应商和磁带类型
根据读写磁带的工作原理可分为螺旋扫描技术、线性记录(数据流)技术、DLT技术以及比较先进的LTO技术。
目前,LTO是市场上最流行的磁带格式,LTO技术不仅可以增加磁带的信道密度,还能在磁头和伺服结构方面进行全面改进,LTO技术采用了先进的磁道伺服跟踪系统来有效地监视和控制磁头的精确定位,防止相邻磁道的误写问题,达到提高磁道密度的目的。
在20世纪90年代末 IBM、HP、Seagate三大存储设备制造公司共同支持的高新磁带处理技术,它们组成了LTO联盟,作为量子专有数字线性磁带格式的替代方案。
当前的LTO磁带采用钡铁氧体磁体,单盘磁带的容量可以做到220TB;LTO技术联盟正是通过改进磁体颗粒密度的方法使得每盒磁带的容量得到巨大的提升,并已经在实验室研制出单盘容量为580TB的磁带产品。
IBM和Oracle在企业磁带提供商中处于领先地位。与LTO一样,他们的磁带技术基于钡铁氧体介质,但他们提供适合客户的驱动器技术创新,磁带长度和磁带格式。
例如,IBM 3592 Jaguar系列磁带系统使用其TS1150驱动器,声称其未压缩存储容量高达10tb。甲骨文(Oracle)收购了Sun Microsystems和StorageTek,自2010年以来一直在开发名为T10000D的磁带技术生产线,提供原生未压缩容量为8.5 TB的T10000D驱动器和磁带盒。
目前,磁带生产厂商主要有 FujiFilm 和 Sony,这两家厂商市场占有率总和接近100%,各家磁带库厂商的磁带生产主要交由 FujiFilm 和 Sony 进行生产。
另外,市场上生产磁带柜厂商主要有IBM、Quantum、BDT以及收购EMC的Dell,都有磁带产品在出售,但不同的是 BDT 主要是做 OEM 和 ODM,BDT 每年给海外互联网公司的出货量也非常大。
▉ 温冷存储让磁带环法第二春
随着人工智能、机器学习、自动驾驶、智慧视频、物联网以及智慧城市等新兴应用的不断演变,数据生成来源比以往任何时候都更多,温冷存储领域也正不断发展,并凸显出其重要性。
越来越多的企业需要探索冷存储方法。而需要长期保留这些数据的企业面临着一个关键问题,到底是将数据存放在昂贵、更快速的存储基础架构中实时取用,还是存放在性价比更高的冷存储层中,在以后需要时再重新访问?目前市场上存储技术主要有闪存、磁盘、磁带、光盘、公有云和合成DNA。我们来看下他们的优缺点。
闪存兼具低功耗和高性能的优势,通常应用高速存储场景。在冷存储领域,闪存极少被使用,毕竟成本很高。
相较于闪存来说,机械硬盘成本要低一些,但是它的存储密度已经濒临瓶颈,在未来很难有大的容量提升。另外,硬盘的功耗也比闪存高,即便是采用一些先进的技术,比如在系统闲时将硬盘转速降下来,但它依然会有持续的电能消耗。目前市面上容量比较大的硬盘,比如18TB的7200RPM的CMR硬盘价格约为2500元。当然还有6TB的5400RPM的SMR硬盘,主要用于冷数据存储或归档,价格约为800元。
磁带在冷存储领域是很重要的选项,其最大特点是成本较低;另外,它还具备绿色节能的特质。尽管已经做了很多的智能化等优化设计,磁带还是没有闪存或硬盘用起来那么方便。LTO8和LTO9是目前主流,预计明年LTO10就将面世,单盘的非压缩容量将达到36TB。目前,容量为12TB的LTO8磁带价格约为800元;容量为18TB的LTO9磁带的价格约为1600元。
光盘在冷存储或是归档领域应用还是较多。虽然光盘支持多次刻录,但是它的成本比较高,因此性价并不高。光盘存储通常以光盘盒或光盘匣的形式出现,但即便这样,其存储容量也不高。目前单片光盘最大容量为500GB,通常光盘匣能容纳10-12片光盘,这样总的容量也就是5TB-6TB的水平。下一代光盘的单片容量将达到1TB,但容量为12片光盘的光盘匣的总容量也仅为12TB。这里提及的光盘并非市面上常见到的消费级产品,而是归档级别的,因此很难在零售市场买到,其价格区间为1300元-2800元。
公有云的使用比较便捷,只要有足够的带宽,并按时付费,就可以使用存储服务。从容量来看,基本上是"无上限"的,但是使用成本和安全性需要关注。
DNA是一种未来的存储技术,它的密度非常之高。闪存或者硬盘均是采用多叠或堆叠的方式提升单位空间,但DNA完全颠覆了这一模式。DNA的存储密度基本上是目前主流存储介质的十万倍以上。如果DNA存储技术未来商用或者商业化,无论是温冷数据存储还是高性能存储都会产生翻天覆地的变化。
▉ 磁带存储的主要应用场景
通过上文,我们了解到磁盘存储的特点, 我们可以跟全闪存做个对比,如果将全闪存比喻为存储届的超级跑车,那么磁盘存储可以比喻成用来拉货的大卡车。
那么这辆大卡车"磁带存储"有哪些合适的应用场景?总结如下:
冷数据:低成本存储访问概率较低的大型数据;
备份:日志备份、数据库备份等;
归档:历史数据的归档和长期存储等;
创新用法:例如当作大容量低成本的回收站等。
▉ 磁带技术的进展与展望
多年来,磁带增加了许多功能。
与其它存储技术相比,LTO磁带容量出货呈现出逆势增长的态势。
报告显示,2022年总共出货了148.3EB的磁带容量(压缩)。这一结果得益于持续大规模云服务提供商和企业对LTO技术的投资。出货表现强劲,延续了之前2019年114EB容量出货、2020年受疫情影响的105EB容量出货以及2021年148EB出货的增长趋势"。
最新版本LTO-8和LTO-9使用隧道磁电阻(TMR)作为磁带头,这使得比特可以被写入LTO存储介质的更小区域。这项技术标志着之前的巨磁电阻技术的转变。这些更新的迭代还使用钡铁氧体磁性颗粒来增加磁带存储容量。
然而,随着TMR和钡铁氧体的加入,LTO-8和LTO-9只能向后兼容一代。LTO以前可以读回两代。新路线图要求每一代磁带容量翻倍,LTO-14每卷可提供高达1,440TB(1.44 PB压缩)。一旦推出,LTO-14的磁带容量可能超过当前LTO-9磁带容量的32倍。
考虑到Exascale二级存储需求的增长,这一新的LTO路线图的延伸尤为关键,因为它提供了低成本、可持续的长期存储,并增强了网络安全性。在这方面,没有其它存储技术能够提供相媲美的多代长期路线图。
LTO ultrum路线图图形显示当前和未来发布的存储容量。另外,2020年12月, IBM和富士胶片表示,他们已经开发出了用于磁带存储的最高记录面密度的技术,采用锶铁氧体(SrFe)新型磁性粒子的磁带,创造了580TB(1.45 PB经过2.5倍压缩)的单盘容量。这比IBM和索尼在2017年实现的每个卡带330 TB的未压缩容量有所增加。
相较于钡铁氧体(BaFe),SrFe表现出更卓越的磁性特性。与BaFe一样,SrFe是一种化学稳定的氧化物,采用较小的纳米颗粒,非常适合长期数据保存。未来十年以及更长时间内,磁带技术在面积密度扩展方面将维持其可持续的优势。
而且"Flape"(即Flash+Tape)的概念并非新鲜,但在当前市场动态下,随着闪存/SSD的成本接近HDD,而磁带的价值主张(低成本、低能耗、容量/可扩展性、长期归档寿命、空气隔离等)变得更加相关。
Flash和磁带系统是互补的,组织可以消除昂贵、能源密集型的HDD的中间层,只需依赖闪存层获得卓越的性能提升、微秒级的延迟、宏观效率和企业可靠性。然后,磁带用于获得最佳的数据流性能、无与伦比的成本效益、高容量、可扩展性以及低功耗和占地面积。
Flash+Tape=Flape,这一概念是在2012年由分析公司Wikibon确定的。Flape架构背后的概念是将最活跃的数据以及元数据放在闪存上,将其余的冷数据存储在磁带上。Flape架构有助于满足实时、活跃数据的性能要求(最佳$/IOP)以及长期数据保留的预算要求(最佳$/TB)。
考虑到对闪存/SSD、磁带和HDD的投资以及随时间推移的每种解决方案的成本,Flape架构是有道理的,尤其是在考虑解决方案的可管理性和环境因素(电力、冷却、占地面积)时。Flape解决方案可以帮助IT将难以管理、不经常访问的大数据转化为真正的业务资产。
▉ 最后,总结
数字数据的创建每年继续以25%或更高的速度增长,全球至少80%的数字数据是最适合用于二级存储的低活动性数据。
作为对这一挑战的回应,磁带生态系统近年来显著扩展了其能力。从最初的备份和后来的归档目标起,现代磁带支持许多大数据应用,这些应用在历史上一直是昂贵HDD领域的重要组成部分。磁带还已经成为防范网络犯罪的主要安全、纯粹的长期存储解决方案,通过无缝集成空气隔离、加密和WORM功能,稳定的磁带创新趋势将持续至未来,焕发出强劲的生命力。