威联通QuTSheroh5.2细节解析-商用ZFS文件系统第一次下放消费级

电子开箱不简单 2024-11-06 07:48:34
前言

我用威联通的NAS也用了三四年,目前还坚持用它的核心理由之一就是威联通新的QuTS hero h5.2系统采用了ZFS文件系统,把曾经商用级别的文件系统下放到消费级的产品上,这就直接跟目前主流的几个NAS新势力品牌产生了核心定位差。

以极空间绿联为代表的新势力NAS品牌打动我的点在于它们好用,拿到手就能用,而以威联通为代表的传统NAS品牌打动我的点在于它更适配半商用环境,运行更稳定,文件系统安全性更高。

这安全性更高,稳定性更强的特点,其实就是威联通QuTS hero h5.2带来的,准确来说,是用了ZFS文件系统的威联通QuTS hero h5.2系统带来的。

目前我是把威联通TS464C2加装了32G的内存,踩着ZFS文件系统对硬件要求的底线更新升级了QuTS hero h5.2,保证数据的稳定性,以便于它作为我整个团队的数据交互中心。

可以说,ZFS是目前唯一一个靠谱的软RAID方案,相比较之下,LVM、Madam、BTRFS之类的RAID几乎是跟玩具一样。

ZFS的使用体验我就简单总结一些:

在线实时处理的区块层级 (Block-based) 数据重复删除机制 (Inline Data Deduplication),让数据在写入磁盘前就已经过删减演算,大幅节省存储空间占用;加上让大档变小档的数据压缩 (Inline Compression),以及先进的实时数据压实 (Inline Compaction) 技术,在数据重复性质高或大量小型数据存取的情境下,提升 SSD 空间使用率的效益尤其明显,不仅显著提升全快闪配置的写入效能,对 SSD 的耐用性与使用寿命也有帮助,让全快闪存储架构成本效益更高。

直接支持PB级别的储存池,可以实时建立近乎于无限数量的快照,以及基于LZ4的低延迟高IO的压缩性能,最重要的是ZFS 具备预防静态数据损毁 (Silent Data Corruption) 的自我修复能力 (Self-healing),可针对所有数据区块进行 Checksum 校验,并自动修复错误的区块。如因发现硬件 (例如:破损的传输线)、驱动程序、或 Metadata 出错而导致的静态数据损毁,下次读取此区块时,会因发现 Checksum 结果不一致而利用备份数据自动修复,确保数据完整而正确。

ZFS可以说是最适合我的高性价比文件系统了。

细节ZFS文件系统的优势

超强的容错能力:

ZFS文件系统提供了更强的容错能力,支持三重奇偶校验(RAID Z3),可提供3个冗余容错保护,以及Triple Mirror提供多达3个数据镜射保护,大幅提升数据保护的安全性层级。

高效的数据去重压缩算法:

ZFS文件系统具备实时重复数据删除和实时数据压缩功能,可以提升空间利用率,释放更多存储空间。

数据自我修复能力:

ZFS文件系统具备预防静态数据损毁的自我修复能力,可以针对所有数据区块进行Checksum校验,并自动修复错误的区块,确保数据完整而正确。

无限快照功能:

ZFS支持建立近乎无限数量的快照,实现缜密的多版本快照保护。快照数量高达65,536份,利用Copy-on-Write技术,拍摄快照近乎实时且不影响系统运作效能。

由于 ZFS 采用的 COW 机制,每次的更新 new 数据均不会破坏磁盘上已有的 old 数据。ZFS 可以根据需要保留old 数据。这是实现快照功能的基础,实际的快照功能实现是选择一个 TXG-num 作为快照点,将 old root 下拓扑的保存起来,不去释放被更新的数据块地址。当然实际的快照功能要复杂的多,这里不做赘述。

提升SSD寿命:

ZFS文件系统的在线实时处理的区块层级数据重复删除机制、数据压缩和数据压实技术,在数据重复性质高或大量小型数据存取的情境下,提升SSD空间使用率的效益尤其明显,显著提升全快闪配置的写入效能,对SSD的耐用性与使用寿命也有帮助。

zfs直接使用nvme固态硬盘做zpool效果:

如果是单个nvme作为vdev,和其它文件系统没什么太大区别——当然,zfs的快照、cow、可启用lz4压缩还是很有用的,如果你的内存足够大的话,开启去重可能会节约不少空间。如果是strip、raidz的vdev,持续读写当然会很牛叉——前提是你的主板能插很多个nvme盘。然而,大部分情况下你找不到让它发挥性能的场合——除了休眠以及休眠后唤醒这种block device和内存交换大量数据的场景。因为既然用了zfs,相信你不会再组一个另一个同规格的zpool或者阵列,而其它的任何设备,几乎都无法提供使得单个nvme满载的带宽——你读数据总要读取到某个地方,写数据总要从某个地方读取数据吧?所以可以说strip、raidz最大的用处就是把不同nvme上的空间组合起来使用——这个时候考虑到数据安全,strip自然是不推荐了。

支持PB级别的存储池:

ZFS直接支持PB级别的存储池,可以实时建立近乎无限数量的快照,以及基于LZ4的低延迟高IO的压缩性能。

大多数单机文件系统是物理设备强绑定的,一旦在某个物理设备上格式化文件系统之后,该文件系统的可用空间和物理设备大小息息相关。但是 ZFS 将实际的物理设备和文件系统进行隔离,文件系统是建立在存储池上,存储池上的文件系统共用存储池的物理空间,同时可以动态添加物理设备到存储池中,以增加存储池的可用空间。

ZFS可以提供接近无限的存储空间:将物理存储设备进行池化管理,文件系统建立在设备存储池上。当文件系统空间不够,可以将物理设备动态添加存储池中。存储池上的单个文件系统极限值:支持 2^{48} 个快照、支持 2^{48} 个文件、单个文件最大 16EB。

数据完整性验证:ZFS在存储过程中有数据完整性验证,能够自动修复错误区块,确保数据的完整性和正确性。

提升性能和安全性:QuTS hero h5.2增强了企业的IT效率和系统可靠性,提供了内核模式SMB Daemon加速技术,Security Center安全中心,支持最新版本的TCG-Ruby SED增强磁盘安全性等新功能。

ZFS文件系统的劣势

ZFS的文件系统那么多优势,其实都是建立在高消耗的基础上的,而高消耗包含了内存消耗,硬盘消耗,CPU性能消耗等等,所以对于一部分硬件性能不够的用户来说,ZFS其实是有下面这些劣势的:

资源消耗大:

ZFS文件系统因其设计用于处理大量数据和实现高数据完整性,因此需要大量的系统资源,尤其是RAM。在配置不够的机器上跑ZFS可能会导致更严重的卡顿。

存储管理复杂性:ZFS提供了接近于商用环境的存储管理功能,但这也使得ZFS相比传统的文件系统和逻辑卷管理器更加复杂,不过好消息是威联通的威联通QuTS hero h5.2已经把这些问题都尽量简化了,操作逻辑跟之前的系统也没甚太大的出入。

对硬件要求较高:ZFS推荐配置是1TB硬盘搭配1GB内存作为缓存,对于内存没那么宽裕的NAS用户来说,如果要升级ZFS的话,首先买两条内存条给NAS加装内存才是最好的。不过好消息是威联通大部分型号的NAS都是能自己更换内存条。

我现在正在用的威联通QNAP TS-464C2标配的是一条8GB DDR4 3200 SO-DIMM内存条,因为设计有两个内存插槽,所以我可以自己买两条16G的内存条把它升级成32G的内存。

性能开销较大:ZFS的许多功能对于系统性能开销也比较大,尤其是在高并发读写和并发多文件写入方面,ZFS的性能表现相对较差。这个性能开销包含了CPU性能和内存性能,所以不要再问为什么NAS一定要买高性能的U了,ZFS文件系统来了谁都拦不住。

TS-464C2给的处理器为四核四线程的 N5095,在CPU性能上N5095略好些,算是踩着ZFS文件系统需求的底线在跑。

目前威联通支持自己下载QuTS hero h5.2系统之后手动更新,也可以等一段时间等推送。

结语

威联通将高端QuTS Hero系统下放到家用级NAS上直接推动了家庭用户和小型办公场景中企业级功能的普及化。

一些高端家庭用户或小型创意工作室(如摄影师、视频制作者)对数据管理和存储安全性要求较高,QuTS Hero的下放可以让他们能在家用NAS上获得类似企业级NAS的功能和性能,从而满足大文件管理、存储和安全备份等专业需求。

而对于普通用户来说,威联通将高端QuTS Hero系统下放到家用级NAS,极大降低了享受高端功能的门槛,我们不再需要昂贵的企业级设备,就能在家中体验到威联通QuTS Hero强大的存储管理、安全性和高效的数据处理能力,极大提高了家用NAS的性价比。

要注意的是,你如果准备升级威联通QuTS hero h5.2系统的话,我建议直接重新买一台新的机器直接装威联通QuTS hero h5.2,因为涉及到底层文件系统的升级会直接格式化你的旧机器,而且威联通QuTS hero h5.2ZFS文件系统因其设计用于处理大量数据和实现高数据完整性,因此需要大量的系统资源,尤其是RAM,至少要给个16G的内存(更推荐32GB),ZFS推荐配置是1TB硬盘搭配1GB内存作为缓存。

而ZFS的许多功能对于系统性能开销也比较大,尤其是在高并发读写和并发多文件写入方面,所以尽量买个处理器性能好一点的NAS型号。

所以其实我还是更建议有需要的人直接买TS-466C及以上的型号,我这个TS464C2几乎已经是底线了。

威联通宣布QuTS Hero免费下放,意味着原本只能用于高端企业市场的功能,现在普通用户也能体验到。对于中小企业、个人开发者以及家庭用户来说,这无疑是个重大利好。威联通通过降低门槛,赋予了更多用户构建高效数据存储与管理系统的能力。

0 阅读:4

电子开箱不简单

简介:感谢大家的关注