ESG白皮书:重复数据删除技术
作者: SMB
责任编辑: 阚智
来源: 中小企业IT采购
时间: 2007-03-12 15:52
关键字: 重复数据删除
浏览: 0
点赞: 0
收藏: 0
ESG将重复数据删除定义为删除或擦去冗余文件、字节或数据块的流程,确保只有“独有”的数据存储在磁盘上。重复数据删除也是ESG所谓的容量优化保护技术(COP)的一个例证。COP技术用于减少数据保护相关的容量需求。
重复数据删除拥有许多潜在优势,最独到的一点则是,重复数据删除通过有效减少后端容量需求,正面解决了“容量膨胀”问题。ESG认为,重复数据删除技术是这十年来出现的最重要的数据保护技术之一。原因是因为重复数据删除技术为数据保护领域带来革命性突破,使磁盘备份、远程备份和复制效率更高。实际上,ESG预测,由于重复数据删除技术能够提升方案价值,将带动对包含VTL在内的基于磁盘备份方案的市场关注度及部署。
ESG 调查发现,成本问题一直是阻碍部署基于磁盘备份方案的首要因素。而重复数据删除技术降低了后端磁盘容量需求,从而降低了相关磁盘成本。
具体来描述重复数据删除技术,可以这么看,这种技术以粒度为处理规则,处理的粒度越多,容量减少的越大。总体来看,文件级的重复数据删除虽然有效,但其检测的重复数据要少于块级或字节级的重复数据删除;同样,块级重复数据删除在检测数据重复上比字节级的重复数据删除通常更有效。
下面例子说明在粒度上的差别:某终端用户制作了1MB的PowerPoint演示文档,然后以邮件附件形式发给内部20个人审阅。在传统备份环境下(没有重复数据删除),虽然文件没有任何变化,但每个附件都会在每晚完全备份过程中被全部备份,耗费不必要的磁盘容量(20×1MB)。即使是小公司,考虑到磁盘物理容量、功率和冷却等情况,此冗余成本也颇为可观。
然而,文件级重复数据删除只保存一份PowerPoint文档备份,所有其他附件(如重复的拷贝)都被“指针”替代,从而释放磁盘空间容量,并在客户需要的情况下延长保留时长。
更多粒度的重复删除方法,块级和字节级重复数据删除技术将此流程推进一步。这些方法查看构成新1MB文件的每个片段,与重复数据删除系统先前遇到的元素相比较,在新文件中用指针替代重复元素,而不用重新存储。(不同厂商在处理流程上有所不同。在有些情况下,产品的性能可能受到不同的比较元素方式、在磁盘上执行写入和管理的影响)
除了重复数据删除流程粒度之外,还有其他因素也会影响重复数据删除比率。例如,生成的数据类型(有些数据本身即更易于复制)、数据变化频率等都影响重复数据删除比率。ESG实验室测试过几种重复数据删除技术,并认为不考虑重复数据删除流程粒度,10-20倍的容量缩减是现实的。
还有一点值得注意,重复数据删除是一种特性或技术,而非独立的产品,首先应用于数据保护和保留领域。然而ESG预测,随着时间推移,重复数据删除还将应用于其他存储领域。
重复数据删除拥有许多潜在优势,最独到的一点则是,重复数据删除通过有效减少后端容量需求,正面解决了“容量膨胀”问题。ESG认为,重复数据删除技术是这十年来出现的最重要的数据保护技术之一。原因是因为重复数据删除技术为数据保护领域带来革命性突破,使磁盘备份、远程备份和复制效率更高。实际上,ESG预测,由于重复数据删除技术能够提升方案价值,将带动对包含VTL在内的基于磁盘备份方案的市场关注度及部署。
ESG 调查发现,成本问题一直是阻碍部署基于磁盘备份方案的首要因素。而重复数据删除技术降低了后端磁盘容量需求,从而降低了相关磁盘成本。
具体来描述重复数据删除技术,可以这么看,这种技术以粒度为处理规则,处理的粒度越多,容量减少的越大。总体来看,文件级的重复数据删除虽然有效,但其检测的重复数据要少于块级或字节级的重复数据删除;同样,块级重复数据删除在检测数据重复上比字节级的重复数据删除通常更有效。
下面例子说明在粒度上的差别:某终端用户制作了1MB的PowerPoint演示文档,然后以邮件附件形式发给内部20个人审阅。在传统备份环境下(没有重复数据删除),虽然文件没有任何变化,但每个附件都会在每晚完全备份过程中被全部备份,耗费不必要的磁盘容量(20×1MB)。即使是小公司,考虑到磁盘物理容量、功率和冷却等情况,此冗余成本也颇为可观。
然而,文件级重复数据删除只保存一份PowerPoint文档备份,所有其他附件(如重复的拷贝)都被“指针”替代,从而释放磁盘空间容量,并在客户需要的情况下延长保留时长。
更多粒度的重复删除方法,块级和字节级重复数据删除技术将此流程推进一步。这些方法查看构成新1MB文件的每个片段,与重复数据删除系统先前遇到的元素相比较,在新文件中用指针替代重复元素,而不用重新存储。(不同厂商在处理流程上有所不同。在有些情况下,产品的性能可能受到不同的比较元素方式、在磁盘上执行写入和管理的影响)
除了重复数据删除流程粒度之外,还有其他因素也会影响重复数据删除比率。例如,生成的数据类型(有些数据本身即更易于复制)、数据变化频率等都影响重复数据删除比率。ESG实验室测试过几种重复数据删除技术,并认为不考虑重复数据删除流程粒度,10-20倍的容量缩减是现实的。
还有一点值得注意,重复数据删除是一种特性或技术,而非独立的产品,首先应用于数据保护和保留领域。然而ESG预测,随着时间推移,重复数据删除还将应用于其他存储领域。
©本站发布的所有内容,包括但不限于文字、图片、音频、视频、图表、标志、标识、广告、商标、商号、域名、软件、程序等,除特别标明外,均来源于网络或用户投稿,版权归原作者或原出处所有。我们致力于保护原作者版权,若涉及版权问题,请及时联系我们进行处理。