扁平化管理:细数对象储存发展状况

对象存储以对象ID为基础,扁平化的管理所有对象和桶,根据对象ID便可直接访问数据,解决了NAS复杂的目录树结构在海量数据情况下的数据查找耗时长的问题,这使得对象存储具备极强的扩展性,能够轻松实现单一名字空间内支持百亿级文件的存储。本文从对象储存的需求、应用、未来发展趋势等方面探讨对象储存应用状况。

【安防在线 www.anfang.cn】
对象存储以对象ID为基础,扁平化的管理所有对象和桶,根据对象ID便可直接访问数据,解决了NAS复杂的目录树结构在海量数据情况下的数据查找耗时长的问题,这使得对象存储具备极强的扩展性,能够轻松实现单一名字空间内支持百亿级文件的存储。本文从对象储存的需求、应用、未来发展趋势等方面探讨对象储存应用状况。

对象存储需求分析

随着互联网、Web2.0的快速发展,Web应用创建出数百亿的小文件;人们上传海量的照片、视频、音乐,Facebook每天都新增数十亿条内容,人们每天发送数千亿封电子邮件。据IDC统计未来在10年间数据将增长44倍,到2020年全球数据将增加到35ZB,其中80%是非结构化数据,且大部分是非活跃数据。

扁平化管理:细数对象储存发展状况

面对如此庞大的数据量,仅具备PB级扩展能力的块存储(SAN)和文件存储(NAS)显得有些无能为力:通常块存储(SAN)的一个LUN容量仅数TB。单个文件系统最优性能情况下支持的文件数量通常只在百万级别。人们需要一种全新的架构的存储系统,这种存储系统需要具备极高的可扩展性,能够满足人们对存储容量TB到EB规模的扩展的需求。

对象存储应用场景

对象存储系统的出现主要是为了满足数据归档和云服务两大需求,我们对这两种场景可进行进一步的细化:

1、存储资源池(空间租赁)

使用对象存储构建类似AmazonS3的存储空间租赁服务,向个人、企业或应用提供按需扩展的弹性存储服务。用户向资源池运营商按需购买存储资源后,通过基于web协议访问和使用存储资源,而无需采购和运维存储设备。多租户模型将不同的用户的数据隔离开来,确保用户的数据安全。

2、网盘应用

在海量存储资源池基础上,使用图形用户界面(GUI)实现对象存储资源的封装,向用户提供类似DropBox的网盘业务。用户可通过PC客户端、手机客户端、Web页面完成数据的上传、下载、管理与分享。在网盘帮助下个人和家庭用户能够实现数据安全、持久的保存和不同终端之间的数据同步;企业客户通过网盘应用可实现更高效的信息分享、协同办公和非结构化数据管理,同时企业网盘还可用于实现低成本的Windows远程备份,确保企业数据安全。

3、集中备份

在大型企业或科研机构中,对象存储通过与ComvaultSimpana、SymantecNBU等主流备份软件结合,可向用户提供更具成本效益、更低TCO的集中备份方案。相对原有的磁带库或虚拟磁带库等备份方案:重复数据删除特性能够帮助用户减少低设备采购,智能管理特性使得备份系统无需即时维护,从而降低CAPEX和OPEX;分布式并行读写带来的巨大吞吐量和在线/近线的存储模式有效降低RTO和RPO。

4、归档和分级存储

对象存储通过与归档软件、分级存储软件结合,将在线系统中的数据无缝归档/分级存储到对象存储,释放在线系统存储资源。对象存储提供几乎可无限扩展的容量,智能管理能力,帮助用户降低海量数据归档的TCO;对象归档采用主动归档模式使得归档数据能够被按需访问,而无需长时间的等待和延迟。

对象存储在数据中心的未来发展

对象存储系统包含两种数据描述:容器(Bucket)、对象(Object)。容器和对象都有一个全局唯一的ID。对象存储采用扁平化结构管理所有数据,用户/应用通过接入码(AccessKey)认证后,只需要根据ID就可以访问容器/对象及相关的数据(Data)、元数据(metadata)和对象属性(Attribute)。

对象存储对外提供更抽象的对象接口,而不是SCSI或文件接口。与SAN存储以逻辑扇区为单位的较细粒度的固定IO(512B~4KB)不同,对象存储IO粒度更有弹性,支持几个字节(B)到数万亿字节(TB)范围内的任意对象大小,使得业务可根据需要灵活的分割数据。

扁平化的数据结构允许对象存储容量从TB级扩展到EB级,管理数十个到百亿个存储对象,支持从数字节(Byte)到数万亿字节(TB)范围内的任意大小对象,解决了文件系统复杂的iNode的机制带来的扩展性瓶颈,并使得对象存储无需像SAN存储那样管理数量庞大的逻辑单元号(LUN)。对象存储系统通常在一个横向扩展(或网格硬件)架构上构建一个全局的命名空间,这使得对象存储非常适用在云计算环境中使用。某些对象存储系统还可支持升级、扩容过程中业务零中断。

由于云环境中的数据往往是动态、快速增长的,所以基于策略的自动化将变得非常重要。对象存储支持从应用角度基于业务需求设置对象/容器的属性(元数据)策略,如数据保护级别,保留期限,合规状况,远程复制的份数等。这使得对象存储具备云的自服务特征同时,有效的降低运维管理的成本,使得客户在存储容量从TB增长到ZB时,运维管理成本不会随之飙升

对象存储系统一般通过连续后台数据扫描、数据完整性校验、自动化对象修复等技术,新型的技术应用大大提高数据的完整性和安全性。某些对象存储产品还引入了一些先进的算法(如:擦除码ErasureCode)和技术将数据切分为多个分片,然后将这些分片存储到不同的设备/站点,在确保数据的完整性的同时获取最高的存储利用率。

对象存储系统的出现主要是为了满足数据归档和云服务两大需求,我们对这两种场景可进行进一步的细化:

使用对象存储构建类似AmazonS3的存储空间租赁服务,向个人、企业或应用提供按需扩展的弹性存储服务。用户向资源池运营商按需购买存储资源后,通过基于web协议访问和使用存储资源,而无需采购和运维存储设备。多租户模型将不同的用户的数据隔离开来,确保用户的数据安全。

在海量存储资源池基础上,使用图形用户界面(GUI)实现对象存储资源的封装,向用户提供类似DropBox的网盘业务。用户可通过PC客户端、手机客户端、Web页面完成数据的上传、下载、管理与分享。在网盘帮助下个人和家庭用户能够实现数据安全、持久的保存和不同终端之间的数据同步;企业客户通过网盘应用可实现更高效的信息分享、协同办公和非结构化数据管理,同时企业网盘还可用于实现低成本的Windows远程备份,确保企业数据安全。

在大型企业或科研机构中,对象存储通过与ComvaultSimpana、SymantecNBU等主流备份软件结合,可向用户提供更具成本效益、更低TCO的集中备份方案。相对原有的磁带库或虚拟磁带库等备份方案:重复数据删除特性能够帮助用户减少低设备采购,智能管理特性使得备份系统无需即时维护,从而降低CAPEX和OPEX;分布式并行读写带来的巨大吞吐量和在线/近线的存储模式有效降低RTO和RPO。

对象存储通过与归档软件、分级存储软件结合,将在线系统中的数据无缝归档/分级存储到对象存储,释放在线系统存储资源。对象存储提供几乎可无限扩展的容量,智能管理能力,帮助用户降低海量数据归档的TCO;对象归档采用主动归档模式使得归档数据能够被按需访问,而无需长时间的等待和延迟。

该文观点仅代表作者,本站仅提供信息存储空间服务,转载请注明出处。若需了解详细的安防行业方案,或有其它建议反馈,欢迎联系我们

(0)
小安小安

相关推荐

  • 战略专家看CIO如何“规避”云存储的缺陷

    云存储技术在某些应用案例中提供了一些明显的好处。但是,人们需要避免云存储的什么缺陷呢?美国俄亥俄州哥伦布的Veeam软件公司的软件战略专家Rick Vanover对于这个问题分享了他的见解。

    2023年8月20日
  • 大数据时代来临 存储技术趋势预测与分析

    存储虚拟化是目前以及未来的存储技术热点,它其实并不算是什么全新的概念,RAID、LVM、SWAP、VM、文件系统等这些都归属于其范畴。存储的虚拟化技术有很多优点,比如提高存储利用效率和性能,简化存储管理复杂性,绿色节省,降低运营成本等。

    2024年4月4日
  • 浅谈监控储存如何关联数据实现智能化

    随着监控系统迈向高清时代的步伐在加快,存储作为系统应用的重要部分,势必会有更多的发展和变化。未来的监控存储,会跟现在通用的数据存储一样,朝着共同观察、响应节能、低功耗的趋势发展,除了设备本身的节能设计外,还有更多存储过程、系统配置方面的优化可做。

    2023年9月14日
  • 从某银行案例看海康威视金融视频云存储方案设计

    坊间早有传闻,云有幻化,不拘大小,深耕安防。海康威视通过自己的技术挖掘及理解,结合金融行业特殊需求,更是提出了“微视云”一说,究竟怎么回事?请随本刊走进海康威视的金融视频云存储方案评估现场。

    2024年1月30日 资讯
  • 全面了解关于高效存储的五种不同解读

    随着信息化进程的不断发展,数据已经取代计算成为了信息计算的中心。高效存储旨在缓解存储系统的空间增长问题,缩减数据占用空间,简化存储管理,最大程度地利用已有资源,降低成本。对这些用户来说,存储利用率直接关系到存储投资回报的多少,这显然是高效存储要解决的一个重要问题。

    2023年9月14日
  • 网络视频存储方案

    导读:目前视频监控存储的模式主要分为:本地存储模式和网络视频集中存储模式(NAS存储、IPSAN存储)两大类。本地存储模式是将编码器和本地磁盘存储进行直接连结的存储模式。网络视频集中存储模式一般是指基于互联网和基于IPSAN或NAS协议的音视频数据流存储模式。

    2024年1月19日