解析大数据存储平台应用中弹性的必要性

目前,对于“大数据”的讨论很多,公认的看法是将大数据的系列问题归纳为:海量的数据规模(volume)、快速的数据流转和动态的数据体系(velocity)、多样的数据类型(variety)和巨大的数据价值(value),以及我们的对策。但实际上,大数据首先要考虑的应该是“大”–海量的数据规模。由此看来,大数据存储的首要需求存储容量可扩展。本文将讲述现阶段不断生长的大数据在存储平台中遇到的技术问题。

【安防在线 www.anfang.cn】
目前,对于“大数据”的讨论很多,公认的看法是将大数据的系列问题归纳为:海量的数据规模(volume)、快速的数据流转和动态的数据体系(velocity)、多样的数据类型(variety)和巨大的数据价值(value),以及我们的对策。但实际上,大数据首先要考虑的应该是“大”–海量的数据规模。

大数据之“

大”

“大”是相对而言的概念。例如,对于像SAPHANA那样的“内存数据库”来说,2TB可能就已经是大容量了;而对于像谷歌这样的搜索引擎,EB的数据量才能称得上是大数据。

解析大数据存储平台应用中弹性的必要性

“大”也是一个迅速变化的概念。HDS在2004年发布的USP存储虚拟化平台具备管理32PB内外部附加存储的能力。当时,大多数人认为,USP的存储容量大得有些离谱。但是现在,大多数企业都已经拥有PB级的数据量,一些搜索引擎公司的数据存储量甚至达到了EB级。由于许多家庭都保存了TB级的数据量,一些云计算公司正在推广其文件共享或家庭数据备份服务。

有容乃“

大”

由此看来,大数据存储的首要需求存储容量可扩展。大数据对存储容量的需求已经超出目前用户现有的存储能力。我们现在正处于PB级时代,而EB级时代即将到来。过去,许多企业通常以五年作为IT系统规划的一个周期。在这五年中,企业的存储容量可能会增加一倍。现在,企业则需要制定存储数据量级(比如从PB级到EB级)的增长计划,只有这样才能确保业务不受干扰地持续增长。这就要求实现存储虚拟化。存储虚拟化是目前为止提高存储效率最重要、最有效的技术手段。它为现有存储系统提供了自动分层和精简配置等提高存储效率的工具。拥有了虚拟化存储,用户可以将来自内部和外部存储系统中的结构化和非结构化数据全部整合到一个单一的存储平台上。

当所有存储资产变成一个单一的存储资源池时,自动分层和精简配置功能就可以扩展到整个存储基础设施层面。在这种情况下,用户可以轻松实现容量回收和容量利用率的最大化,并延长现有存储系统的寿命,显著提高IT系统的灵活性和效率,以满足非结构化数据增长的需求。中型企业可以在不影响性能的情况下将HUS的容量扩展到近3PB,并可通过动态虚拟控制器实现系统的快速预配置。此外,通过HDSVSP的虚拟化功能,大型企业可以创建0.25EB容量的存储池。随着非结构化数据的快速增长,未来,文件与内容数据又该如何进行扩展呢?

不断“

生长”

的大数据

与结构化数据不同,很多非结构化数据需要通过互联网协议来访问,并且存储在文件或内容平台之中。大多数文件与内容平台的存储容量过去只能达到TB级,现在则需要扩展到PB级,而未来将扩展到EB级。这些非结构化的数据必须以文件或对象的形式来访问。基于Unix和Linux的传统文件系统通常将文件、目录或与其他文件系统对象有关的信息存储在一个索引节点中。索引节点不是数据本身,而是描述数据所有权、访问模式、文件大小、时间戳、文件指针和文件类型等信息的元数据。传统文件系统中的索引节点数量有限,导致文件系统可以容纳的文件、目录或对象的数量受到限制。HNAS和HCP使用基于对象的文件系统,使得其容量能够扩展到PB级,可以容纳数十亿个文件或对象。位于VSP或HUS之上的HNAS和HCP网关不仅可以充分利用模块存储的可扩展性,而且可以享受到通用管理平台HitachiCommandSuite带来的好处。

HNAS和HCP为大数据的存储提供了一个优良的架构。大数据存储平台必须能够不受干扰地持续扩展,并具有跨越不同时代技术的能力。数据迁移必须在最小范围内进行,而且要在后**成。大数据只要**一次,就能具有很好的可恢复性。大数据存储平台可以通过版本控制来跟踪数据的变更,而不会因为大数据发生一次变更,就重新备份一次所有的数据。HDS的所有产品均可以实现后台的数据移动和分层,并可以增加VSP、HUS数据池、HNAS文件系统、HCP的容量,还能自动调整数据的布局。传统文件系统与块数据存储设备不支持动态扩展。大数据存储平台还必须具有弹性,不允许出现任何可能需要重建大数据的单点故障。HDS可以实现VSP和HUS的冗余配置,并能为HNAS和HCP节点提供相同的弹性。大数据存储平台需要将文件、块数据和内容集成到一个统一的HitachiCommandSuite管理平台之上,以满足大数据处理和应用的需求。

该文观点仅代表作者,本站仅提供信息存储空间服务,转载请注明出处。若需了解详细的安防行业方案,或有其它建议反馈,欢迎联系我们

(0)
小安小安

相关推荐

  • 二代身份证读卡器驱动安装

    二代身份证读卡器驱动安装 二代身份证读卡器是一种用于读取二代身份证信息的设备,它可以帮助我们方便地获取身份证上的个人信息。然而,在使用二代身份证读卡器之前,我们需要先安装相应的驱动…

    2023年9月23日
  • 浅谈电力猫在智能家居中使用常见问题

    电力猫 (PLC:Power line Communication)是通过电力线进行宽带上网的Modem的俗称,又称电力线适配器、电力网络桥接器,该设备把载有信息的高频加载于电流,然后用电力线传输信息,接受信息的适配器再把高频从电流中分离出来,并传送到计算机等终端设备上以实现信息传递。

    2023年9月17日 知识
  • 我国电力行业安防呈现高清和一体化趋势

    传统视频监控在电力行业应用非常广泛,包括无人值守变电站、安全生产、输电线路等各个领域都有视频监控的部署需求。其中,无人值守变电站的监控应用尤为典型,带有显著的电力系统行业特征。变电站是电网的枢纽,也是电力安全管理的重要对象。在无人值守变电站建立网络化视频监控系统,能够帮助电力部门有效节约人力资源,提高安全管理效率。

    2024年4月15日
  • 升级监控系统要多少钱

    升级监控系统要多少钱 升级监控系统是一个需要考虑多个因素的复杂过程。无论是对于个人用户还是企业用户来说,都需要根据自身需求和预算来确定升级监控系统所需的费用。以下是一些可能影响升级…

    2023年9月21日
  • 联特微网络摄像机应用温州陈薛尚幼儿园

    柳市镇陈薛尚幼儿园引进了一套联特微网络视频监控系统,此次监控工程覆盖整个幼儿园:舞蹈房、图书室、科学发现室、游戏室、活动室、午睡室、盥洗室、操场等场所,所有经网络摄像机采集的音视频图像直接通过网络传输到园内监控管理中心,园方领导可以通过浏览器直接访问每个监控点位的师生教学情况。

    2024年4月15日
  • 10ah是什么意思

    10ah是什么意思 10ah是一个常见的缩写词,通常在电子设备和电动车等领域中使用。这个缩写词代表的是电池的容量,即10安时(Ah)。在理解10ah的意思之前,我们需要了解一些关于…

    2024年9月15日