面向海量数据的云存储技术研究

云存储是在云计算概念上延伸和发展出来的一个新概念,专注于解决云计算中海量数据的存储挑战,它不但能够给云计算服务提供专业的存储解决方案,而且还可以独立的发布存储服务。云存储是指综合分布式文件系统、集群应用和网格技术等技术,通过应用软件让网络中存在的大量的、不同类型的存储设备协同工作,共同对外提供数据存储和业务访问功能的一个系统。

当今社会发展的主题是经济的快速发展,伴随着Internet技术的快速推进,数据量更是呈现出爆炸式的增长。随着数据量的急剧增长,对所需的存储系统有更高的要求―――更大存储容量、更强的性能、更高的安全性级别、进一步智能化等,传统的SAN或NAS存储技术面对PB级甚至EB级海量数据,存在容量、性能、扩展性和费用上的瓶颈,已经无法满足新形势下数据存储要求。因此,为了应对不断变大的存储容量、不断加入的新型存储设备、不断扩展的存储系统规模,云存储作为一种全新的解决方案被提出,备受业界的认可和关爱。


1.云存储概念


云存储是在云计算概念上延伸和发展出来的一个新概念,专注于解决云计算中海量数据的存储挑战,它不但能够给云计算服务提供专业的存储解决方案,而且还可以独立的发布存储服务。云存储是指综合分布式文件系统、集群应用和网格技术等技术,通过应用软件让网络中存在的大量的、不同类型的存储设备协同工作,共同对外提供数据存储和业务访问功能的一个系统。


云存储的本质是一种可扩展、高速、低成本的基于Web的特殊形式的实用型服务,是一种服务理念,而不是存储,不是一些具体的设备,它提供了多个用户通过互联网连接访问共享存储池的能力。用户不需要了解系统是怎么构成的,也不需要了解怎么提供存储,所有设备对用户来说都是完全透明的,任何一个经授权的合法用户无论在何方都可以通过网络与云存储连接,享用云服务。


2.云存储的结构模型


云存储是一个以存储设备为核心,由多部分组成的复杂系统,通过一些应用软件来对外提供服务。其结构模型由以下四层组成。


2.1存储层


云存储中最基础的部分是存储层,位于云存储的最底层。该层可有多种存储设备供选择使用,可以是IP存储设备,也可以是DAS存储设备,或者是光纤通道存储设备。云存储中的存储设备种类、数量众多,并且分布在不同地理位置,它们之间通过互联网、光纤通道网络等各种网络连接在一起。


2.2基础管理层


云存储中比较难实现的部分是基础管理层,也是云存储中最核心的一层。应用集群、分布式文件系统、网格计算等技术,通过基础管理层来实现云存储中多个存储设备之间的协同工作,使得这些设备对外向用户提供一致服务。为了保护用户数据的安全性和私密性,云存储使用了数据加密技术、内容分发技术、数据备份和容灾技术等,使得用户的数据不被窃取、泄密或丢失。


2.3应用接口层


云存储最灵活多变的部分是应用接口层。云存储服务商根据实际业务需求,可以开发远程数据备份、视频点播平台等不同类型的服务接口,提供相应的应用服务。


2.4访问层


云存储的要求是只有经过授权的用户才可以通过标准的应用接口登陆系统,才能享用里面的各项服务,但是服务商所提供的访问手段和访问类型因采用的手段不同而不同。


3.云存储关键技术


3.1存储虚拟化技术


存储虚拟化技术是云存储的核心技术。通过存储虚拟化方法,把不同厂商、不同型号、不同通信技术、不同类型的存储设备的互联起来,将系统中各种异构的存储设备映射为一个统一的存储资源池。存储虚拟化技术能够对存储资源进行统一分配管理,又可以屏蔽存储实体间的物理位置以及异构特性,实现了资源对用户的透明性,降低了构建、管理和维护资源的成本,从而提升云存储系统的资源利用率。


3.2分布式存储技术


分布式存储是通过网络使用服务商提供的各个存储设备上的存储空间,并将这些分散的存储资源构成一个虚拟的存储设备,数据分散的存储在各个存储设备上。它所涉及的主要技术有网络存储技术、分布式文件系统和网格存储技术等,利用这些技术实现云存储中不同存储设备、不同应用、不同服务的协同工作。


3.3重复数据删除技术


随着数据中重复数据的数据量不断增加,会导致重复的数据占用更多的空间。重复数据删除技术一种非常高级的数据缩减技术,可以极大的减少备份数据的数量,通常用于基于磁盘的备份系统,通过删除运算,消除冗余的文件、数据块或字节,以保证只有单一的数据存储在系统中。其目的是减少存储系统中使用的存储容量,增大可用的存储空间,增加网络传输中的有效数据量。然而重复删除运算相当消耗运算资源,对存取能效会造成相当程度冲击,要应用在对存取能效较敏感的网络存储设备上,将会面临许多困难。


3.4数据备份技术


在以数据为中心的时代,数据的重要性无可置否,如何保护数据是一个永恒的话题,即便是现在的云存储发展时代,数据备份技术也非常重要。数据备份技术是将数据本身或者其中的部分在某一时间的状态以特定的格式保存下来,以备原数据出现错误、被误删除、恶意加密等各种原因不可用时,可快速准确的将数据进行恢复的技术。数据备份是容灾的基础,是为防止突发事故而采取的一种数据保护措施,根本目的是数据资源重新利用和保护,核心的工作是数据恢复。


3.5存储加密技术


存储加密是指当数据从前端服务器输出,或在写进存储设备之前通过系统为数据加密,以保证存放在存储设备上的数据只有授权用户才能读取。目前云存储中常用的存储加密技术有以下几种:全盘加密,全部存储数据都是以密文形式书写的;虚拟磁盘加密,存放数据之前建立加密的磁盘空间,并通过加密磁盘空间对数据进行加密;卷加密,所有用户和系统文件都被加密;文件/目录加密,对单个的文件或者目录进行加密。


3.6内容分发网络技术


内容分发网络是一种新型网络构建模式,主要是针对现有的Internet进行改造。基本思想是尽量避开互联网上由于网络带宽小、网点分布不均、用户访问量大等影响数据传输速度和稳定性的弊端,使数据传输的更快、更稳定。通过在网络各处放置节点服务器,在现有互联网的基础之上构成一层智能虚拟网络,实时地根据网络流量、各节点的连接和负载情况、响应时间、到用户的距离等信息将用户的请求重新导向离用户最近的服务节点上。


目的是使用户可就近取得所需内容,解决Internet网络拥挤的状况,提高用户访问网站的速度。


4.结束语


随着科技的快速发展,云存储已经成为人们越来越关注的一个焦点,它可以在最大程度上为用户节约成本,并且能够提供安全、可靠的数据访问服务,具有非常好的应用价值和研究前景。本文主要研究了云存储的关键技术,但对各项技术的具体研究不够透彻,是今后努力的一个方向。

面向海量数据的云存储技术研究

该文观点仅代表作者,本站仅提供信息存储空间服务,转载请注明出处。若需了解详细的安防行业方案,或有其它建议反馈,欢迎联系我们

(0)
小安小安

相关推荐

  • 战略专家看CIO如何“规避”云存储的缺陷

    云存储技术在某些应用案例中提供了一些明显的好处。但是,人们需要避免云存储的什么缺陷呢?美国俄亥俄州哥伦布的Veeam软件公司的软件战略专家Rick Vanover对于这个问题分享了他的见解。

    2023年8月20日
  • 大数据时代来临 存储技术趋势预测与分析

    存储虚拟化是目前以及未来的存储技术热点,它其实并不算是什么全新的概念,RAID、LVM、SWAP、VM、文件系统等这些都归属于其范畴。存储的虚拟化技术有很多优点,比如提高存储利用效率和性能,简化存储管理复杂性,绿色节省,降低运营成本等。

    2024年4月4日
  • 浅谈监控储存如何关联数据实现智能化

    随着监控系统迈向高清时代的步伐在加快,存储作为系统应用的重要部分,势必会有更多的发展和变化。未来的监控存储,会跟现在通用的数据存储一样,朝着共同观察、响应节能、低功耗的趋势发展,除了设备本身的节能设计外,还有更多存储过程、系统配置方面的优化可做。

    2023年9月14日
  • 从某银行案例看海康威视金融视频云存储方案设计

    坊间早有传闻,云有幻化,不拘大小,深耕安防。海康威视通过自己的技术挖掘及理解,结合金融行业特殊需求,更是提出了“微视云”一说,究竟怎么回事?请随本刊走进海康威视的金融视频云存储方案评估现场。

    2024年1月30日 资讯
  • 全面了解关于高效存储的五种不同解读

    随着信息化进程的不断发展,数据已经取代计算成为了信息计算的中心。高效存储旨在缓解存储系统的空间增长问题,缩减数据占用空间,简化存储管理,最大程度地利用已有资源,降低成本。对这些用户来说,存储利用率直接关系到存储投资回报的多少,这显然是高效存储要解决的一个重要问题。

    2023年9月14日
  • 网络视频存储方案

    导读:目前视频监控存储的模式主要分为:本地存储模式和网络视频集中存储模式(NAS存储、IPSAN存储)两大类。本地存储模式是将编码器和本地磁盘存储进行直接连结的存储模式。网络视频集中存储模式一般是指基于互联网和基于IPSAN或NAS协议的音视频数据流存储模式。

    2024年1月19日