高清视频存储技术方案浅析

在视频监控向数字化、网络化、集成化监控体系发展过程中，“高清”技术日渐成为众多监控系统的重点应用趋势。高清带来更为清晰、直观的视觉体验，08年奥运会、09年国庆阅兵和上海世博会中高清监控均得到非常成功的应用，切实加强了对重点区域的安全防范。

高清视频监控应用背景

高清监控系统码率大(4Mbps-20Mbps)、综合性强、数据量巨大，对存储系统的要求很高，主要体现在以下几方面：

・性能较高的并发读写能力;

・高效合理的空间管理能力;

・海量数据的快速检索能力;

・稳定可靠的数据保存能力;

・灵活快速的空间扩展能力。

本文将重点介绍海康威视针对高清监控的两种典型存储方案–监控CVR存储和监控云存储，此两种方案均采用了针对监控的优化措施和针对海量数据的存储管理技术，在高清应用中表现突出。

高清监控存储方案介绍

CVR存储方案

CVR存储方案以存储系统作为数据的管理和存储核心环节，减少了存储服务器环节，前端监控数据流直接写入存储系统中，平台和客户端直接从存储系统中读取和调用视频数据，所有的传输协议均采用针对视频的流媒体传输协议。系统架构参见图1。

该方案在架构上可以省略存储服务器，消除其固有的性能瓶颈和单点故障隐患。基于流媒体的数据传输和数据管理结构，几乎可以完全消除传统文件系统下覆盖读写带来了的文件碎片问题，大幅提高存储系统的写入和检索速度;同时也将彻底消除传统文件系统由于供电和网络的不稳定引起的文件系统损坏、数据只读等问题。

监控云存储方案

该监控云存储解决方案，分为应用层、云存储接口层和云存储层，前端所有应用只要通过统一的云存储接口接入云存储系统即可接受存储服务。方案具有如下特点：

・采用先进架构，统一的云存储服务接口，存储对用户透明，应用步骤简化;

・云存储管理服务器支持集群化，无核心节点;

・云存储根据各节点压力和空间情况自动调节负载，实现智能负载均衡;

・部分存储节点发生故障时，该节点的负载可透明转移到其它节点，保证服务持续，实现故障对应用层透明;

・通过增加相应节点即可实现云存储的容量和性能扩展，且对上层应用透明;

・采用了众多针对视频应用的流媒体文件系统、缓存优化、数据保护机制等技术，提供近乎100%的服务保证。

高清视频存储技术

高性能流存储技术

该存储系统从系统架构、文件结构、高速缓存等方面入手，针对监控应用进行了优化设计，推出高性能流存储系统。数据传输均采用数据流方式，底层采用突破传统文件系统限制的流媒体数据结构，大幅提高了系统性能。

缓存算法顺序化技术

监控应用是一种大码流多并发写为主的存储应用，对性能、并发性和稳定性等方面有很高的要求。该存储系统采用独特的大缓存顺序化算法，把多路随机并发访问变为顺序访问，解决了硬盘磁头因频繁寻道而导致的性能迅速下降和硬盘寿命缩短的问题。

高效合理的空间管理技术

集群管理技术

高清监控中会产生PB级海量监控数据，存储设备的数量达数十台上百台，因此管理方式的科学高效显得十分重要。其提供基于集群管理技术的多设备集中管理工具，具有设备集中监控、集群管理、系统软硬件运行状态的监控、主动报警，图像化系统检测等功能。

针对大规模监控系统提供多设备集群存储服务，流媒体应用下可以提供EB级海量卷寻址。64位命令寻址，8TB为单位的数据卷，可以多数据卷为同一组录像提供空间，总的空间大小为264X8TB。

快速的检索回放技术

海量数据快速数据定位技术

在高清监控应用中，数据高效检索尤为重要。传统文件系统中，文件检索采用的是“目录->子目录->文件->定位”的检索步骤，在海量数据的高清视频监控，目录和文件数量十分可观，这种检索模式的效率就会大打折扣。海康流存储系统采用独特的“设备号->对应数据卷->偏移“检索方式，最大限度精简检索深度，提高检索效率。

精确定位、高效回放

基于底层流存储数据结构和快速数据定位技术，可以实现任意时间段(时间段可以无限小或无限接近当前时间)的即时回放和任意时间点/时间段的快速精确检索定位。检索到的单路视频录像可以切割为多段并行回放，大大提高回放效率。

稳定可靠的数据保存技术

数据块空间预分配技术

监控应用中几乎全部是循环覆盖读写应用，必定产生文件碎片，将对存储系统产生很大影响。

该方案存储基于流媒体数据结构，通过数据空间预分配空间策略，在循环覆盖应用环境中几乎完全消除文件碎片，使系统具备良好的性能和稳定性。

原理：把数据块划分为大的虚拟数据块vblock(至少是16MB)，并且按录像周期再把虚拟数据块划分为不同区域，保证每个数据区域的覆盖周期是一致的，尽大可能的避免出现碎片，同时提高性能和稳定性。

N+n+m冗余

提供N+n+m的备机工作模式：N台在线存储设备，n台热备(休眠)存储设备，m台冷备(关机状态)存储设备。当在线存储系统出现故障后，热备机立即接替服务，故障恢复时，服务和数据回迁;如果故障机数据需要调用，可以把故障机的磁盘插入到冷备机中，实现所有数据的立即可用。

灵活快速的空间扩展技术

对于高清监控系统，随着监控前端的增加和存储时间的延长，扩展能力十分重要。某些厂商已提供单纯针对容量的扩展柜扩展模式和性能容量同步线性扩展的堆叠扩展模式。

MAID节能技术

该存储设备支持磁盘MAID节能机制，可根据策略对磁盘组或整机进行休眠，最大化降低设备正常工作的功耗，减少数据中心能源成本并有利于环保。

归档存储和录像锁定技术

针对重要敏感数据的归档保存，WORM功能保证数据存储级的安全可靠。同时，对于重要事件相关录像提供锁定功能，在设定的时间范围内不被覆盖。

结语

高清视频监控对存储系统的性能、可靠性、容量及扩展和管理性、节能性和开放性都提出很高的要求。CVR流存储方案支持直接连接编解码器和客户端，提供更简洁的架构和更高的性能，是目前最佳的高清海量视频存储解决方案。新一代由视频云存储、数据云存储和云计算组成的视频监控云存储系统解决方案，可以为用户提供智能存储、智能分析等云服务，提供完全透明的、高效便捷的、安全的解决方案，特别适合大规模部署的视频存储系统。