智能视频技术在平安城市监控系统应用

随着平安城市工程在全国范围内的迅速推进，视频监控系统的基础建设已经初具规模，并取得显著成效，由其产生的带动效应也逐步在全国许多地方不同程度、不同范围的得到拓展。

而视频图像采集、传输、显示、存储、平台综合管理等功能正逐步能够满足城市视频监控的一些基本要求。典型的城市视频监控系统前端已经有足够数量的摄像机能监视所辖地段；有视频矩阵能将高质量的图像切换到专门监控室的电视墙上，能实时控制云台摄像机快速跟踪可疑目标；有录像机进行录像存档，有综合管理平台进行联网报警综合处理等。大规模视频监控系统已逐步成为科技强警的重要组成部分和维护社会治安的有力手段。

然而监控摄像机数量的不断增加，监控时间的不断延长，也给监控系统的维护工作带来了新的挑战。如何及时了解前端视频设备的运行情况，保证大型视频监控系统的长期稳定使用?这将是平安城市建设后期值得长远关注的问题。

平安城市监控系统的现状

随着2008年22个城市报警与监控系统建设试点和第二批科技强警示范建设城市先后验收，标志着平安城市试点工作圆满结束。而城市治安监控系统作为平安城市建设、公安”科技强警”和公安信息化建设的主要内容也将逐渐由系统建设向运营管理阶段过渡。在系统的应用阶段，大规模系统建成后如何应用?如何和公安业务紧密结合，发挥其最大的效能?如何最大程度的体现系统的建设效益?这一系列的问题也必然将逐步引起人们重视。

就目前来说，平安城市视频监控系统的运营维护工作一般是由人工完成。维护人员在中心监控室，通过模拟矩阵或数字视频流媒体服务器将远端视频调出到监视屏中，人工判断每路视频的质量，并将有问题的视频记录到维护报表中。这项工作十分耗时繁重，因此一般维护工作会以半个月或一个月为周期定期检查，视频故障只能在检测的时候才能发现。

由于监视屏数量有限，维护人员往往在一个监视屏同时监看多台摄像机或随机抽取摄像头显示，造成部分监控点被漏看或被忽视；另外，维护人员存在一定的不稳定性、随意性和局限性，加上人的注意力有限、容易疲劳，会被其他事物干扰，使得这样的人工检查结果也不具客观性。这种人工维护工作不仅费时费力，而且效果不好，视频信号在出现不同的常见故障后，往往不能及时地被维护人员发现，形成了部分的摄像机要么没有录像资料被保存，要么即便有录像资料，也是质量很差，无法从中获取有价值的信息内容。在这种情况下，没有完好的录像信息，一旦发生突发事件或案情时，想要调看当时的录像信息时，却因为拿不到足够完好的录像信息而使视频监控系统不能发挥良好的作用。而智能视频分析技术的不断成熟为解决这一问题提供了更加完善解决方案。

智能视频分析技术及其发展

智能视频(IV，IntelligentVideo)源自计算机视觉(CV，ComputerVision)技术(计算机视觉技术是人工智能研究的分支之一)，它是在图像及图像描述之间建立关系，从而使计算机能够通过数字图像处理和分析来理解视频画面中的内容，达到自动分析和抽取视频源中关键信息的目的，也就是智能视频分析技术(IVS)。

自20世纪90年代智能视频分析技术诞生以来，经过数十年的发展，这项起源于计算机视觉的技术伴随着商业化的逐步应用正日益受到人们的普遍重视。一些国内外专业的视频分析研究厂家都相继推出了各种不同形态的产品，如智能视频服务器、智能网络摄像机、智能分析硬盘录像机、智能视频分析软件等。作为视频监控的高端应用，像周界检测、行为分析、视频故障诊断等功能业已在各重点行业中成功应用，并逐步显现威力。拿平安城市监控系统来说，其一方面主要体现在一些重要的路段、社区、公共场所等，以通过视频监控方式对出现的可疑目标进行监控报警。另一方面则集中在监控系统的后期运营管理过程中，以通过视频分析技术检测前端摄像头常见故障与视频图像质量的低下，实现监控系统的有效维护。

视频质量诊断系统作为安防领域的革新产品，是视频分析技术在平安城市监控系统运营维护方面的典型应用，也是应用性相对普遍的一种产品。它主要应用在大型监控系统的控制中心，通过控制监控中心矩阵主机的视频切换输出或连接数字视频流媒体管理服务器来获取前端所有摄像机的视频信号，对视频图像出现的雪花、滚屏、模糊、偏色、画面冻结、增益失衡和云台失控等常见摄像头故障以及恶意遮挡和破坏监控设备的不法行为做出准确判断并发出报警信息；在视频监控设备日益增多的今天，其在监控系统中的应用，必然更加有利于帮助用户快速掌控前端设备运行情况，轻松维护大型的安防系统。

　视频质量诊断核心技术

视频质量诊断系统采用了视频图像分析的方法来检测监控系统中存在的各种视频常见故障。从现在普遍出现的摄像头故障类型来看，影响视频监控系统视频质量的因素有很多，主要概括来说有以下几点：

・摄像机的设置不当或器件老化失效，包含摄像机的分辨率、摄像机对光照的灵敏度、镜头聚焦调整、色彩校正等；

・大型监控网络中视频信号通过长距离电缆传输、多级矩阵切换以及多级网络转发，电源、控制器等多种干扰信号可能对视频信号产生强烈的干扰，线路老化、接头松动等现场环境的变化可能带来视频噪声；

・大量使用PTZ球机，长期的运动变焦有可能让部分球机发生方向错误、不可控等故障。

针对以上提到的种种视频故障，可将故障类型分成视频信号缺失、视频清晰度异常、视频亮度异常、视频噪声、视频雪花、视频偏色、画面冻结、PTZ运动失控8种。这其中，视频信号缺失、画面冻结两种故障可通过人工设计基于视频图像比对的方法得出结论；PTZ运动失控则是由故障检测系统发出运动指令，然后通过对视频图像的运动分析来检测是否有故障；而对于其他的5种故障，很难通过人工设定规则的方法来检测，这就需要通过机器学习的方法，让机器来模拟人的视觉反应，检测视频是否存在故障。

针对这5种不同类型视频故障，设计5个不同的基于机器学习的检测器，每个检测器负责分析一段视频是否存在某一种故障，以及这种故障的严重性。

而在实际运行的视频监控系统中提取大量的视频片断，包括正常视频以及存在各种故障的视频，形成训练样本，并模拟人类视觉特性，针对不同故障类型提取了大量视频图像特征参数，用以训练得到诊断不同故障的检测器。在分析阶段，获取需要分析的一段固定长度的视频，根据用户设定的该路视频的检测项目，使用不同的故障检测器，提取相应的视频图像特征，然后输入到已训练好的故障检测模型中，即可获取对该段视频的故障评价结果。

这五种检测器可以检测到的视频故障典型案例如下：

视频清晰度异常检测；视频频亮度异常检测；视频噪声检测；视频雪花检测；视频偏色检测。

基于优秀的底层算法，视频质量诊断系统具备以下技术特点：

・高准确度：采用大量的实际视频监控系统的视频作为训练样本，各种故障检测器均来源于实际系统，并经过大量实际系统的测试，因此检测准确率高；

・良好的摄像机角度适应性：故障检测器的训练样本来自多种不同场景，涵盖了治安视频监控系统中众多常见的摄像头监视角度，因此对各种摄像头角度、焦距以及不同的摄像内容都有良好的适应性；

・独特的抵抗球机运动的能力：在每一中类型的故障检测器的设计和训练过程中，都考虑到了摄像头云台运动以及镜头推近拉远有可能带来的视频图像特征的变化，在检测过程中都首先进行摄像头运动分析，一旦发现摄像头处于PTZ运动过程中，则首先不再检测PTZ运动是否异常，以防止检测时发送运动指令影响当前的球机运动；其次，仅使用对摄像头运动不敏感的特征来进行其他类型的故障分析，避免因运动原因造成误报或漏报；

・出色的环境适应能力：算法模块对于场景内由于车流、人流、季节、气候产生的光线、阴影变化不敏感，因此，可以适用于多种不同的室外环境；

・强化学习能力：现有的视频质量诊断系统与人类的故障识别能力仍有明显的差距，因此应用场景的差异对于视频质量诊断系统的性能是有影响的。像人类的视觉系统一样，视频质量诊断分析模块也具备后天强化学习的能力，只要加入当地的新样本重新训练检测器，算法的性能将进一步提高。

　视频故障诊断项

检测事项

1、清晰度检测

自动检测视频中由于聚焦不当、镜头损坏或异物遮蔽引起的视野主体部分的图像模糊；自动检测镜头对准无意义物体的情况。该功能对实时视频的画面清晰程度和信息含量做出评价(如偶然异物遮挡、被人为地蒙蔽等)，从而及时发现故障。”骤变”作为此功能在周界防范技术领域的应用延伸，目前已普遍得到人们的认可。

2、视频干扰检测

自动检测视频图像中图像模糊、扭曲、雪花、抖动或滚屏等噪声现象。其主要的监测对象是由于线路老化、传输故障、接触不良或受到电磁干扰而在视频画面上出现的点状，刺状，带状的干扰。由于造成干扰摄像头形成故障的形式非常多样，在视频质量诊断系统中将呈带状、网状带有周期性的干扰交由”噪声”检测项监测，而将点状，刺状的随机干扰交由”雪花”检测项监测，从而提高诊断的准确性。

3、亮度异常检测

自动检测视频中由于摄像头故障、增益控制紊乱、照明条件异常或人为恶意遮挡等原因引起的画面过暗、过亮或黑屏现象。该功能将对视频的明暗程度进行诊断，由于在不同时段可改变诊断计划和监测阈值，亮度异常检测在昼夜都能发挥作用。

4、偏色检测

自动检测由于线路接触不良、外部干扰或摄像头故障等原因造成的画面偏色现象，主要包括全屏单一偏色或多种颜色混杂的带状偏色。该功能对视频的颜色信息进行分析，它的特点是当视频中出现丰富色彩时，能够区分它们是由自然场景带来的，还是由于摄像头自身故障产生的，从而使摄像头偏色检测实用化。

5、PTZ(云台)控制功能诊断

自动检测前端云台和镜头是否能够按用户指令正确运动，例如，左转失灵、上下倒序等。该功能能够自动对PTZ的各指令进行测试，使管理人员准确及时地把握系统内PTZ的运行情况。不过，此功能需要系统拥有控制前端PTZ的权限。

6、视频冻结检测

自动检测由于视频传输调度系统故障引起的视频画面冻结现象，可避免遗漏真实的现场视频图像。

7、视频缺失检测

自动检测因前端云台、摄像机工作异常、损坏、人为恶意破坏或视频传输环节故障而引起的间发性或持续性的视频缺失现象。

后端查询系统功能

在视频质量诊断系统实际应用中，充分考虑现有资源情况，对视频诊断的需求进行深入的分析，系统最终可实现以下功能：

・用户登录与管理：可根据不同用户的权限查询不同区域摄像头的诊断记录和统计分析结果；

・摄像头信息设置：允许用户以系统管理员的身份登录后设置待检测的摄像头信息，以及设置摄像头相关属性所需要的属性信息，包括派出所、分局、品牌等；

・诊断记录查询：可按多种条件对诊断历史记录进行综合性的记录查询，条件包括：诊断日期、摄像头所属区域、品牌、故障类型、故障严重程度等；

・统计分析：可统计当前时间前一周、一个月、一季度、一年的摄像头故障数、故障率的趋势图、对比图；可设置品牌、故障类型以及故障严重程度等统计条件，统计报表以柱状图或折线图方式显示；

・报障流程管理：当发现设备出现故障时，用户可指定相应设备管理人员进行跟进，此故障摄像机进入处理流程，流程信息包括报障人员、处理人员、故障原因、恢复时间等；

・系统日志管理：对日常维护记录进行登记，显示登录账号、时间、操作内容等；

・区域健康状况：显示区域健康状态，鼠标移动到状态图上可以显示区域的故障率；健康值的标准后台可以自行设定；

・智能报警功能：当一个区域同时出现大量故障摄像机时，将触发报警；

・留言板：提供留言板功能，方便同区域使用人员交流系统的使用；

・报表导出和打印：记录查询或统计分析结果生成的报表均可导出为Excel文件或打印，方便用户进行维护记录跟踪。

系统结构

视频监控系统的趋势正从模拟系统向数字化系统过渡，然而，在目前实际的应用过程中，模数共存仍然是国内视频监控的普遍现状，这也就决定了智能视频分析产品应用的灵活性拓展。基于视频分析技术的视频质量诊断系统能有效地与模拟监控系统或数字监控系统相结合，并可支持多级联网的集中监控管理结构。

视频质量诊断系统运行于视频监控系统的控制中心，通过控制监控中心矩阵主机的视频切换输出或连接数字视频流媒体管理服务器来获取前端所有摄像机的视频信号，通过轮询的方式对各路视频信号进行检测；将每路的检测结果储存到历史记录数据库，并提供WEB查询网站进行历史记录查询和故障统计分析。整体系统在模拟视频系统和数字视频系统中的应用结构图如图12、图13所示(当然根据视频类型的不同也可以构造应用于模数混合监控系统的视频诊断系统)。

本系统由视频诊断服务器和文安视频诊断综合管理服务器组成。其中，视频诊断服务器负责进行视频质量分析，它可以设置诊断计划，按诊断计划中的摄像头列表和检测项目逐路切换视频，对视频进行质量的分析诊断，最终向综合管理服务器输出一条对该摄像头的质量诊断结果以及一张视频截图。

视频诊断综合管理服务器负责提供摄像头管理、摄像头区域管理、品牌管理、用户管理、日志管理等各种系统配置和管理功能，负责接收视频诊断服务器的分析结果并存入数据库，同时负责提供基于WEB的历史记录查询和统计分析功能。

　系统应用特点

视频质量诊断在平安城市监控系统维护方面的应用，最终可实现以下特点：

・直接依据视频图像特征来分析视频故障，无需添加其他设备，也不破坏现有设备，能兼容各种类型的视频输入和传输设备，是一种对现有系统的”无损探测”；

・使用基于计算机视觉算法的视频分析方法，模拟人的视觉特性，检测到的故障以及故障严重程度与人的主观感受一致，可替代以往由人工完成的视频故障巡检工作。并加入运动分析功能，不仅可对正在运动的球机视频正确分析视频质量，还能通过发送运动指令，同时分析球机运动是否正确来检测PTZ球机控制方面的故障；

・使用基于机器学习的故障检测器，检测结果客观、可重复性强，另外，系统具有很好的再学习能力，只要加入当地的新样本重新训练检测器，算法的性能将进一步提高；

・依据大量实际监控系统的用户经验，并结合视频图像特征的一致性，将常见的视频故障分成八种类型，检测系统报出的不同视频故障类型可有效指导维护人员有针对性的排查摄像头、传输系统、编码系统等部分的不同故障；

・视频切换和输入模块既可通过模拟矩阵和采集卡支持模拟视频，也可通过数字视频流媒体服务器支持数字视频，也可同时支持两种类型，因此可以与现有的模拟、数字以及模数混合的视频监控系统兼容，部署灵活方便；

・每台视频质量诊断服务器均采用轮询方式，可以处理较大数量的视频源。在整体系统架构上，以多台视频质量诊断服务器和一台综合管理服务器相结合的方式，可适应不同数量视频源的需求，方便今后因视频数量增加而需要的系统升级；

・支持摄像头分组；不同时间，可以制定不同的诊断计划，对不同的摄像头进行检测。支持检测项目设置，对不同的摄像头，可设置不同的检测项目。支持阈值参数设置，对不同的摄像头，可设置不同的报障阈值；

・所有视频故障检测结果都将被储存于数据库，并提供历史记录的查询和统计分析的网站，用户可随时随地登录网站查询历史故障详情并统计分析监控系统的故障数、故障率等情况，极大地方便了对大型视频监控系统的维护和管理工作。

结语

随着行业应用的深入，以及平安城市建设的具体落实，大量监控设备的普及提升了技防力量的同时也将给监控系统的维护带来巨大挑战。视频质量诊断系统作为智能视频分析技术在安防系统维护中的典型应用，其对前端视频设备的有效监测，必定能够更好的帮助相关人员应对和处理突发事件，有效的保证视频监控系统的正常运行，并为大型监控系统的后期故障处理与运营提供绝对安全保障。