安防巨头大华股份是如何布局人工智能的？

两年前安防领域之所以引起明星计算机视觉创业公司的关注，主要由于安防领域的痛点还得不到有效解决。但随着监控设备商对自身问题解决的需求愈发强烈，以及算法的门槛的降低，使得传统监控设备商也开始利用 AI 技术解决视频监控难题。

近些年，安防巨头们纷纷在人工智能的大环境下根据自身特点，提出新的战略，如海康威视的“AI+”、大华的“视频+”、宇视的“SMV”、东方网力的“最强大脑”等等。总体而言，“AI+安防”是从前、后端智能的模式升级，前端通过 GPU 运行算法，进行视频的的采集，后端利用大数据，进行分析和检索等。得益于多年来自身对安防业务的深入理解，大华、海康威视这类厂商在深耕 AI 安防方面有着更显著的优势。

2016 年，大华整合了上百台高性能计算机，建设深度学习计算集群，现已完成了深度学习计算中心的建设。依托于 CPU、DSP、GPU 和 FGPA 等芯片平台上的软硬件研发能力，大华已经形成了一系列基于深度学习的智能产品，包括前后端的人脸识别、卡口电警、视频结构化、双目立体视觉和多目全景拼接产品。

本文将讲述大华在 AI 领域的研究和实际落地案例，主要涵盖数据结构化化、车辆识别、人脸识别、深度学习等几大方面。

一、大华在数据结构化化方面的工作

众所周知，传统智能分析产品所产生的数据较为单一。业内人士向雷锋网表示，安防领域的大数据、云计算与其他行业有很大的差异，首先音视频数据本身体量巨大，接入硬件数量较多，且高并发。

在这种环境下，它对平台的扩充性、部署灵活性、运算能力要求均非常苛刻。

视图萃取技术

格灵深瞳 CEO 赵勇曾给雷锋网介绍到，目前以视频数据为核心的安防监控体系，其实给客户带来了大量的麻烦。从前端传感器直接获得的数据其实是一种非结构化信息，把非结构化的数据放在客户跟前，然后寻找线索犹如大海捞针。只有在实现结构化处理后，才能将其中有价值的数据直观、高效的保存、处理和应用。

所以安防行业把希望寄托在智能化上，所谓智能化就是能够把人工智能引进来，把所有的视频数据除了引入人以外，还通过引进人工智能技术来分析它，自动把视频数据里面的内容和目标变成结构化数据。

何为结构化数据？结构化数据就是数据能够直接表达目标的性状、属性以及身份。这种数据可以大规模去检索，大规模地分析、统计。

为此，大华股份在近些年研究视图萃取技术解决这一问题。视图萃取技术实现对海量视图的实时结构化提取，对人、车、物识别分离，提取有效结构化数据，并对视图中的车、人脸进行深度结构化处理，实时感知城市中的高危人员和车辆。

其不仅可以对实时监控视图做结构化与应用，还可对历史视图做结构化归档与应用。通过萃取技术，视图存储量降低到过去的 1/20 左右。结构化后的高价值信息可以长期保存，让事后侦查搜索目标变得更加快速。

而且这些数据可以随时与公安业务系统做大数据碰撞，实时做预警、决策、联动。

以下为萃取技术示意图：

这里有人可能会有人问到，萃取和与之相似的浓缩摘要有何区别？

萃取面对需求以实时结构化为主，所以应用主要针对重点区域的实时结构化需求，浓缩摘要针对所有事后视频的摘要分析。萃取对于视频结构化中除人车分离功能外还有对车辆进行二次分析及特征布控，而浓缩摘要主要侧重人车分离，对于车脸识别及特征布控无法实现。

视频萃取技术应用

目前大华股份的视图萃取技术主要应用于公安业务，大致可分为以下几个类型：

1.事前重点点位实时结构化

通过地图将重点区域进行实时结构化，支持按照全时段、重要时段（如上下班时间）等方式进行配置。当事件发生后，可通过检索结构化信息的定位嫌疑人、车信息。

2.事中即时性案件处理

接到报警后，如果需要马上通过视频进行追踪，可通过地图框选取案发地周边点位后直接进行萃取，通过布控嫌疑人员、车辆特征（如颜色等）的方式，掌握并跟踪嫌疑人员移动轨迹。

3.事后研判，轨迹还原

在地图上进行时空分析，萃取系统分析的人员、车辆信息形成目标的时空轨迹，帮助办案民警进行分析和研判。

上述提到的更多是为算法和技术解决方案，算法的正常运行都需要与业务紧密结合的基础设施和底层架构来支撑，为此大华在去年联合英伟推出了视频结构化服务器“Deep Sense睿智”来助力视频数据结构化。

专用的数据结构化服务器

“睿智”服务器采用 NVIDIA Tesla P4GPUs 作为核心处理负载，服务器最多支持 192 路全清视频实时结构化分析，视频处理能力将提高 50 倍以上。

在公安行业，“睿智”服务器针对城市中无法直接产生数据的普通治安监控视频进行结构化分析，得出多种实战数据，实现公安部门对于视频布控预警、实时指挥、视频侦查、情报收集等实战应用需求。

“睿智”服务器对传统安防的提升主要集中在两点：

一是支持深层深度学习计算，完成对大数量人、车属性特征的提取。二是能支持 192 路全实时高清视频分析的服务器，该服务器是相同功能下支持路数最多的视频服务器。可把实时视频进行结构化分析，将复杂场景中的人、机动车、非机动车分离，提取车辆特征，如车型、车系、车身颜色、车牌颜色、车牌号码识别、主副驾驶是否系安全带、是否打电话、有无遮阳板、有无年检标、有无挂坠、有无纸巾盒等。

针对行人，还可多方面分析其相关特征，包括性别、表情、年龄段、服饰特征、携带物特征、运动特征等。

经过结构化处理之后的视频数据，可以进行长期保存，用户按照寻找目标的特征，对人、机动车、非机动车的各种特征条件进行组合筛选，快速精确检索目标，提高查询效率。

当然，现阶段交通车辆及车牌识别相对成熟，但是在一些场景中的人脸检测、识别及分析应用上还有较大的提高空间。

二、深耕人脸识别 6 年的成果

据悉，大华在 2010―2011 年左右开始人脸检测和识别技术研究的，从时间维度上来看，远早于行业里绝大部分人脸识别公司。

2014 年 8 月，大华推出多款支持人脸检测的 960H 智能 iDVR 新品，让人脸识别落地在安防产品中。此产品具有人脸检测回放功能，能快速定位录像，并将报警信息推送到用户手机等智能终端设备。

产品除了在人脸识别上拥有优势外，还在云存储、P2P 私网穿透等方面的应用。

当然，前期大华在人脸技术上的应用相对较浅，首先是检测和识别算法能力有限，其次是结构化数据方面的工作并未成熟。

随后大华的人脸识别技术团队设计了一个上百层的深度网络，并提出新的度量学习方法，可以使得同一人之间的相似度尽量高，同时约束不同人之间的相似度足够低。在训练时，结合在线采样技术加快收敛速度。通过训练多个模型以及一种非线性多模型融合技术，大华股份在 LFW（国际权威人脸识别公开测试集）上取得了 99.78% 的准确率，当时超越 Google、Facebook、百度、腾讯，排名第一，以下为大华人脸识别技术原理示意：

在人脸识别算法和结构化数据基础设施的不断完善下，大华股份于 2016 年 4 月推出了人脸识别服务器 DH-IVS-F7300 天眼系列，能完成人脸实时抓拍、建库、布控报警、比对等功能，主要应用于火车站、地铁站、机场、小区等出入口，实现对敏感人群布控，以及人像历史行动轨迹检索等。

DH-IVS-F7300 人脸识别服务器有动态和静态识别两种区分：

动态人脸识别服务器：有 4 路、8 路软硬一体化和 1×N 路软件产品形态，支持 1080P 视频流接入，实现指定区域的人脸检测、人脸抓拍和人脸比对。抓拍到的人脸图像不仅可按时间、地点、年龄范围、性别等条件查询，还能与指定人脸库进行实时对比。通过上传嫌疑人像照片，在 300 万“路人库”中可定位嫌疑人历史行动轨迹，反馈对比结果和搜索在秒级水平，支持 30 万“黑名单”布控。

静态人脸识别服务器：采用分布式架构，支持 2 个人像库进行 n：N 比对，比如 30 万黑名单与 3000 万常驻人口库比对，输出两个人脸库中相似的人像；而 1：N 人脸对比，秒级反馈比对结果，可在几千万至几亿人口库中确定一个人的身份。

三、大华AI方案在各个行业中的应用

在拥有数据结构化方案和人脸识别、深度学习技术后，大华逐渐把人工智能应用到各行各业。

在公安领域，大华已经构建出基于车辆、行人、信息轨迹三大情报系统；在制造业，大华旗下的机器视觉产品也投入使用；在交通行业，大华可提供实时的交通状况分析和判断；在农牧业，可以实现食品溯源；在森林，结合无人机做森林防火；在安监领域，进行生产过程可视化管理与灾难预警；在城市，在平安城市和智慧城市建设中建立全新的“数据大脑”。

可以预见，未来大华将会把以往更多用人眼视觉观察分析的问题，交给用 AI 来解决。