【安防在线 www.anfang.cn】基于多年研发的 CVKit ™ NN IP 的肇观电子 N1 系列 SoC 芯片，刷新了端侧 AI 芯片性能记录。领先的每 TOPs 处理帧数，实时数据流处理能力，支持高精度 FP16 神经网络模型直接无损部署，高性能的 INT8 网络支持能力，多级精细功耗控制，将端侧 AI 芯片的能力提升到了一个新的高度。 单位算力下，谁能够支撑更快更准的神经网络推理，是衡量 AI 芯片性能的关键 对于 AI 应用和系统厂商而言， AI 芯片是其核心元器件，是人工智能的基础设施，其重要性不言而喻。每个应用和系统厂商都在寻找在性能、功耗、成本等方面综合因素下合用的 AI 芯片。评估 AI 芯片是否适合使用往往从每元钱能获得的性能、每度电能获得的性能、部署实施的成本、元器件是否稳定可靠等几个方面来衡量。其中，芯片厂商宣称的每 TOPs （ Tera operations per second ）的算力对应的实际每秒计算多少帧数据（例如图片或者视频），以及算法从训练到部署的转换中对精度的保持成为关键。每秒计算多少帧数据的能力，决定了应用和系统厂商能以什么样的性价比来部署 AI 算法；算法从训练到部署的数据类型转换带来精度损失，决定了应用和系统厂商算法部署前的数据投入（比如如何增加数据来尽量覆盖数据类型转换所带来的损失从而保持精度）、和部署后的实际效果。 肇观电子作为 2016 年成立的 AI 芯片领域第一梯队企业，其团队在芯片、数学、算法等方面深耕多年，一直潜心研发核心技术，已获 60 余件国内外专利授权。 芯片性能，“又快又准”是主要指标 AI 应用和系统的客户对于 AI 芯片实际的深度神经网络处理能力有着明确需求。对于系统性能而言，“又快又准“是其主要指标。“快”主要取决于芯片的每秒计算能力。芯片是个复杂系统，由于各种因素，芯片的理论计算能力和实际能达到的计算能力之间往往存在差距。如何能够在单位成本和单位功耗下最优地支持神经网络模型的各种神经层的不同数据类型并使得客户的模型部署的精度损失最小，体现出不同公司之间的技术水平的差异。综合来看，客户可感知、利用、发挥的芯片性能是整个系统的性能的关键因素。 根据不同算法网络的测试结果， N161 芯片每 TOPS 算力下每秒可推理图片的数量展示出了业界领先的水平。同时， N161 还支持 FP16 高精度网络，同样展示出强悍的性能。 ▲在INT8 精度下，N161 跑各项网络可以达到的每秒帧数 ▲在FP16 精度下，N161 跑各项网络可以达到的每秒帧数 ▲在INT8 精度下，N161 与某业界期间芯片，跑各项网络可以达到的每秒帧数比较 “准”主要取决于芯片对于算法中的神经网络模型的各种神经层的不同数据类型的支持，支持能力方面的差异带来模型部署的精度损失方面的差异。客户的算法从模型的训练到模型的部署的数据类型转换所导致的精度损失往往十分昂贵。比如在无人零售设备的应用中，如果物体识别算法在实际运行中有 1% 的精度下降，会直接导致货损率的上升以及运营成本的增加。 根据各种不同网络的测试结果， N161 INT8 量化网络几乎无精度损失（ 1% 以内）。 ▲采用1000 张imagenet 数据测试 基于对应用的深刻理解和长时间的技术积累，肇观电子创新的 CVKIT ™ NN IP 在诸多方面遥遥领先，并已部署至 N1 系列芯片，以及 D163(3D 视觉 ) 、 V163( 车载 ) 芯片。 ™解决“算法落地难”问题 人工智能落地的挑战，一方面在于整个产业链亟待在性能、成本、功耗等方面合用的上游核心芯片来破局；另一方面在于算法部署实施至具体应用所需知识技能过于专业而导致的综合成本高昂。人工智能等相关领域的人才，由于稀缺，其薪酬水平较高已是业界共识；既懂 AI 算法又懂硬件部署的人才更为缺乏，这导致很多应用和系统厂商的开发能力较为欠缺，落地较慢。不仅是各个中小企业面对这一挑战，大厂也往往面对高薪招不到合用的人才的问题。人工智能落地成本高昂，是业界公认的一个突出问题。 为了解决“算法落地难”的问题，肇观电子发布了“ 5 分钟部署”的 AI 应用开发平台 Infer Studio ™，助力算法快速商用。 Infer Studio ™能够将算法“翻译”成芯片能读懂的表述文件，并快速部署，这种“一键式”开发体验显著地提高了开发者的效率。 Infer Studio ™支持 TensorFlow / TensorFlow Lite / ONNX / Caffe 这些主流框架，开发者可以自由选择训练框架。从功能上来说，在软件层 Infer Studio ™ 具有 Model Visualization 可视化模型、 Compiler 编译器、 Evaluator 效果评估器、 Debugger 调试器四种功能。 不同于算法表现出来的精彩效果，算法网络在 PC 端呈现出来的是一连串晦涩难懂的二进制数据和无数层的文本描述。然而 ① Model Visualization 可视化模型却可以将这些描述转换成网络图，便于开发者直观地分析网络的结构和属性。 ② Compiler 编译器 可支持将客户基于主流 AI 框架开发出来的算法，包括 Caffe ， Tensorflow ，
01.
02. AI
03. Infer Studio
领先的每TOPs处理帧数，实时数据流处理能力，支持高精度FP16神经网络模型直接无损部署，高性能的INT8网络支持能力，多级精细功耗控制，将端侧AI芯片的能力提升到了一个新的高度。