浪潮发布基于KNL的并行开源深度学习框架CAFFE-MPI

德国当地时间6月20日,与英特尔宣布第二代至强Phi芯片“KnightsLanding”(以下称KNL)正式上市同步,浪潮在刚刚举行的第31届国际超算大会(ISC2016)上,全球首发基于最新KNL平台的深度学习计算框架Caffe-MPI,这标志着浪潮称为全球第一个在英特尔最新的KNL平台上完成Ca

【安防在线 www.anfang.cn】德国当地时间6月20日,与英特尔宣布第二代至强Phi芯片“Knights Landing”(以下称KNL)正式上市同步,浪潮在刚刚举行的第31届国际超算大会(ISC2016)上,全球首发基于最新KNL平台的深度学习计算框架Caffe-MPI,这标志着浪潮称为全球第一个在英特尔最新的KNL平台上完成Caffe并行开发的公司。

1

浪潮集团副总裁胡雷钧表示,此次KNL平台Caffe-MPI的发布,一方面显示出浪潮与英特尔紧密的合作关系,另一方面也将为全球深度学习用户带来新的协处理加速解决方案,让他们可以选择最贴合自身实际应用的异构加速技术。目前,浪潮推动的开源Caffe-MPI已受到中国、印度、美国等众多公司和研究机构的关注。

浪潮Caffe-MPI是全球首款高性能MPI集群版的Caffe深度学习计算框架,其采用成熟的MPI技术对Caffe予以数据并行的优化,其目标是解决深度学习计算模型训练的效率问题。Caffe是目前最快的深度卷积神经网络(DeepConvolutional Neural Networks,CNN)架构,它最早由UC伯克利实验室完成单机单卡的开发,针对CNN训练所设计。然而随着训练模型越来越复杂、训练数据越发庞大,单机单卡已经不能满足用户的实际需求。

浪潮发布基于KNL的并行开源深度学习框架CAFFE-MPI

为此,浪潮在伯克利caffe架构的基础上,针对HPC系统架构技术设计,率先完成了多机多卡的并行化开发,并完全保留了原始caffe架构的特性。浪潮Caffe-MPI硬件系统采用Lustre存储+IB网络+HPC集群,基于Lustre并行存储采用多进程+多线程机制并行读取训练数据,实现较高的IO吞吐;采用IB网络实现高速互联网,实现参数的快速传输和模型更新;采用数据并行机制,利用HPC集群实现大规模训练。同时,浪潮Caffe-MPI可以采用多机多卡同时训练,并可以部署到大规模训练平台上,实现对大规模数据样本的训练。

2

新一代Xeon Phi处理器Knights Landing既可以做协处理器,也可以单独做中央主处理器,处理器核心数量超过72个,并支持四线程,最多拥有288个线程,双精度浮点性能超过3TFlops,单精度则超过6TFlops,被业界视为在高性能计算和深度学习领域革命性的产品。随着此次浪潮率先发布基于KNL平台的Caffe-MPI,相信会有更多的用户感受到新技术在深度学习效率上带来的诸多提升。

该文观点仅代表作者,本站仅提供信息存储空间服务,转载请注明出处。若需了解详细的安防行业方案,或有其它建议反馈,欢迎联系我们

(0)
小安小安

相关推荐

  • 深度学习为什么再一次的火遍安防圈?

    2016北京安博会近日落幕,连着四天白天晚上的加班已经让安防圈的各位媒体精疲力尽,虽然很累,但也收获巨大。要说什么技术在安博会上火了一把,我以为是深度学习。深度学习为什么再一次的火遍安防圈?

    2023年9月14日
  • 人工智能技术现状剖析及发展趋势

    AI技术一直处于计算机技术的前沿,其研究的理论和发展在很大程度上将决定计算机技术的发展方向。目前很多AI的研究成果深刻地改变着人们的生活,将来,AI的发展将会更加快速,会给人们的生活工作和教育带来更大的影响。

    2024年4月5日
  • 物理知识可以协助应对人工智能的关键挑战

    在今天发表在《科学报告》杂志上的一篇文章中,研究人员展示了如何采用一个世纪前引入的物理概念来解决这两个挑战,该物理概念描述了铁块冷却过程中磁体的形成。

    2024年4月5日
  • 新的人工智能系统只需几个人工神经元就能控制一辆汽车

    人工智能已经进入我们日常生活的搜索引擎。这与近年来巨大的计算能力有关。但是人工智能研究的最新结果表明,更简单、更小的神经网络可以比以前更好、更有效、更可靠地解决某些任务。

    2024年11月16日
  • 坐拥两大技术,你将改变视频监控行业

    人工智能发展方兴未艾,随着影像数据不断增加,也已成为安全监控的关键。本文将重点分析,深度学习科技如何在影像监控领域脱颖而出。

    2024年4月4日
  • 缘何安防“三巨头”共同发展人工智能?

    今年以来,尤其是AlphaGo战胜李世石之后,“人工智能”的概念再次进入到人们的视野当中。同样地,在今年的北京安防展中,海康威视、大华、宇视纷纷展出基于人工智能或是机器视觉的产品。

    2024年4月4日