浪潮发布基于KNL的并行开源深度学习框架CAFFE-MPI

德国当地时间6月20日,与英特尔宣布第二代至强Phi芯片“KnightsLanding”(以下称KNL)正式上市同步,浪潮在刚刚举行的第31届国际超算大会(ISC2016)上,全球首发基于最新KNL平台的深度学习计算框架Caffe-MPI,这标志着浪潮称为全球第一个在英特尔最新的KNL平台上完成Ca

【安防在线 www.anfang.cn】德国当地时间6月20日,与英特尔宣布第二代至强Phi芯片“Knights Landing”(以下称KNL)正式上市同步,浪潮在刚刚举行的第31届国际超算大会(ISC2016)上,全球首发基于最新KNL平台的深度学习计算框架Caffe-MPI,这标志着浪潮称为全球第一个在英特尔最新的KNL平台上完成Caffe并行开发的公司。

1

浪潮集团副总裁胡雷钧表示,此次KNL平台Caffe-MPI的发布,一方面显示出浪潮与英特尔紧密的合作关系,另一方面也将为全球深度学习用户带来新的协处理加速解决方案,让他们可以选择最贴合自身实际应用的异构加速技术。目前,浪潮推动的开源Caffe-MPI已受到中国、印度、美国等众多公司和研究机构的关注。

浪潮发布基于KNL的并行开源深度学习框架CAFFE-MPI

浪潮Caffe-MPI是全球首款高性能MPI集群版的Caffe深度学习计算框架,其采用成熟的MPI技术对Caffe予以数据并行的优化,其目标是解决深度学习计算模型训练的效率问题。Caffe是目前最快的深度卷积神经网络(DeepConvolutional Neural Networks,CNN)架构,它最早由UC伯克利实验室完成单机单卡的开发,针对CNN训练所设计。然而随着训练模型越来越复杂、训练数据越发庞大,单机单卡已经不能满足用户的实际需求。

为此,浪潮在伯克利caffe架构的基础上,针对HPC系统架构技术设计,率先完成了多机多卡的并行化开发,并完全保留了原始caffe架构的特性。浪潮Caffe-MPI硬件系统采用Lustre存储+IB网络+HPC集群,基于Lustre并行存储采用多进程+多线程机制并行读取训练数据,实现较高的IO吞吐;采用IB网络实现高速互联网,实现参数的快速传输和模型更新;采用数据并行机制,利用HPC集群实现大规模训练。同时,浪潮Caffe-MPI可以采用多机多卡同时训练,并可以部署到大规模训练平台上,实现对大规模数据样本的训练。

2

新一代Xeon Phi处理器Knights Landing既可以做协处理器,也可以单独做中央主处理器,处理器核心数量超过72个,并支持四线程,最多拥有288个线程,双精度浮点性能超过3TFlops,单精度则超过6TFlops,被业界视为在高性能计算和深度学习领域革命性的产品。随着此次浪潮率先发布基于KNL平台的Caffe-MPI,相信会有更多的用户感受到新技术在深度学习效率上带来的诸多提升。

该文观点仅代表作者,本站仅提供信息存储空间服务,转载请注明出处。若需了解详细的安防行业方案,或有其它建议反馈,欢迎联系我们

(0)
小安小安

相关推荐

  • 人工智能进入“深度学习+”阶段

    我国的产业体系品类齐全、体量庞大,深度学习驱动的人工智能创新应用,有助于形成产业良性循环,促进底层技术突破,加快现代化产业体系升级。

    2024年2月24日
  • 深度学习为什么再一次的火遍安防圈?

    2016北京安博会近日落幕,连着四天白天晚上的加班已经让安防圈的各位媒体精疲力尽,虽然很累,但也收获巨大。要说什么技术在安博会上火了一把,我以为是深度学习。深度学习为什么再一次的火遍安防圈?

    2023年9月14日
  • 百度深度学习飞桨平台全新发布 加速AI规模化落地

    由百度打造的飞桨是国内首个自主研发、开源开放、功能丰富的产业级深度学习平台,经多轮升级和打磨之后,在深度学习框架的开发、训练、预测及部署等核心能力上均有着比肩甚至超越国外主流框架的表现。IDC报告显示,2021年飞桨位居中国深度学习平台市场综合份额第一。

    2024年2月8日
  • 人工智能技术现状剖析及发展趋势

    AI技术一直处于计算机技术的前沿,其研究的理论和发展在很大程度上将决定计算机技术的发展方向。目前很多AI的研究成果深刻地改变着人们的生活,将来,AI的发展将会更加快速,会给人们的生活工作和教育带来更大的影响。

    2024年4月5日
  • 人工智能快速发展 与智能技术革命长处之道在哪里

    无监督学习则通过训练程序,使机器能直接从已有数据中提取特征,对信息进行压缩,用于完成其他任务。如传统的主成分分析,可以将高维特征使用低维度向量近似。例如,我们可以使用主成分分析技术压缩图片,以达到节省储存空间的作用。因此,这类机器学习算法并不需要以往经验,也被称之为无监督学习。

    2024年11月27日
  • 夯实AI新型基础设施 加快科技自立自强步伐

    当前,我国正在建设科技强国的道路上大步迈进。习近平总书记在中共中央政治局第二次集体学习时强调,“要加快科技自立自强步伐,解决外国‘卡脖子’问题”。党的二十大报告明确指出,必须坚持科技是第一生产力、人才是第一资源、创新是第一动力,深入实施科教兴国、人才强国、创新驱动发展战略。

    2024年2月24日