英伟达高管:首次实现实时会话式AI,GPU优势是全可编程

NVIDIA加速计算产品管理总监Paresh Kharya、NVIDIA企业边缘计算总经理Justin Boitano、NVIDIA TensorRT产品市场负责人Siddarth Sharma接受智东西等媒体的采访,就NVIDIA深度学习产品进行更具体的解读。

【安防在线 www.anfang.cn】

英伟达高管:首次实现实时会话式AI,GPU优势是全可编程

12月18日上午NVIDIA创始人兼CEO黄仁勋在GTC China大会的主题演讲中,公布在会话式AI和推荐系统方面的重要进展。(黄仁勋推新自动驾驶芯片!性能飙7倍,牵手BAT滴滴大秀中国朋友圈)
  下午,NVIDIA加速计算产品管理总监Paresh Kharya、NVIDIA企业边缘计算总经理Justin Boitano、NVIDIA TensorRT产品市场负责人Siddarth Sharma接受智东西等媒体的采访,就NVIDIA深度学习产品进行更具体的解读。
  Paresh Kharya表示,最终客户最在乎能否用各种计算平台来帮助他们降低成本、处理各种工作负载,同时不仅可以在今天利用这些硬件处理这些工作负载,并且在未来也能够持续。要实现这一点,软件定义平台非常重要。
  一、进军会话式AI,数月覆盖完成流程
  今天,NVIDIA推出第七代推理优化软件TensorRT 7。Paresh Kharya说,这是NVIDIA第一次真正实现实时会话式AI,并且可以准确的处理中间复杂的流程。
  会话式AI是非常难的领域,要想把会话式AI做得比较有用,要符合两个条件。首先是要在300毫秒内将整个三个部分完成,其次是要完成的非常智能。
  在这个过程当中,有非常多复杂的模型需要计算。会话式AI全流程有三个部分:语音识别、语义理解和转译、语音合成与输出。
  据悉,NVIDIA做会话式AI已有数月时间,第一个版本只涵盖了会话式AI当中的语义理解部分。
  在不断更新版本后,如今NVIDIA TensorRT 7基本上可以完成整个流程的计算。
  二、GPU的优势:全可编程且软件定义
  在Paresh Kharya看来,FPGA从设计时就是为模拟而用的,但是如果一个东西专为模拟而生,那么在真正实际应用过程中,它的表现反而可能没有那么好。
  做好一个FPGA,整个编程的时间就要几个月,然后还要做在硬件层面对它进行编程。而AI演进速度飞快,甚至以分钟计,因此必须在软件端实现高度灵活的可编程。
  Paresh Kharya表示,GPU是AI领域的专用芯片,其指令集是全可编程且软件定义的,非常具有优势。
  另外,GPU架构向前兼容,硬件更迭随着软件不断更新适应,且软件库内就能进行直接更新。无论是台式机、笔记本、服务器,还是很大型的外设,在数据中心、边缘或者是物联网上,均可使用NVIDIA的平台。
  有些公司通过去掉GPU的图形处理部分来提升AI算力和减少成本,对此Paresh Kharya表示,NVIDIA在图象处理方面本身基础就比较好,比如说其RT Core能够加速图象处理,Tensor Core做AI加速计算。
  NVIDIA提供各种产品来满足客户不同需求,应用于数据中心的GPU没有图像处理部分,但有Tensor Core来做AI加速计算,还有RTX6000、RTX8000等新品兼具图像加速和AI加速功能。
  Paresh Kharya认为,NVIDIA的较大优势在于可用于各种工作负载中来实现加速计算的统一架构。NVIDIA在游戏、图形、高性能计算、AI各业务板块均有很好的营收,NVIDIA可以进一步投入到我们的统一架构平台的研发当中。
  在做好硬件架构的基础上,NVIDIA开发相应软件来利用硬件平台,一方面带来更大的性能提升,另一方面也降低了开发门槛。
  NVIDIA与开发者保持紧密沟通与合作,以保证TensorFlow等主流开源框架与NVIDIA硬件紧密兼容,同时NVIDIA在各种软件功能和库上做沟通,使一些外部开发者可以充分利用这些东西。
  以TensorFlow为例,NVIDIA尽可能将更多软件库整合到TensorFlow中,使得开发者无需关心底层,直接利用NVIDIA提供的库或新功能去开发他们想要的东西,并且可在任何NVIDIA硬件平台上使用。
  三、NVIDIA为何兼容Arm做加速计算?
  近期NVIDIA宣布CUDA将兼容Arm HPC,对此Paresh Kharya表示,NVIDIA希望在进入的所有加速计算领域能给客户更多选择。
  Arm架构在全球范围内被广泛应用,基于Arm架构的设备约1500亿台,可提供互联、内存、CPU内核、计算能力等多元化支持。
  在Paresh Kharya看来,Arm架构之所以如此成功,是因为它是一个开放平台,各类公司均可在Arm架构上进行想要的创新。
  Justin Boitano补充说,NVIDIA有Arm架构许可,在边缘计算领域的汽车平台等多个硬件均基于Arm架构。Arm具有低功耗、应用灵活的特点,能满足很多客户对边缘计算的需求。

该文观点仅代表作者,本站仅提供信息存储空间服务,转载请注明出处。若需了解详细的安防行业方案,或有其它建议反馈,欢迎联系我们

(0)
小安小安

相关推荐

  • 中国芯如何在物联网时代并购浪潮中崛起

    芯片行业将随着越来越多的不同功能设备联网和运算需求,呈现出高度碎片化的状态。而芯片行业的竞争,也将由专利和技术的竞争,转为产业整合能力的竞争。同时,由于未来联网设备呈几何数量增长,将带动整个芯片行业产值的大幅提升,这也是我国芯片产业一次巨大机会。

    2024年4月8日
  • 全球首颗!扬州造人工智能芯片正式对外发布

    仅米粒大小的“迷你”芯片上,每秒钟可以完成190Gops(也就是1900亿次)操作运算,日前,这颗类视神经网络人工智能视觉芯片正式对外发布。

    2024年1月30日
  • 新华社分析突破“缺芯”困境

    在芯片产业的投资方向也需更有产业眼光的人掌控。在国家财政支持之外,还需要市场、社会资本等积极参与。有专家建议,中国证券监督管理委员会可为芯片企业提供一些如加速审批等便利通道,使企业有机会从市场筹得更多研发经费。

    2024年4月7日
  • 硅光子技术的前世今生

    光子计算一度被认为是最有希望的未来技术。与半导体芯片相比,光芯片用超微透镜取代晶体管、以光信号代替电信号进行运算。光芯片无需改变二进制计算机的软件原理,但可以轻易实现极高的运算频率,同时能耗非常低,不需要复杂的散热装置。与电脑对应,设想中的光学计算机被称作“光脑”。

    2024年4月10日 知识
  • 思必驰旗下深聪智能发布新一代人工智能芯片TH2608

    思必驰作为国内专业的对话式人工智能平台公司,不断推进着AI技术的研发与应用,思必驰旗下芯片公司深聪智能于2019年推出了AI芯片太行TH1520,搭载思必驰全链路人工智能语音技术,低功耗算法的优势使其广泛地应用于智能家居白电、黑电以及智能车载领域,推进传统行业的规模化和智能化升级。

    2024年1月28日
  • 山东产研院发布4K人工智能视觉处理芯片

    1月29日,山东产业技术研究院正式发布4K超高清人工智能视觉处理芯片,这也是山东产研院集成电路创新中心联合国科微基于泰山平台推出的第二颗高端芯片。

    2024年1月29日