推出TensorRT 7、支持ARM,英伟达GTC China 2019给了业界大惊喜

C114讯 12月20日消息(南山)在日前举办的英伟达 GTC China 2019大会上,“教主”黄仁勋发布了一系列新品,其中TensorRT 的最新版本TensorRT 7令人瞩目,相比去年发布的TensorRT 5,TensorRT 7 可支持各种类型的 RNN、transformer、CNN,能够融合水平与垂直方向的运算,支持 1000 多种不同的计算变换和优化。黄仁勋举例,有了 TensorRT 7 的支持,在 GPU 上编译会话模型只需要0.3秒。

TensorRT 7的典型应用,是支持交互式会话AI,为实现更加智能的AI人机交互打开了新大门。在大会期间,英伟达加速计算产品管理总监Paresh Kharya等人接受C114/机器成精等媒体采访,对TensorRT 7新平台、兼容ARM等热门话题进行了解读。

支撑会话式AI全流程

Paresh Kharya介绍,AI技术正在取得长足进展,最新的应用包括会话式AI和推荐系统。其中,会话式AI是一个非常复杂的任务,需要AI理解语音、文本、语言,整个过程分为三个部分:识别你所说的,将你所说的话转化为文字,理解这些文字并转化成语言再说出来。随着英伟达不断发布新版本,TensorRT 7可以完成三个流程计算,从语音识别到语义理解再到语音输出。

“要想把会话式AI做得有用,需要符合两个条件,要在300毫秒内将整个三部分完成,而且要完成的非常智能。在这个过程当中,有非常多的复杂模型需要计算,Tensor RT也在不断完善。” Paresh Kharya表示。

“推荐系统也是至关重要的一环,甚至已成为了互联网最重要的引擎。” Paresh Kharya强调,用户面临的选择越来越多,网络的信息量呈现爆炸式增长,包括商品、视频,以及各类选择的参数的数量都在爆炸式增长。“商品达到数十亿级别,网络视频百万量级增长,新闻每天都在产生海量数据。阿里巴巴、百度,都使用了英伟达的平台支持他们的推荐系统。”

这些信息在实时、动态的变化过程中,只有不断对模型进行训练,才可以有效地推荐。训练模型需要大量算力,英伟达提供了不断更新的各类工具和软件,比如最新的软件Tensor RT 7,支持各类模型在各种情景下的部署,支持上百万的用户在每秒内做数十亿次的搜索。

例如,阿里的边缘系统如果在英伟达的GPU上跑,每秒可以做780次查询;但是如果用CPU,每秒只能做3次查询。

推出TensorRT 7、支持ARM,英伟达GTC China 2019给了业界大惊喜-机器成精

与ARM合作,给客户更多选择

本次大会上,英伟达还宣布ARM处理器可以使用其GPU加速技术、NVIDIA Magnum IO套件,以及在Microsoft Azure上使用的新型云加速GPU超级计算机等。换句话说,英伟达将全方位扩展高性能计算领域。

Paresh Kharya指出,ARM是被业界广泛使用的架构,服务全球1500亿台设备。其成功的一个重要原因是开放平台,各家公司都能够在ARM架构上进行创新,ARM也能够提供互联、内存、CPU内核、计算能力等各种功能。英伟达将通过CUDA平台和ARM架构进行兼容,在高性能计算领域,给客户更多选择。

“加速计算和过去以CPU为基础的计算很不一样,性能提升是20、30甚至是100倍的。原因不仅是在架构上进行了设计,更重要的是通过软件优化和支撑。比如我们有各种各样的平台,像应用在医疗领域的Clara平台,应用在自动驾驶领域的Drive以及Isaac,做到了硬件和软件的结合。” Paresh Kharya表示。

当前,对于GPU,业界既用于图像处理,也有一些特别的客户会剥离图像处理能力,专注于加速技术应用。Paresh Kharya认为,英伟达丰富的产品线,能够满足客户的差异化需求,例如应用于数据中心的GPU就没有图像处理部分,通过Tensor Core做AI加速计算。一些新品如RTX6000、RTX8000,则图像处理和AI加速功能兼具。“我们的优势是统一的架构应用于各种工作负载当中实现加速计算,这意味着在各个行业中、各种各样的商业机会。”

推出TensorRT 7、支持ARM,英伟达GTC China 2019给了业界大惊喜-机器成精

业界人士云集GTC China 2019

 

*文章为作者独立观点,不代表机器成精立场
相关文章
IDC发布2020年全球机器人市场十大预测——中国启示
IDC发布2020年全球机器人市场十大预测——…
GSMA正式宣布取消巴塞罗那MWC2020举办
GSMA正式宣布取消巴塞罗那MWC2020举办
在线教育直播四股力量“博弈”正当时
在线教育直播四股力量“博弈”正当时
2020亚太银行数字化创新大会持续报名中
2020亚太银行数字化创新大会持续报名中
美国新规限制AI软件出口中国,周一生效
美国新规限制AI软件出口中国,周一生效
那些惊艳的新技术:关乎机器 更关乎人
那些惊艳的新技术:关乎机器 更关乎人
我还没有学会写个人说明!