欢迎光临
中国顶尖人工智能与机器人行业新媒体平台

Andrew Ng训练Google的电脑使用人工智能识别猫

Andrew Ng训练Google的电脑使用人工智能识别猫

当Andrew Ng训练Google的电脑使用人工智能识别猫视频时,他打了几个阻碍。

Google的全球数据中心网络拥有的计算机比他所需的计算机多,但利用所有这些力量并不容易。当一个服务器崩溃了 – 每天使用1,000台机器的时候,它减慢了他的计算。

据Ng介绍,这是深度学习世界上最大的未报告的故事之一,这是当今大数据和人工智能中最热门的趋势:它不一定适合于云计算。谷歌和亚马逊和Facebook通常用来在数万台机器上运行软件的技术。

在Ng的AI实验后不久,一个名为Adam Coates的斯坦福大学研究员提出了一个更好的方法来做事情。他使用一种不同类型的微处理器,称为图形处理单元,将三台计算机系统串联在一起,可以完成Google 1000台计算机云的工作。这是一个了不起的成就。

“在运行这些实验所需的资源方面的巨大差异是因为一方面GPU的速度更快,但是一旦你有一个更小的系统,更紧密的集成,有规模经济,“Coates说,他现在在中国搜索巨头百度上为吴卓文工作。

游戏玩家了解GPU,因为他们通常购买特殊的GPU卡以加速他们的视频游戏体验。但即使在Ng试用Google之前,学者也知道GPU。这是因为他们有特殊的数学运算能力,这使得他们深入学习的理想。最初,研究人员只写了单一计算机系统的深度学习软件。 Coates所做的是展示如何在许多基于GPU的计算机上构建深度学习网络。他的工作现在慢慢流向那么多人。谷歌和Facebook正在使用GPU,但是运行一些世界上最大的超级计算机的实验室:橡树岭国家实验室和劳伦斯利弗莫尔国家实验室。在那里,他们希望利用这些强大的芯片和超快的网络设备的种类,已经在超级计算机中广泛使用。

超级计算机认识深入学习

在橡树岭国家实验室的田纳西校园东侧,有一个80英亩的研究设施,称为散裂中子源(SNS)。建于2006年,它激发世界上最强烈的中子束的材料,以帮助物理学家和化学家了解材料如何形成的内部结构。

SNS生成的数据太多,无法完全分析,数百TB,但Oak Ridge的科学家认为他们可以使用深度学习算法更快速地识别数据中的模式识别模式是一个深度学习专长,并改进他们的分析。

这个问题很普遍。科学模拟在每次运行时产生700太字节的数据并不罕见。这超过了国会图书馆中的所有信息。 “在科学界有一个大数据问题,”橡树岭计算机科学家罗伯特·帕顿说。 “科学家现在正在做模拟,只是生成太多的数据来分析,”他说。

但是GPU的深度学习可以改变事情 – 特别是当与高性能计算机的超快速网络功能,如橡树岭的泰坦超级计算机融合。 Titan与Google云有点不同。它也跨越数以千计的机器,但它可以更快速地交换数据进出每个机器内存,并推送到另一台机器。因此,在Oak Ridge,研究人员已经决定在Titan上运行深度学习算法。

Facebook也使用GPU,但他们的主导深度学习研究员,Yann LeCun不是完全取消CPU。 “我们使用基于GPU的基础设施来训练我们的深度学习模型。传统的CPU太慢了,“他说。 “但是新的CPU芯片 – 具有许多内核 – 可能会在不久的将来达到GPU的性能。

大改写

在他们实现他们的AI野心之前,Oak Ridge超级计算机极客必须写他们的高科技超级计算机的深度学习软件。这可能需要多年的工作,研究人员说。

Andrew Ng的原创Google工作构建了其中包含10亿个参数的猫视频模型 – 帮助算法建立人们对视频中的图像细微差别的了解,并区分例如YouTube猫视频和一个栗鼠。

在劳伦斯Livermore实验室,他们已经建立了包括150亿参数的软件,是原来的谷歌实验的15倍,他们打算走得更高。 “我们希望在这个项目的最后建立世界上最大的神经网络训练算法,通过高性能计算实现,”实验室的知识系统和信息组组长巴里·陈说。

Google Way

Google在做什么?嗯,它也移动到GPU。但它采取不同的路线。科技巨头已经建立了一个名为DistBelief的新的和卓越的深度学习系统,它可以运行在GPU或CPUs在其庞大的云。

Google将数字处理作业分成数百个小型集群(1到32台机器),逐渐调整Google组装的数据模型。这是一个巨大的计算操作,逐步赋予Google软件区分椅子和凳子之类的功能,或者单词shift和单词ship。

所以机器可能在谷歌的数据中心内失败,这是不可避免的 – 但是当它们这样做时,后果不会那么严重。事实上,整个系统的设计是为了让Google的研究人员在发生故障时不会注意到,Google研究科学家Greg Corrado说。

“云计算与HPC [高性能计算]这个更大的问题是品味,公司文化和可用资源的问题,”他说。 “我做了两个。我很高兴与Google的内部系统当然。

赞(0) 关注公众号

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址

公众号也精彩

微信扫一扫打赏