要么发表论文,要么灭亡!218篇论文成就谷歌“AI奇迹之年”


 

编者按:2016年,谷歌在人工智能领域表现最为突出,发表重量级论文最多,《Nature》、《PNAS》、《JAMA》都是世界上最顶级的科学期刊。在过去一年里, Google的论文都发表在了这三大顶级期刊上。而苹果公司也因此首次打破了保密原则,旨在人工智能领域的竞争中保持优势。


这家位于美国加州圣克拉拉县山景城的搜索巨头发表了许多史无前例的科学成果——从眼科学( ophthalmology)、计算机游戏到神经科学和气候模型。2016年可以称得上是“Google奇迹年”,这一年里谷歌的研究人员将论文发表到了最顶级的期刊,并在数量上创造了世界记录



Google论文数量激增的背后是Google对人工智能领域,特别是“深度学习”日益增长的投资。深度学习是一门很强大的技术,它已经广泛地运用于很多领域,如图像分类、机器翻译、语音识别、语言合成等。


根据Google向《麻省理工科技评论》提供的数据表明:仅在2016年,Google就发表了218篇期刊或会议论文,这数据几乎是两年前的两倍。


Google近年在机器学习领域所发表的论文数量


DT君从科学网(Clarivate Analytics推出的一项服务)也搜集到了类似的数据,证实了这一消息。Clarivate说如果根据出版期刊的水平来衡量,Google出版物的影响力是世界平均水平的4-5倍。相比于其他积极发表论文的人工智能公司,Google发表的论文数量远远领先。



Google排名最好


Google的出版物爆炸式地增长并非偶然。蒙特利尔大学的深度学习专家Yoshua Bengio表示: 在过去几年里, Google机器学习领域的研究人员在数量上已经增加了两倍多,这些人像疯子一样都在玩命地工作。


各大公司为了获得顶尖计算实验室的首轮选秀权(目的是争夺最优秀的机器学习人才),它们不能仅仅只提供“硅谷式”的丰厚报酬。西北大学的计算神经科学家康拉德·科德宁(Konrad Kording)说:“仅仅是用钱,很难雇用到人才。顶尖的人才关心的是如何使世界进步,对他们而言,他们最关心的是要写出对全世界都有用的论文,写出全世界通用的代码。



在Google,科研一直是由DeepMind领衔,DeepMind是由神经科学家兼程序设计师Demis Hassabis创办的。在2014年1月,被Google以4亿美元收购。


毫无疑问,Hassabis继续坚持着他最初的科学野心。他在一月份的一篇博客中表示: DeepMind将学术界的长期研究与最佳的初创公司的发展速度和发展重心很好地结合在了一起,形成了一种”混合文化“,这种”混合文化“既符合学术目标,又对他们的创业公司很重要。Kording的博士生Mohammad Azar是DeepMind的员工,他说:”在这里,您能清晰的认识到”项目推动科学发展“的观点。“


去年,DeepMind在《Nature》杂志上发表了两篇文章。一篇论文涉及到战胜了顶级职业围棋手的AlphaGo;另一篇论文描述了一个拥有内存的神经网络怎样理解并处理新任务。这本顶级期刊曾首次报道了DNA的结构和人类基因组的测序,可想而知, Google的这两篇论文意味着什么。



随后,在12月份,Google研究部的科学家又发表了第一篇深度学习的论文,这篇论发表在JAMA上。在论文中,他们展示了一个可以根据视网膜图像诊断失明原因的深度学习程序。


该项目由谷歌大脑(Google Brain)领导。谷歌大脑是另一个人工智能团队,它基于公司的加州总部。谷歌大脑还说它会优先考虑发表论文,它的研究人员可以在这里自己设定议程。



人工智能竞赛


目前数百家公司都在致力于开发更加强大的人工智能系统来增强竞争力,其中竞争最为激烈的是Google,Facebook和Microsoft。


这些公司都看到了人工智能的巨大商业潜力,因此他们正竭力地去获取客户数据,去开发无人驾驶汽车,以及将机器学习运用于医疗领域以保证自身在人工智能领域中的领先地位。


这让人们不禁想起了研发电脑芯片或研发第一批生物技术和药物的那段时期,在那段时间里,显著的学术成就为这些新兴产业奠定了基石。


这也解释了为什么发表论文很重要。科学界中”要么发表论文,要么灭亡”的一贯宗旨正在重新划分人工智能企业:发表论文能力弱的公司处于很大的劣势苹果一直以来都在为其计划和产品进行严格的保密,但这种做法对其发展是不利的,导致其在人工智能领域的水平远远落后于Google和Facebook。



所以,当CMU的计算机科学家Russ Salakhutdinov担任苹果公司的人工智能部门的负责人后,他就立即被允许通过博客和谈判来打破苹果的《保密守则》。


去年年底在巴塞罗那举行的机器学习科学会议上,Salakhutdinov宣布苹果公司也将开始发表论文。他在一页幻灯片中写道“我们也会出版吗?是的!


Salakhutdinov将在下周由《麻省理工科技评论》在旧金山举办的EmTech Digital大会上就人工智能主题进行发言。



文中提到的Google人工智能领域的重量级论文概述:


1.《Mastering the game of Go with deep neural networks and tree search》


围棋游戏一直被认为是人工智能最难挑战的经典游戏,因为在围棋游戏中搜索空间巨大,难以评估棋子的具体位置和移动方向。DeepMind的研究人员让计算机利用”价值网络”评估棋局,”策略网络”选择落子。然后使用人类围棋样例训练这些神经网络,最后利用强化学习使程序在与自己下棋的过程中不断学习,达到专家水平。


在这篇论文中,他们还引入了一种将蒙特卡罗模拟与价值网络和策略网络相结合的新搜索算法。使用这种算法,AlphaGo在与其它的围棋程序比赛中,获胜率达到了99.8%,并最终在与最顶级的人类玩家的比赛中完胜人类——这曾经被认为是一个在近十年内不可能实现的壮举。


2. 《Hybrid computing using a neural network with dynamic external memory》


人工神经网络很擅长感官处理,序列强化和强化学习,但是由于缺乏外部存储器,它表示变量、数据结构和长期储存数据的能力受到了限制。


在论文中,他们引入了被称为”可微分神经计算机(DNC)“的机器学习模型。DNC包含从外部存储矩阵中读取和写入数据的神经网络,这类似于传统计算机中的随机存取存储器。与传统计算机一样,DNC也可以使用其内存来表示和操作复杂的数据结构,同时也能从数据中学习。另外,DNC也可以模仿自然语言中的推理问题。


编辑:Steven