【2018深度学习10大警示】多数芯片公司将破产;自我对弈可自动创造知识

2018年,对于深度学习来说,将是剧变的一年。2017年深度学习的许多突破将在2018年继续强势推进。许多研究将成为日常应用。以下是对2018年深度学习的十个警示性预测。

多数深度学习硬件初创公司将失败

许多深度学习硬件初创企业将在2018年开始交付芯片。很多公司都将失败,因为他们并未提供良好的软件来支持新解决方案。虽然这些公司有硬件,但在深度学习领域,软件同样重要。这些创业公司大多不了解软件,也不了解开发软件的成本。

收缩阵列解决方案已经被采用,所以2018年不会出现去年发现的大规模的10倍性能升级。研究人员将把这些张量核心用于推断和加快训练。

英特尔的解决方案将继续推迟,结果也很有可能令人失望。

Google的TPU发展将继续震惊世界。也许Google会通过将其IP授权给其他半导体供应商来进入硬件领域。那样,谷歌就会成为英伟达之外的真正芯片玩家。

元学习将成为新随机梯度下降法

2017年出现了很多关于元学习的优秀研究。由于研究界能更好理解元学习,旧的随机梯度下降(SGD)将采用一种更有效的方法,这种方法将结合开发性和探索性搜索方法。

无监督学习的进展将会不断增加,但主要由元学习算法驱动。

生成模型驱动新型建模

目前,大多数研究是在生成图像和语音。2018年,这种方法将被纳入复杂系统建模工具中。深度学习在经济建模中的应用将增多。

自我对弈可自动创造知识

AlphaGo Zero和AlphaZero从零开始自我学习是一个巨大的飞跃。在我看来,这和发现深度学习同样重要。深度学习发现了通用函数逼近器。而强化学习自我对弈发现了通用知识创造。

直觉机器将弥合语义差异

直觉机器和理性机器之间的语义鸿沟将被弥合(如果它尚未被弥合的话)。双重过程理论(两种认知机制,一种是无模型的,另一种是以模型为基础的)将更流行。“人工直觉”将不再是一个附加概念,2018年会更普及。


阅读原文

相关文章
相关标签/搜索