Matthew Mayo在总结和展望机器学习2018年进展、2019年机会时說,

得益于用于文本分类的通用语言模型微调(ULMFiT)和来自变换器的双向编码器表示(BERT)之类的技术,转移学习有了更广泛的应用和兴趣,特别是在自然语言处理中。

这些并不是过去一年NLP的唯一进步; 另外需要注意的是语言模型嵌入(ELMo),这是一个深层语境化的单词表示模型,让模型的每个任务都有相当大的改进。

其他突破似乎集中在对BigGAN等现有技术的改进上。此外,由于众多倡导型社区成员的声音,关于机器学习包容性和多样性的非技术性讨论成为主流(NeurIPS就是其中的一个例子)。

我在2019年,研究注意力将从监督学习转向强化学习和半监督学习等领域,因为这些领域的潜在应用越来越多地得到实现。例如,我们现在处于图像识别和生成已经到了“解决”地步,并且从中学到的东西可以帮助研究人员追求更复杂的机器应用学习。

作为业余自动化机器学习(AutoML)传播者,我认为AutoML将逐步进步,以达到普通的监督学习任务能够通过可用的方式或尚未完全完善的方法,自信地进行算法选择和超参数优化。

我认为自动化机器学习的普遍看法将会有转变(或者已经达到临界点):从更换开发者到扩张他们。AutoML将不再被视为机器学习工具箱的替代品,而是作为其中包含的另一种工具。相反,我认为,开发者将日常使用这些工具,并且知道如何去操作,这将成为定局。