作者 | Matthew Mayo

编译 | CDA数据分析师

正如我们告别上一年并期待新的一年一样，KDnuggets再次征求了众多研究和技术专家对2019年最重要的发展及其2020年关键趋势预测的意见。

又到了年终，这意味着现在是KDnuggets年终专家分析和预测的时候了。今年，我们提出了一个问题：

2019年AI，数据科学，深度学习和机器学习的主要发展是什么？您预计2020年会有哪些主要趋势？

当我们回顾一年前专家的预测时，我们可以看到对自然技术进步的预测，并带有一些更加雄心勃勃的预测。有几个一般性主题，以及几个值得注意的点。

特别要关注的是，人们不止一次提到了对AI的恐惧，不过目前这一预测似乎已经平息了。关于自动化机器学习的进展的讨论非常多，人们对它目前是否有用等议论纷纷。我认为在某种程度上尚无定论，但是当对技术的期望降低时，我们就更容易将其视为有用的添加物而不是迫在眉睫的替代物了。

也有充分的理由指出了新增的AI永远是有益的，并且有无数的例子表明了这种预测的准确性。实用的机器学习会产生影响，现在是时候学习使用机器学习了。最后，还提到了反乌托邦人工智能发展引起的对监视，恐惧和操纵的日益关注。

还有一些预测还没有完成。感兴趣的读者可以自行寻找。

今年我们的专家名单包括Imtiaz Adam，Xavier Amatriain，Anima Anandkumar，Andriy Burkov，Georgina Cosma，Pedro Domingos，Ajit Jaokar，Charles Martin，Ines Montani，Dipanjan Sarkar，Elena Sharova，Rosaria Silipo和Daniel Tunkelang。我们感谢他们从忙碌的年终时间表中抽出时间为我们提供见解。

这是同一系列文章中的第一篇。尽管它们将被划分为研究，部署和行业，但这些学科之间存在相当大且可以理解的重叠。

以下是今年专家组提出的2019年主要趋势和2020年的预测。

Imtiaz Adam ： 人工智能与战略执行官。

在2019年，提高了对与数据科学中的道德与多样性有关的问题的认识。

• 彩票假说论文显示了通过修剪可以简化深度神经网络训练的潜力。Neuro Symbolic Concept Learner论文显示了将逻辑和深度学习与增强的数据和内存效率结合起来的潜力。
• GAN的研究获得了动力，尤其是深度强化学习受到了很多研究关注，包括逻辑强化学习和用于参数优化的遗传算法等领域。
• TensorFlow 2随附Keras集成且急于执行默认模式。

2020年，数据科学团队和商业团队将更加融合。5G将推动AI推理的发展，推动智能物联网的发展，这意味着AI将越来越多地进入物理世界。深度学习与增强现实相结合将改变客户体验。

Xavier Amatriain ： Curai 联合创始人/首席技术官。

我认为这是深度学习和NLP的一年，这一点很难反对。更具体地说，是语言模型的年份，是Transformers和GPT-2的一年。是的，这可能令人难以置信，但是距OpenAI首次使用至今不到一年，谈到他们的GPT-2语言模型。这篇博客文章引发了很多关于AI安全的讨论，因为OpenAI并不对外发布该模型。

从那时起，该模型被公开复制，并最终发布。但是，这并不是该领域的唯一进步。我们已经看到Google发布了AlBERT或XLNET，还讨论了BERT如何成为多年来Google搜索最大的改进。从Amazon、Microsoft到Facebook，所有人似乎已经真正地加入了语言模型革命，我确实希望在2020年在该领域看到令人瞩目的进步，而且似乎我们越来越接近通过图灵测试的日子了。

Anima Anandkumar ： NVIDIA机器学习研究总监、加州理工学院的Bren Professor。

研究人员希望更好地了解深度学习，其泛化特性和失败案例。减少对标记数据的依赖，而自训练等方法也取得了进展。模拟对于AI培训变得越来越重要，并且在诸如自动驾驶和机器人学习等视觉领域的逼真度也越来越高。语言模型变得很庞大，例如NVIDIA的80亿Megatron模型在512 GPU上进行了训练，并开始生成连贯的段落。

但是，研究人员在这些模型中显示出虚假的相关性和不良的社会偏见。人工智能法规已成为主流，许多知名政客都表示支持政府机构禁止面部识别。从去年的NeurIPS名称更改开始，人工智能会议开始执行行为守则，并加大改善多样性和包容性的努力。

在未来的一年中，我预计将会有新的算法开发，而不仅仅是深度学习的表面应用。这将特别影响物理，化学，材料科学和生物学等许多领域的“科学人工智能”。

Andriy Burkov ：Gartner机器学习团队负责人，《百页机器学习书》的作者。

毫无疑问，2019年主要的发展是BERT，这是一种语言建模神经网络模型，可以在几乎所有任务上提高NLP的质量。Google甚至将其用作相关性的主要信号之一，这是多年来最重要的更新。

在我看来，2020年关键趋势将是PyTorch在业界的广泛采用，对更快的神经网络训练方法的研究以及对便利硬件上的神经网络的快速训练的研究。

Georgina Cosma ：拉夫堡大学的高级讲师。

在2019年，我们对诸如YOLOv3之类的深度学习模型中令人印象深刻的功能进行了评估，以应对各种复杂的计算机视觉任务，尤其是实时对象检测。我们还已经看到，生成式对抗网络继续吸引着深度学习社区的关注，其用于ImageNet生成的BigGAN模型以及用于人类图像合成的StyleGAN合成图像。

今年，我们还意识到，愚弄深度学习模型非常容易，一些研究还表明，深度神经网络很容易受到对抗性例子的攻击。在2019年，我们还看到有偏差的AI决策模型被部署用于面部识别，招聘和法律应用。我希望在2020年看到多任务AI模型的发展，这些模型希望能做到实现通用和多用途。

Pedro Domingos ：华盛顿大学计算机科学与工程系的教授。

2019年的主要发展：

• 上下文嵌入的快速传播。它们还不到两年的历史，但是现在它们在NLP中占据了主导地位，而且Google已经在搜索引擎中部署了它们，据报道，每10个搜索中就有1个改进了。从视觉到语言，在大数据上预先训练模型，然后针对特定任务对其进行调整，这已成为标准。
• 双重血统的发现。我们对超参数化模型如何很好地泛化而完美拟合训练数据的理论理解已得到很大改善，特别是通过对以下观察结果的候选解释：与经典学习理论的预测相反，泛化误差随着模型容量的增加而下降，上升然后下降。
• 媒体和公众对AI进步的看法变得更加怀疑，人们对自动驾驶汽车和虚拟助手的期望越来越低，而浮华的演示也不再具有价值。

2020年的主要趋势：

• 深度学习人群加快从视觉和语音识别等低级知觉任务到语言理解和常识性推理等高级认知任务的“爬升”尝试。
• 通过在问题上投入更多的数据和计算能力来获得更好的结果的研究模式将达到极限，因为它的指数成本曲线比摩尔定律还要陡峭，即使富裕公司也负担不起。
• 幸运的是，我们将进入Goldilocks时代，那里既没有关于AI的过度宣传，也没有另一个AI冬季。

Ajit Jaokar ：牛津大学“人工智能：云与边缘实现”课程的课程主任。

在2019年，我们将牛津大学的课程更名为人工智能：云和边缘实现，这也反映了我的个人观点，即2019年是云成熟的一年。今年是我们谈论的各种技术（大数据，人工智能，物联网等）在云框架内融合在一起的一年。这种趋势将继续，特别是对于企业。公司将采取“数字化转型”计划-在这些计划中，他们将使用云作为统一的范式来转换由AI驱动的流程（类似于重新设计公司2.0）

在2020年，我还将看到NLP逐渐成熟（BERT，Megatron）。5G将继续部署。当2020年后5G全面部署（例如无人驾驶汽车）时，我们将看到IoT的广泛应用。最后，在IoT方面，我遵循一种称为MCU（微控制器单元）的技术-特别是机器学习模型或MCU的部署。

我相信AI会改变游戏规则，每天我们都会看到许多有趣的AI部署示例。阿尔文·托夫勒（Alvin Toffler）在《Future shock》中所预测的大部分内容，今天已经在我们身边了，人工智能究竟将如何放大，还有待观察！可悲的是，人工智能的变化速度将使许多人落伍。

Charles Martin ：AI科学家和顾问，Calculation Consulting创始人。

2019年的AI在NLP方面取得了巨大进步，例如BERT，ELMO，GPT-2等！OpenAI发布了他们的大型GPT-2模型，用于文本的DeepFakes。谷歌宣布将BERT用于搜索，这是自pandas以来的最大变化。甚至我在UC Berkeley的合作者都发布了（量化的）QBERT，用于低占用空间的硬件。每个人都在制作自己的文档嵌入。

这对2020年意味着什么。根据搜索专家的说法，2020年将是具有相关性的一年。期望看到通过BERT样式的微调嵌入，向量空间搜索最终会受到关注。

在底层，作为AI研究的选择，2019年PyTorch超过Tensorflow。随着TensorFlow 2.x的发布（以及pytorch的TPU支持）。2020年的AI编码有希望将全部执行。

大公司在AI方面正在进步吗？报告显示成功率为十分之一。不是很好。因此，AutoML将在2020年出现需求，尽管我个人认为，像取得出色的搜索结果一样，成功的AI需要针对业务的定制解决方案。

Ines Montani ：致力于人工智能和自然语言处理技术的软件开发人员，Explosion共同创始人。

在2019年，每个人都选择“ DIY AI”而不是云解决方案。推动这一趋势的一个因素是迁移学习的成功，这使任何人都可以更轻松地以良好的准确性训练自己的模型，并根据他们的特定用例进行微调。每个模型只有一个用户，服务提供商无法利用规模经济。转移学习的另一个优点是，数据集不再需要那么大，因此注释也在内部移动。

内部趋势是一个积极的发展：商业AI的集中程度远低于许多人的预期。几年前，人们担心每个人都只能从一个提供商那里获得“他们的AI”。如今取而代之的是，人们并没有从任何提供商那里获得AI，而是他们自己在做。

Dipanjan Sarkar ：Applied Materials的数据科学负责人，Google Developer Machine-Experts的作者，作家，顾问和培训师。

2019年人工智能领域的主要进步是在Auto-ML，可解释AI和深度学习领域。自最近几年以来，数据科学的民主化仍然是一个关键方面，并且与Auto-ML有关的各种工具和框架都在试图使这一过程变得更容易。还有一点需要注意的是，在使用这些工具时，我们需要小心以确保我们不会出现偏倚或过度拟合的模型。

公平，负责和透明仍然是客户，企业和企业接受AI决策的关键因素。因此，可解释的AI不再是仅限于研究论文的主题。许多优秀的工具和技术已经开始让机器学习模型的决策更具可解释性。同样重要的是，在深度学习和转移学习领域，尤其是在自然语言处理方面，我们已经看到了许多进步。

我希望在2020年围绕NLP和计算机视觉的深度转移学习领域看到更多的研究和模型，并希望有一些东西能够充分利用深度学习和神经科学的知识，从而引导我们迈向真正的AGI。

Elena Sharova ：ITV的高级数据科学家。

到目前为止，深度强化学习是2019年最重要的机器学习的发展，在深度强化学习DQN和AlphaGo的游戏中， 导致围棋冠军Lee Sedol退役。另一个重要的进步是自然语言处理，谷歌和微软开源了BERT（深度双向语言表示），从而领导了GLUE基准测试，并开发了用于语音解析任务的MT-DNN集成并进行了开源采购。

重要的是要强调欧洲委员会发布的《Ethics guidelines for trustworthy AI》（人工智能道德准则），这是关于人工智能道德的第一份正式准则，其中列出了关于合法，道德和AI发展的明智准则。

最后，我想要分享一点，PyData London 2019的所有主题演讲者都是女性，这是一个可喜的进步。

我预计2020年的主要机器学习发展趋势将在NLP和计算机视觉领域内继续。

Rosaria Silipo ：KNIME首席数据科学家。

2019年最有希望的成就是采用主动学习，强化学习和其他半监督学习程序。半监督学习可能有希望填充我们数据库的所有这些未标记数据存根。

另一个重大进步是在auto-ML概念中用“指导”对“自动”一词进行了更正。对于更复杂的数据科学问题，专家干预似乎是必不可少的。

2020年，数据科学家需要一种快速的解决方案，以实现简单的模型部署，持续的模型监视和灵活的模型管理。真正的业务价值将来自数据科学生命周期的这三个最终部分。

我还相信，深度学习黑匣子的更广泛使用将引发机器学习可解释性（MLI）的问题。到2020年底，我们将看到MLI算法是否能够应对详尽解释深度学习模型闭门事件的挑战。

Daniel Tunkelang ：专门从事搜索、挖掘、ML / AI的独立顾问。

• AI的最前沿仍然专注于语言理解和生成。
• OpenAI发布了GPT-2以预测和生成文本。出于对恶意应用程序的关注，OpenAI当时并未发布经过训练的模型，但最终他们改变了主意。
• Google发布了大小为80MB的安装在设备上的语音识别器，从而可以在移动设备上执行语音识别，而无需将数据发送到云端。
• 同时，我们看到了有关AI和隐私的担忧日益加剧。今年，所有涉及听取用户对话的问题都受到强烈的反对。
• 2020年将为人工智能带来什么？我们将看到对话式AI的进一步发展，以及更好的图像和视频生成。这些进展将使人们更加关注恶意应用程序，并且我们可能会看到一两个丑闻，尤其是在选举年。善恶AI之间的张力不会消失，我们必须学习更好的应对方法。