新年伊始，谷歌AI掌门人Jeff Dean发表万字长文年度总结，认为我们将在接下来的几年中看到机器学习许多令人兴奋的进展，这些进展最终将造福数十亿人的生活，并产生比以往更大的影响。 在总结中，重点介绍机器学习有望产生影响的五个领域。 对于每一个领域都讨论了相关研究（主要从 2021 年开始）以及可能在未来几年看到的方向和进展。本文仅对五个趋势进行要点概述，具体相关研究可以通过阅读原文去了解。

趋势1：功能更强大的通用 ML 模型

研究人员正在训练比以往规模更大、功能更强的机器学习模型。模型从单一模态模型发展到大规模的多模态模型，可以接受多种不同的输入模式，并且在某些情况下，可以产生不同的输出模式。这是一个令人兴奋的方向，因为就像现实世界一样，在多模态数据中有些东西更容易学习。因此，将图像和文本配对可以帮助完成多语言检索任务，更好地理解如何将文本和图像输入配对可以为图像字幕任务带来更好的结果。同样，对视觉和文本数据的联合训练也有助于提高视觉分类任务的准确性和鲁棒性，而对图像、视频和音频任务的联合训练可以提高所有模态的泛化性能。还有一些诱人的暗示，自然语言可以用作图像处理的输入，告诉机器人如何与世界交互并控制其他软件系统，预示着用户界面开发方式的潜在变化。这些模型处理的模态将包括语音、声音、图像、视频和语言，甚至可能扩展到结构化数据、知识图和时间序列数据。同时，这些模型通常使用自监督学习方法进行训练，从未经管理或标记的“原始”数据的观察中学习，可以大大减少为特定任务启用 ML 所需的工作量，并且使在更具代表性的数据上训练模型变得更容易。

所有这些趋势都指向训练功能强大的通用模型的方向，这些模型可以处理多种数据模式并解决数千或数百万个任务。通过构建稀疏性，针对给定的任务，只激活为其优化的模型的部分模块，使得多模态模型变得更高效。在接下来的几年里，我们将在称为 Pathways 的下一代架构和总体努力中追求这一愿景。我们希望在这一领域看到实质性进展，因为我们将迄今为止相对独立地追求的许多想法结合在一起。

趋势2：ML 持续的效率改进

由于计算机硬件设计、ML算法和元学习研究的进步，效率的提高正在推动ML模型的更大能力。ML pipeline的许多方面，从训练和执行模型的硬件到ML体系结构的各个组件，都可以在保持或提高整体性能的同时进行效率优化。优化方法包括：

  • 持续改进ML 加速器性能

  • 持续改进ML 编译和 ML 工作负载优化

  • 人类创造力驱动更高效模型架构的发现

  • 机器驱动更高效模型架构的发现

  • 使用稀疏性

每一种提高效率的方法都可以结合在一起，这样在高效的数据中心训练的等效准确性语言模型的能源效率就会提高约100倍，二氧化碳排放量也会减少约650倍。与使用P100 gpu在平均美国能源组合的平均美国数据中心训练的基准Transformer模型相比。这甚至还没有考虑到谷歌的碳中和，100%的可再生能源抵消。我们很快会有一篇更详细的博客文章来分析NLP模型的碳排放趋势。

趋势3：ML对个人和社会都越来越有益

随着ML和硅硬件的创新，许多新的体验成为可能，使移动设备能够更连续和有效地感知周围的上下文和环境。这些进步提高了可访问性和易用性，同时也增强了计算能力，这对于手机摄影、实时翻译等流行功能至关重要。值得注意的是，最近的技术进步也为用户提供了更个性化的体验，同时加强了隐私保护。

趋势4：ML在科学、健康和可持续发展方面日益增长的效益

近年来，我们已经看到了ML在基础科学(从物理学到生物学)中日益增长的影响，在相关领域有许多令人兴奋的实际应用，如可再生能源和医学。计算机视觉模型已经被用于解决个人和全球范围的问题。它们可以帮助医生进行日常工作，扩展我们对神经生理学的理解，还可以提供更好的天气预报和简化救灾工作。通过发现减少排放和提高替代能源产量的方法，其他类型的ML模型被证明在应对气候变化方面至关重要。这些模型甚至可以作为艺术家的创作工具!随着ML变得更加健壮、开发良好和广泛可访问，它在广泛的现实世界领域中的高影响应用程序的潜力继续扩大，帮助解决一些最具挑战性的问题。

趋势5：对 ML有 更深入和更广泛的理解

随着ML在技术产品和社会中的应用越来越广泛，我们必须继续开发新技术，以确保它的应用公平和公正，并使所有人受益，而不仅仅是特定的群体。这是我们负责任的人工智能和以人为本的技术研究小组的主要研究重点，也是我们在各种责任相关主题上进行研究的领域。

  • 其中一个重点领域是基于在线产品的用户活动的推荐系统。由于这些推荐系统通常由多个不同的组件组成，理解它们的公平性属性通常需要深入了解单个组件以及单个组件组合在一起时的行为。

  • 和推荐系统一样，上下文环境在机器翻译中也很重要。因为大多数机器翻译系统在翻译单个句子时是孤立的，没有额外的上下文，它们常常会强化与性别、年龄或其他领域相关的偏见。

  • 部署机器学习模型的另一个常见问题是分布偏移：如果训练模型的数据的统计分布与作为输入的模型的数据的统计分布不同，则模型的行为有时可能是不可预测的。

  • 尽管关于ML算法和模型开发的工作得到了很大的关注，但数据收集和数据集管理却很少。但这是一个重要的领域，因为ML模型所训练的数据可能是下游应用中偏见和公平问题的潜在来源。

  • 另一个潜在的担忧是，机器学习语言理解和生成模型有时也会产生没有证据正确支持的结果。

  • 模型的交互式分析和调试仍然是负责任地使用 ML 的关键。

  • 随着ML模型在许多领域的应用，私有信息的保护一直是研究的重点。

结论

研究通常是一个持续多年的旅程。而谷歌近几年的研究工作已经逐渐开始对其产品，甚至整个世界产生影响了。例如，在TPU等ML硬件加速器以及TensorFlow和JAX等软件框架的投资已经取得了成果，而ML模型在谷歌的产品和功能中越来越普遍。对创建Seq2Seq、Inception、EfficientNet和Transformer的模型架构的研究或批量规范化和蒸馏等算法研究正在推动语言理解、视觉、语音和其他领域的进展。

Jeff Dean表示，现在是机器学习和计算机科学真正令人兴奋的时代。计算机通过语言、视觉和声音理解周围世界并与之交互的能力在不断提高。

由此，也开辟了一个让计算机帮助人类完成现实世界工作的全新疆域。

 

原文链接：

https://ai.googleblog.com/2022/01/google-research-themes-from-2021-and.html

 

内容中包含的图片若涉及版权问题，请及时与我们联系删除