在经历了一整年的新冠疫情之后，时隔两年谷歌I/O开发者大会终于和大家再度相逢。前几天，硅星人已经发布了本届I/O大会重要内容的报道，提及了谷歌在远程办公、清洁能源、增强现实、Android1新设计语言和人工智能等重磅话题。
大会期间，硅星人也采访了谷歌AI技术和产品部门的负责人。今天，我们再来深入探讨一下，从这届I/O大会上我们看到谷歌在AI方面的更多重要突破和新动作。
Transformer的无限边界
年，被称为“机器学习三剑客”之一的YoshuaBengio教授团队提出了注意力(attention)机制。基于这一机制，谷歌团队在年推出了深度学习模型Transformer。
和卷积/循环神经网络(CNN,RNN)等“传统”的神经网络模型不同，Transfromer的网络结构主要构成部分都是注意力机制，解决了传统模型处理自然语言工作时，所采用的顺序计算模式带来的种种问题和限制。
不仅谷歌年基于Transformer技术开发的BERT算法在自然语言处理各项任务中的效能有了巨大提升，这项技术也已经被字节、美团、Facebook等中美顶级公司广泛采用，证明了它的巨大潜力。
这一届I/O大会上，谷歌又宣布了在自然语言处理和知识处理等方向上的全新突破：LaMDA和MUM，你可以阅读我们前天发布的文章了解这两个新模型的更多细节。
简单来说，LaMDA是一个专门为对话而优化的自然语言处理生成模型。它是一个底层技术，不过为了展示它的能力，谷歌选择用聊天机器人的方式来呈现：假设用户希望了解冥王星的更多信息，LaMDA则可以扮演冥王星和用户展开一场自然亲切、寓教于乐的对话。
演示场景：用户和LaMDA之间关于冥王星的知识话题展开对话
而MUM是一个超级强大的多模态学习模型，在解答复杂问题上的能力远超前辈技术。过去我们使用搜索引擎，经常需要修改自己的问题好让计算机理解；现在有了MUM，我们可以直接向搜索引擎提问，不论问句的句式有多复杂，信息量有多大，MUM都能够实现准确的上下文理解，并且从75种语言的网络资料中实时提取、翻译、组织和呈现答案。
LaMDA和MUM的底层都是Transformer，本小节一开始提到的自然语言处理重要架构。
几年前Transformer和BERT发布的时候，就被认为是机器学习技术的重要突破。而今年谷歌在I/O上预览的这两个新模型，再次证明了Transformer尚有无限大的发展空间。
以MUM为例，它和年谷歌发布，被称为自然语言处理“大杀器”的BERT算法相比，性能有了足足倍的提升，堪称Transformer技术方向的又一重大突破。
MUM不仅能够理解，还可以生成语言。谷歌同时采用75种语言，面向对话理解、对话生成、提炼总结、翻译等多种不同的自然语言处理任务对MUM进行了训练。这样训练出来的MUM，在搜集、处理知识和生成信息的能力上，深度前所未有。
更令人兴奋的是，MUM还是一个多模态模型(multimodalmodel)，除了文字之外现在还可以从图片中提取信息，未来也会引入视频、音频等更多模态——进一步扩展了Transformer的实力边界。
有趣的是，今年三月谷歌研究员曾经发过一篇论文，用做了各种微调的Transformer架构进行跨应用方向的试验，发现效果并不算很好。时隔两个月，通过LaMDA和MUM，谷歌自己在I/O上就给其它研究人员和开发者们做了一个“怎样正确使用Transformer”的优秀示范。
MUM和LaMDA的发布，为Transformer描绘出了一条宏大的发展曲线。谷歌年发布它的时候就预料到它会有很大的潜力；后来有了BERT，这个算法整合到搜索和自然语言处理相关产品种，显著提高了效果。今天有了MUM和LaMDA，证明了Transformer作为一种颠覆性的深度学习技术，还有很长很令人兴奋的路要走。
实现真正的自然语言理解一直都是一个难以企及的目标，每一次技术突破，其实都离那个目标更近了一步，但从未真正达到。语言是人类实现沟通的最自然的方式，所以让机器实现真正的自然语言理解是谷歌一直追寻的目标。现在我们看到Transformer的潜力如此巨大，让人类从未离这个目标如此之近。
当然，并不是所有人都能享受到MUM和LaMDA所依赖的计算环境：谷歌的TPU芯片和TPUPod云计算模块。TPU计算设备在今年I/O大会上也正式宣布升级到v4，单芯片（下图左包含4颗芯片）的计算速度是v3的两倍，而TPUv4Pod（下图右）搭载4,颗TPUv4核心，总计浮点算力高达1exaflops（每秒一百亿亿次浮点运算）。
虽然现在谷歌把这两项技术通过聊天机器人和搜索引擎的方式呈现，实际上LaMDA和MUM都还是非常早期的研究项目，距离商用化还很远，甚至目前连论文都还没有。谷歌还有很多这样的，在内部称为"moonshot"的项目。
以MUM为例，谷歌在