DeepMind 简介

DeepMind

DeepMind是谷歌旗下著名的AI研究机构,发布了著名的AlphaGo、AlphaFold、WaveNet等模型。在深度学习、强化学习等领域都有着非常瞩目的研究成果。本文主要介绍一下DeepMind这家研究机构的相关情况。


DeepMind位于伦敦国王十字区的总部


DeepMind公司信息

DeepMind公司的主要信息如下:

  • 公司类型:研究型公司
  • 所属行业:人工智能
  • 成立日期:2010年9月23日
  • 创始人:Demis Hassabis、Shane Legg和Mustafa Suleyman
  • 总部:伦敦
  • 官方网站: https://www.deepmind.com/ 

DeepMind的成立历史

DeepMind是2010年由Demis Hassabis、Shane Legg和Mustafa Suleyman等人在伦敦成立的一家AI研究机构。2014年,Google收购了DeepMind。DeepMind在2016年发布了AlphaGo,并击败人类围棋冠军李世石而被全世界所知晓。DeepMind起初名字为DeepMind Technologies,被谷歌收购之后改名Deep Mind。

DeepMind成立之初就在研究教会AI玩游戏,包括Breakout、Pon和Space Invaders。这是他们认为的创造出通用人工智能的一种途径。DeepMind早期的投资者包括马斯克(Elon Musk)等企业家(这位老哥也是OpenAI的老板,真是眼光毒辣啊)。2013年,Facebook就已经开始接触DeepMind希望可以收购它,不过最终2014年,谷歌花费了5亿美金将DeepMind收归麾下。


DeepMind的研究成果概览

DeepMind作为谷歌旗下的研究机构,DeepMind在人工智能领域拥有大量的产出。目前,DeepMind的研究领域包括如下7个:

  1. 深度学习(Deep Learning)
  2. 控制和机器人(Control and Robotics)
  3. 强化学习(Reinforcement Learning)
  4. 科学(Sciences)
  5. 理论与基础(Theory and Foundations)
  6. 无监督学习与生成模型(Unsupervised Learning and Generative Models)
  7. 神经科学(Neuroscience)

DeepMind有许多非常有影响力的研究。我们将选择其中具有代表性的一些成果来进行描述。

AlphaGo

AlphaGo是全世界第一个击败人类专业围棋选手的计算机程序。围棋的参与者只有两个人,每一个人轮流在棋盘上下棋,尽管规则简单,但是围棋却有10^170种可能。因此,采用枚举的方式去解决围棋的问题非常困难。此前,没有任何计算机程序可以在围棋领域打败人类选手。

AlphaGo采用的深度学习与高级搜索树结合地方式(强化学习),创造性地从另一种方式解决了这个问题。也是AlphaGo与李世石的旷世大战让DeepMind一战成名,也让AI一瞬间被全世界所关注。

WaveNet

WaveNet是一个文本生成语音的模型。人类的语音是由音调、节奏和语气等多个因素一起影响的结果。自然的语音生成一直是很困难的事情。

WaveNet是一个生成模型,在语音样本上进行训练。它通过预测哪些声音可能相互跟随来创建语音模式的波形。每个波形都是一次一个样本建立的,每秒钟有多达24,000个样本的声音。WaveNet发布的时候,其效果令人十分惊讶。因为这是2016年发布的生成式模型。这在当时是十分前沿的方式。

AlphaFold

AlphaFold是一个可以准确预测蛋白质结构的三维模型的深度学习模型,并且正在加速几乎所有生物学领域的研究。在你身体的每个细胞内,数十亿个微小的分子机器正在努力工作。它们使你的眼睛能够检测光线,你的神经元能够发射,你的DNA中的 "指令 "能够被读取,从而使你成为独一无二的人。

这些精致、复杂的机器就是蛋白质。它们不仅支撑着你体内的生物过程,而且支撑着每个生物的每一个生物过程。它们是生命的组成部分。

目前,有超过2亿个已知的蛋白质,而且每年都会发现更多的蛋白质。每一个都有一个独特的三维形状,决定了它如何工作和做什么。

但是,弄清一个蛋白质的确切结构仍然是一个昂贵的、往往是耗时的过程--直到现在--科学家只能够研究科学上已知的极小部分蛋白质的确切三维结构。

AlphaFold是DeepMind在2016年就开始研究的模型,其最新的系统现在可以在几分钟内大规模地预测蛋白质的形状,精确到原子级。2021年,自然杂志详细介绍了这项研究,该成果惊讶了所有人,并且开源在GitHub上: https://github.com/deepmind/alphafold 

AlphaTensor

DeepMind提出了AlphaTensor,这是第一个用于发现新的、高效的、可证明正确的矩阵乘法等基本任务算法的人工智能(AI)系统。这揭示了数学中一个长达50年的开放性问题,即寻找两个矩阵相乘的最快方法。

矩阵相乘是当今深度学习算法的基础运算之一。尽管高中时期可能就已经有了教学,但是它对于当今数字世界有着巨大的影响力。

两个矩阵相乘这一操作被用于处理智能手机上的图像,识别语音命令,为计算机游戏生成图形,运行模拟以预测天气,压缩数据和视频以在互联网上共享,以及其他更多的操作。世界各地的公司花费了大量的时间和金钱来开发计算硬件,以有效地进行矩阵乘法。因此,即使是对矩阵乘法效率的微小改进也会产生广泛的影响。

利用强化学习训练了一个AlphaTensor代理来玩游戏,开始时没有任何关于现有矩阵乘法算法的知识。通过学习,AlphaTensor随着时间的推移逐渐改进,重新发现了历史上的快速矩阵乘法算法,如Strassen的算法,最终超越了人类的直觉领域,发现的算法比以前已知的更快。


总结

早期DeepMind的盈利压力很小,2018年和2019年它每一年都亏损了6.8亿美金左右,2019年,谷歌也为其注销了15亿美金的债务。但是,可能是谷歌的盈利压力或者是DeepMind亏得太多,它开始尝试用自己的技术挣钱。其方式就是通过将自己的技术卖给谷歌旗下的其他公司和业务使用。2020年其收入达到11亿美金,并开始挣钱。

相比较OpenAI,DeepMind商业化依然十分克制。其多数成果的发布依然像是一个科研机构。

DeepMind发布的大模型列表

Gemini-ultra

0.0

亿个参数

2023-12-07

发布时间

不开源

预训练结果开源

Gemini-pro

1000.0

亿个参数

2023-12-07

发布时间

不开源

预训练结果开源

Gemini-Nano

32.5

亿个参数

2023-12-07

发布时间

不开源

预训练结果开源