深度学习的火光:辛顿和他的时代

人间像素
10-13

无法旅行的人

2012 年冬天,美国内华达州太浩湖附近一家酒店里,731 房间的敲门声响起。杰弗里·辛顿(Geoffrey Hinton)紧张地指挥着两个学生把坐垫、熨衣板和湿毛巾藏起来。这位日后被称为深度学习巨头、图灵奖得主、诺贝尔奖得主的 65 岁男人努力挺直腰板,不想在来人面前透露出任何老态。

让辛顿如此紧张的人,来自一家名叫百度的中国公司,他们正试图说服辛顿加入百度。辛顿也正是因为这件事情,从多伦多来到了太浩湖。

对于杰弗里·辛顿而言,这是一场艰苦的旅程。他有着严重的腰椎间盘问题,很难坐下来,在多伦多大学的时候,他站立办公,跪坐吃饭,如同一个苦行僧人一样。乘坐汽车时候,他会躺在后座上,倘若不得不长途旅行,那他只会选择火车。

因此,他很少出远门,即便几个月前在那场让学术圈震惊的 ImageNet 竞赛中获胜,他也没有去佛罗伦萨领奖,只是让自己的弟子前往。不过现在,有一个难以拒绝的理由令不他不得不躺在公共汽车的后座上奔赴纽约,从那里乘火车一路前往位于加利福尼亚州特拉基的内华达山脉顶峰,再乘坐半小时的出租车,抵达太浩湖。

在那里,他成立了一家公司仅有3名员工的公司——DNNresearch。这家公司没有任何有形的产品或资产,但刚刚成立便收到了来自大洋彼岸的收购要约:百度公司愿意以 1200 万美元的价格,换来这家公司和他本人的加入。紧随百度之后,微软、谷歌和当时刚刚成立的 DeepMind 也参与了竞拍。

「DNNresearch 仅有的三名员工」

两个月之前,辛顿和他的学生改变了机器看待世界的方式,百度最早发现了这一研究的价值。深度学习,或者说神经网络,由此从一条潜流,正式汇入学术和产业界主流长河,在很多人看来,它也将如同蒸汽机或者电力一样,改变人类文明的发展方向。

如今,辛顿也获得了他的冠冕。2024 年,诺贝尔奖委员会宣布,他和普林斯顿教授约翰·霍普菲尔德(John Hopfield)共同获得了诺贝尔物理学奖。委员会说,自 20 世纪 80 年代以来,他们的工作促成了人工神经网络的诞生,这是一种大致模仿大脑结构的计算机架构。

竞拍

2012 年 10 月,百度 CEO 李彦宏拿到了一篇 9 页的论文,名字为《ImageNet Classification with Deep Convolutional Neural Networks》,论文阐述了如何基于深度卷积神经网络,来完成 ImageNet 数据集的分类验证工作,作者正是辛顿和他两名弟子。

不论作为百度的 CEO,还是作为一名普通程序员,读到那篇论文的李彦宏都有一种认知颠覆的感觉。或许这时候他会想起来 30 年前美国留学时候的人工智能课程,那时候导师特地叮嘱他们不要太痴迷:“那些东西不可能赚钱的。”

他后来说:“架不住我喜欢。”

他也意识到一件事:

人工智能的范式已经改变了,新的历史开始了。

在所有科技公司中,百度是最早发现辛顿这篇论文价值的。李彦宏马上着手与辛顿取得联系,询问他们是否需要帮助,百度愿意提供充足的研究经费。之后,负责百度战略投资的副总裁汤和松向辛顿抛出橄榄枝,表示愿意以 1200 万美元的价格,邀请他和团队加盟百度。

百度如此激进的动作,惊动了美国的科技巨头,微软和谷歌也迅速参与到竞争中来,同时加入的还有另外一家新锐公司 Deepmind。

邀约演变成了竞拍,这就是那场日后被人们视为“一场全球新的‘军备竞赛’的开始”竞拍会。

「举行竞拍的 Harrah's酒店」

百度亮牌,1200 万美元。

Deepmind 选择退出,他们没有这么多的现金储备,只能以股份来报价。

报价开始急速攀升,1500 万,2000 万。

微软退出,但很快回来,报价达到 2200 万美元之后,微软再次退出,只剩下百度与谷歌两家竞争。

双方寸步不让,2500 万,3000 万,3500 万。

辛顿要求双方必须在半小时内出价,于是报价攀升更快。

4000 万,4100 万,4200 万。当辛顿决定去休息的时候,报价已经达到 4400 万美元。

百度志在必得,谷歌摩拳擦掌,但最终辛顿没有让报价继续攀升,他觉得一切都不太真实,自己也有些头晕,感觉像是在拍电影一样。最终,他放弃了可能收获的更高报价,决定把公司卖给谷歌,这样他可以留在熟悉的环境里,也避免长途旅行的艰难。

这场竞拍不是结束,甚至不是结束的开始,只能说是开始的结束。在这之后,更大的竞赛将在未来十年甚至更长时间席卷全球。2014 年,谷歌以 4 亿英镑价格收购 DeepMind,后者在 2016 年推出 AlphaGo,人工智能震惊全球;微软则选择投资辛顿两名学生之一的 Ilya Sutskever 创办的非盈利研究机构,名为 OpenAI。

穿越半个世纪的黑暗,辛顿和深度学习终于抵达了黎明,百度也看到了明天。

火花

2012 年,中国互联网产业面临着转折阶段。移动互联网迅速崛起,创业者用各种各样的产品,塑造着新的社会面貌。“百团大战”、出行大战、O2O 战争、共享单车大战……烽火然不息,征战无已时。

作为中国最重要的科技公司之一,百度参与了移动互联网时代的竞争,这些竞争的胜利或者失败,总能成为大众关注的焦点。不过,在聚光灯之外,百度决定不计代价,投入到深度学习和人工智能之中。

百度付出了足够的诚意,他们最早发现了辛顿在产业界的价值,并愿意为之付出天文数字,但最终仍然与辛顿失之交臂。不过,通过将美国对手推向极限,李彦宏作为百度掌舵人已经认识到深度学习有多么重要,他专门给全公司的产品经理发出 CEO 邮件,要求大家关注深度学习的最新进展,并迅速成立了全球首个深度学习研究院,李彦宏亲自担任院长。

2014 年,百度邀请谷歌大脑创始人吴恩达加入,并在深度学习研究院任首席科学家。

李彦宏曾经简单直接地阐释自己怎么寻找人才,“我的理念一直是找比我厉害的人,找业界最强的人。每一个位置空出来,我马上就想,如果说全世界的人随便我挑,我会让谁来坐这个位置?想好后,我就去找这个人,看他能不能来。如果由于各种原因,不能来,我就再去找下一个,直到找到最合适的人为止。”

毫无疑问,吴恩达和辛顿一样,都属于“最合适的人”

吴恩达是辛顿的学生,但同时也是辛顿的“伯乐”。2012 年,吴恩达在谷歌发起了 Google Cat 项目。这一项目搭建了一个神经网络,从 YouTube 上下载了大量的视频,不做标记,让模型自己观察和学习猫的特征,最终达到了 74.8%的准确率。

Google Cat 项目结束前,吴恩达离开了谷歌,并推荐辛顿来接手。辛顿在谷歌待了一个暑假的时间,发现“他们运行了错误的神经网络,并使用了错误的计算能力”,在离开谷歌后,他推出了 AlexNet 算法。

吴恩达的加入,一时间成了世界科技行业最热门的消息,也让更多人工智能领域的人才在百度汇聚。

吴恩达加入不久,他招募了达里奥·阿莫德伊(Dario Amodei ),他原本是斯坦福大学的博士后,离开校园的第一份工作便是在百度担任研究员,离开百度后,他参与创办了Anthropic。阿莫德伊还为百度招募了范麟熙(Jim Fan),后来范麟熙成了英伟达人工智能的一号位。

吴恩达在百度工作三年,带领百度人工智能团队增长至 1300 人,其中百度研究院成员 300人,人工智能也逐渐应用到百度各个业务层面,确立了探索无人驾驶、自然语言处理和语音交互等底层技术的大方向。

百度曾在 2020 年的《致股东信》中写道:“百度是一家技术公司的另一层含义是:我们培养技术人才,我们输出技术文化,让更多企业看到技术的价值并重视对技术的投入,搭建起中国互联网的技术骨架,这是一件意义非凡的事情。”

群星为何闪耀

对于辛顿、吴恩达这样的人来说,金钱从来不是最高的追求,当他们做出生涯选择时候,往往在意的是能否有机会攀爬更高的山峰,而百度、谷歌这样的公司让他们看到了这样的机会。

我们总说好的公司要“穿越周期”,但在这四个字背后,往往意味着数年甚至十数年的低迷、质疑甚至嘲讽。

任何前沿技术领域的研究者都必须面对一个问题:如果这个东西做不出来怎么办?任何公司决策者也必须面对一个问题:如果这个方向是错的怎么办?

发现一个新的领域,需要智慧与洞察,但愿意坚持下去,需要的是勇气和韧性。科学家如此,公司亦然。伟大之所以伟大,并非在于其突然崭露头角时令人惊叹的模样,而是因为它在无边的黑暗中必须忍受漫长的默默无闻与不被理解。多年之后,人们才会感慨在那时的黑暗之中,居然有这么多的人类群星闪耀。

2023 年 3 月 16 日,文心一言开启邀请测试,这是全球互联网大厂发布的第一个生成式 AI 产品,而它的基础模型文心大模型早在 2019 年就已经发布,2023 年 9 月初,文心一言面向公众开放。

几天后,《时代周刊》发布了史上第一份全球百大 AI 人物榜单,评语中,《时代周刊》称李彦宏为“中国最杰出的未来主义者”。

他们是幸运的。在众多科学研究领域里,有无数人努力一生,但从没见过希望的曙光。而这些人在黑暗中彼此守望,默默坚持,最终推动了深度学习发展,创造了伟大,由此开始了产业界一个又一个成功,点燃的星星之火,也在 AI 领域燎原。

免责声明:上述内容仅代表发帖人个人观点,不构成本平台的任何投资建议。

精彩评论

我们需要你的真知灼见来填补这片空白
发表看法