|
深度学习范畴发作的很多事情，都和那场太浩湖畔的竞拍有着某种巧妙的联络。 编者按 人工智能再次成为近日全球资本市场最为抢手的投资主题之一，《纽约时报》知名科技记者凯德·梅茨(Cade Metz)的《深度学习反动》精彩而真实地再现了深度学习的延展进程：一群少数派学者，在长期不被主流学术圈认可的状况下，深信深度神经网络会改动世界，经过在黑暗中的持续探求，终于推进了人工智能技术在语音图像辨认、自然言语了解和自动驾驶等诸多范畴取得改动世界的突破性进展，而本文作者，地平线开创人兼首席科学家余凯则以自己的亲身参与记载下了这段阅历中的秘闻与趣事。 一、一封邮件引发的秘密竞拍 《深度学习反动》这本书对我个人来说也有特别的意义，由于其开篇的前言讲述了 10 年前我亲身推进发起的一场竞拍，也是一段尘封的往事：我给杰夫·辛顿(Geoff Hinton)发出的一封电子邮件，招致了一场发作在美国加州太浩湖畔的秘密竞拍。 我在这里顺便弥补一些背景，关于当初我为什么会发出邮件联络辛顿，进而扣 响了深度学习产业改造的发令枪。2012 年4 月，我分开了美国硅谷的 NEC 实验室，回到北京，参与百度，领导百度新成立的多媒体部，包含语音辨认团队和图像辨认团队，这也是后来 IDL(Institute of Deep Learning，百度深度学习研讨院)的前身。那个时分，深度学习在中国还是十分小众的研讨方向，简直没有任何研讨机构关注深度学习。那年 9 月，我特地给百度首席执行官李彦宏演示了我们的一些深度学习项目的进展，他感到十分震惊，没想到往常算法进展得这么快，这改动了他的认知。我记得，他还特地给全公司的产品经理发邮件，要大家关注深度学习的最新进展。 2012年10月，杰夫·辛顿和他的两名学生在 ImageNet 图像辨认竞赛上拿了冠军，并且发表论文引见了冠军算法 AlexNet。这件事关于他人可能只是个新闻，但是对我来说意义特殊！由于我曾经带领 NEC 实验室的研讨团队于 2010 年拿过第一届 ImageNet 竞赛的冠军。我们采用了多层的稀释编码措施——一种非监视的卷积深度学习算法，来提取图像特征，然后用浅层的监视学习措施来做辨认。当时，我们也试过监视学习的卷积神经网络，但是锻炼很难收敛。所以，我应该是世界上最了解辛顿团队用卷积神经网络赢得 ImageNet 竞赛这件事的重要意义的人。当时我感到兴奋不已，就像触电了一样，于是立刻写电子邮件给辛顿，迫切地表白了要和他深化协作的想法。 二、百度的第一次报价：1200 万美圆 辛顿很快就回复了，说很愿意协作，但是希望百度能提供一些研讨经费。我说没问题，大约需求多少钱？辛顿说，大约 100 万美圆吧。我于是去找首席执行官李彦宏，对他说我希望有足够的经费支持辛顿与百度在深度学习研讨方面展开协作，李彦宏十分支持。于是，我就回复辛顿说没问题，百度很愿意出研讨经费。他一方面表示感激，一方面很绅士地问我，能否介意他也去问一下谷歌的兴味。我当时有点儿后悔，猜我可能回答得太快了，让辛顿认识到了庞大的机遇。但是，我也只能大度地说不介意。 结果，他不只问了谷歌，还问了其他一些公司。大约 11 月 的时分，他通知我，还有几家公司表示要和他协作，而且他注册了一家公司，叫 DNNresearch，准备让各家竞争者以秘密竞拍的方式来做团队收买。 我心里想，辛顿真是聪明，不只会做研讨，还很有生意头脑。12 月初，我飞往美国旧金山，租了一辆车，开车去了太浩湖，参与一年一度的机器学习顶级盛会 NIPS(Neural Information Processing Systems，神经信息处置系统大会)， 同时在那里与另外三家公司一同竞拍杰夫·辛顿的团队。我时辰与李彦宏以及时任百度投资副总裁的汤和松坚持沟通，并且代表百度做了第一次报价——1200 万美圆。 三、三家竞拍对手：谷歌、微软和？ 我当时百分之百地确信另外三家竞拍对手里一定有谷歌，还有一家我猜大约率是微软，但不是百分之百确信，直到竞拍后，我在从旧金山回北京的航班上碰到微软研讨院的学者邓力博士。我和邓力属于业界很早的一批认识到深度学习重要性的学者，曾经是多年的朋友了。我们俩于是在飞机上聊天，拐弯抹角地想搞分明对方公司是不是参与了竞拍。固然我们谁也不说出实情，但是下飞机的时分，我们俩都曾经百分之百确信对方公司是竞拍对手之一。 10 年来，我不时猜不到第三家竞拍对手是谁。我当时觉得可能是 IBM(国际商业机器公司)或者 Nuance(语音辨认技术公司)，但是读了《深度学习反动》之后，我才豁然开朗。《深度学习反动》作者凯德·梅茨采访了参与竞拍的简直一切人，恢复了整个事情的全貌。其中一些有趣的细节，连我也是读了这本书才知道的，由于当年每个参与竞拍的人都不知道其他家的底牌。 百度的第三家竞拍对手居然是 DeepMind！它当时还是一家成立仅两年的名不见经传的小型初创公司，居然要出价收买“深度学习之父”杰夫·辛顿的公司，可见当年 DeepMind 的首席执行官戴密斯·哈萨比斯(Demis Hassabis)有何其远大的雄心和志向，难怪后来 DeepMind 推出了震惊世界的 AlphaGo(阿尔法围棋)。最近，DeepMind 又在《自然》杂志上发表论文，他们用强化学习技术发现了 50 年来最快的矩阵乘法算法。 有些细节披露，让我既觉得有趣，又慨叹万千，有的披露令我忍俊不由，好比，由于担忧影响拍卖价钱，辛顿和他的两名学生在太浩湖哈拉斯赌场酒店 731 房间里手忙脚乱地掩盖老教授当时糟糕的健康状况，而当时我敲门的时分完整不知道；再好比，我分开时把背包落在了他们房间里，他们三人还犹疑着要不要翻开我的包，看看我出价的底牌…… 四、少数派学者的胜利：深度学习崛起十年 说了这么多，当年秘密竞拍的最终结果还没有通知大家——谷歌从 4 家竞争公司中脱颖而出，以 4400 万美圆的价钱胜利地收买了杰夫·辛顿和他的两名学生组成的研讨团队。这也随后拉开了百度、谷歌、微软、DeepMind和英伟达等全球高科技公司竞相重度投资深度学习技术研发，并展开猛烈的人才竞争的序幕。 而在那次事情之前，深度学习基本上还是在象牙塔里的纯学术研讨，并不被众多科技公司注重。所以，这次秘密竞拍事情能够说是深度学习推进全球科技产业改造的“发令枪”。 在过去的 10 年里，深度学习改动了人工智能，也改动了世界。参与那场拍卖的大部分人今天都还生动在科技的舞台上。2019 年，杰夫·辛顿与约书亚·本吉奥(Yoshua Bengio)、杨立昆(Yann LeCun)共同取得了计算机范畴的最高奖— 图灵奖。 他的两名学生之一伊利亚·萨特斯基弗（(Ilya Sutskever)）——后来与埃隆·马斯克等人分离创建了著名的 OpenAI(人工智能研讨公司)，打造了在强化学习范畴简直与 DeepMind 齐名的研讨机构（OpenAI正是推出ChatGPT的机构）。 辛顿不时都十分感激我，有一次我在加拿大温哥华的一场学术会议上碰到他，他十分热情地请我去餐馆吃饭。 代表微软参与了竞拍的邓力博士，后来成为世界上最大的对冲基金之一— Citadel(城堡投资)的首席人工智能科学家。DeepMind 后来被谷歌收买，公司开发的 AlphaGo 震惊了全世界，激起了无数人对人工智能的热情。 最让我感动的是，阅历过那场竞拍的大部分人到今天都在努力斗争着，没有人懈怠或躺在功劳簿上，包含我自己，2015 年创建的地平线今天也成为行业里有影响力的科技企业。我们这些人都对人工智能的无限可能充溢着孩童般的猎奇，每天享用着技术改动世界带来的乐趣和满足感，并经过技术和产品让这个世界变得愈加美好。 深度学习范畴发作的很多事情，包含我自己的职业生活和创业阅历，都和那场太浩湖畔的竞拍有着某种巧妙的联络。《深度学习反动》这本书并不是偏重在讲一个个研讨成果的技术概念，而是在讲推进这些研讨进展的背地这群人。人工智能范畴最近取得的突飞猛进的进展，关键就在于有一群顽固、热情和心爱的研讨者。任何巨大的成就，其可贵之处都在于人的精神。 书名：《深度学习反动：从历史到未来》 作者：凯德·梅茨（Cade Metz） 译者：桂曙光 出版社：中信出版集团 文｜余凯 编辑｜喻舟 （本文内容仅供参考，投资倡议不代表《巴伦周刊》倾向；市场有风险，投资须谨慎。） |
名表回收网手机版
