自动驾驶量产落地的应许之地
遇见中国造车新势力
正当马斯克为 FSD 算法的实现而愁眉不展的时候， $英伟达(NVDA)$ 英伟达自动驾驶业务的落地也一度遭遇挑战——幸运的是，它遇见了有进取心的中国新势力车企。
这与整个自动驾驶行业当时面临的商业落地困境密切相关。其实，在 2018 年到 2019 年，整个自动驾驶创业陷入到一片寒冬之中；作为自动驾驶算力基础设施的提供者，英伟达也不可避免地受到了大环境的影响，其股价也在 2018 年下半年到 2019 年出现了回落的情况。
不过，创业公司们所鼓吹的 L4 固然是遥不可及，但是车企们所采用的渐进式 L2 路线依旧是大有可为的，毕竟，财力雄厚的汽车厂商们也需要拥抱科技的趋势，尽管它们的节奏不那么快。所以，自然而然地，英伟达又开始从 L2 级别的渐进式路线出发，关注具备量产能力的车企。
这时候，英伟达发现，除了特斯拉，符合其落地需求的车企，只能在中国找到。
这背后的原因是，尽管当时英伟达与一众国际汽车巨头达成了合作关系，但是这些巨头在自动驾驶方面的布局更多停留在研究层面，而对量产落地的热情并不算高，投入并不大；不仅如此，这些车企在软件和算法层面的能力也相对比较欠缺，短期内也不具备推进自动驾驶大规模商业落地的能力。
对比来看，那段时间里，反而是处于创业阶段的中国造车新势力品牌，尤其是小鹏、蔚来和理想这三家，一直非常积极地寻求在智能化层面的突破——尤其是在智能驾驶层面，虽然它们在起步阶段上也都采用了 Mobileye 的方案，但它们也在发展过程中不断强调自研自动驾驶算法的重要性，从而打造自身的核心竞争力。
恰好，基于自身业务的开放性，英伟达不仅不限制车企自研自动驾驶算法，而且还为它们提供了很好的底层和软件支持（当然，英伟达的方案也不是没有缺点，那就是贵）。
于是，这些具备较强软件和算法能力的中国新势力车企，成为了英伟达自动驾驶商业落地的重要合作伙伴——反过来看，如果没有英伟达提供的算力基础和开放商业模式，这些新势力车企在寻求算法自研时也并不会那么容易。
在这些新势力车企中，在自研算法层面最为激进的，是小鹏汽车。
也因此，小鹏早在 2018 年 11 月就宣布与英伟达基于 DRIVE Xavier 计算平台的合作——到了 2020 年 4 月，搭载了英伟达 DRIVE Xavier 自动驾驶计算平台的小鹏 P7 终于上市。
需要说明的是，在这次的落地项目中，英伟达提供了芯片和底层的软件技术支持，而小鹏汽车作为主机厂，则全面掌握了从感知到决策层面的自动驾驶算法和数据。
至此，继英伟达 DRIVE PX 2 在特斯拉上落地之后，它的迭代产品 DRIVE Xavier 终于在一台量产车上成功落地。
为何 Transformer+BEV 成为范式？
2020 年前后，伴随着 AI 和自动驾驶技术的落地逐渐与中国汽车行业电动化、智能化的发展趋势相融合，以及中国造车新势力的出现，中国市场越来越成为自动驾驶落地的一片热土。
一个典型的案例是，2019 年 12 月，在举行于苏州的英伟达 GTC CHINA 大会上，黄仁勋首次对外宣布了新一代的自动驾驶汽车平台 DRIVE Orin 芯片，它同样是一颗 SoC 芯片，算力是上一代 Xavier 系统级芯片性能的 7 倍，理论上能够支持 L2 到 L5 的扩展。
从商业落地的角度来看，与上代产品相比，DRIVE Orin 被中国的造车新势力们接纳的速度要快得多。
2020 年 4 月，小鹏汽车宣布与英伟达继续合作，其下一代智能纯电车型将继续搭载英伟达的 AI 自动驾驶计算平台；随后理想汽车也宣布将在 2022 年推出的全尺寸增程式 SUV 上使用 DRIVE Orin 芯片。而蔚来则更加简单直接，它在后来发布的 ET7 车型中，直接宣布搭载 4 颗 DRIVE Orin 芯片，最高可实现 1,016 TOPS 的算力。
至此，中国造车新势力的三家代表车企「蔚小理」，都敲定了英伟达 DRIVE Orin 芯片的量产落地项目。
这里需要说明的是，在英伟达与「新势力车企」达成合作的同时，中国本土已经出现了一批为自动驾驶提供算力的芯片创业公司，其中的佼佼者正是（曾在 2012 年参与「竞标」 AlexNet 三人组的）余凯在离开百度后创办的地平线——它的芯片产品在 2020 年成功落地在长安汽车上，后来又在 2021 年搭载在理想 ONE 上，并为理想汽车的高速 NOA 功能提供了算力基础。
当然，在创业公司之外，还有一家不可忽略的玩家是中国科技巨头华为。
实际上，华为在 2019 年成立了华为智能汽车解决方案 BU，并且将自身在芯片、云计算、软件等各个领域的能力面向智能汽车进行赋能，而智能驾驶成为重中之重——其中，基于华为自研升腾 AI 芯片的 MDC 智能驾驶计算平台成为华为的「杀手锏」。
然而，算力只是基础，要真正地发挥算力，需要的是算法层面的突破。
巧合的是，到了 2021 年下半年，正当这些车企们的自动驾驶部门都在密集开展自己的自动驾驶算法研究的时候，特斯拉 $特斯拉(TSLA)$ 在 AI Day 2021 中谈到的 Transformer + BEV 方案横空出世，开始在自动驾驶领域引发讨论、关注、跟随。
这里需要强调的是，特斯拉并非是唯一一家注意到 Transformer 在计算机视觉和自动驾驶领域潜力的公司，实际上，在大洋彼岸的中国，也有不少公司盯上了 Transformer，比如说毫末智行在 2021 年 3 月其实就已经开始尝试将 Transformer 应用于感知算法中。
对此，一位自动驾驶芯片的从业者评价称：
与国内的企业相比，特斯拉真正强大的一点，是它能够把最前沿的技术拿过来做工程化，比如说 Transformer。也就是说，很多技术方案都是来自于学术界的原创，有靠谱的，也有不靠谱的；但是他们总是能够用最快的速度把这些论文拿到工业场景中去验证，并且让它们的价值发挥出来。其他公司的话，如果去把数百篇学术论文去落地验证，可能代价比较大。而特斯拉做完之后，实际上是帮助整个行业做了验证工作。这是它对行业的贡献。
于是，得益于 2021 年特斯拉 AI Day 对于整个行业在算法层面的启发，Transformer 也在大洋彼岸的中国受到重视，不少车企和算法公司也纷纷开始基于它来做算法改进。
实际上，在特斯拉之后，包括小鹏、理想和蔚来在内的车企和类似于华为、毫末智行这样的自动驾驶方案提供商，都对自己的算法架构进行了一次重写，并且在重写过程中采用了类似于特斯拉所采用的 Transformer 和 BEV 的技术路径——值得一提的是，由于后发优势，「蔚小理」三家架构重写所用的时间都比特斯拉短。
有意思的是，在意识到 Transformer+BEV 在自动驾驶量产落地方面的重要性之后，英伟达、地平线等芯片供应商也都基于 Transformer 做了大量基于软件框架适配层面的工作，比如说英伟达为 Transformer 开发了一款专用引擎，而地平线提出了基于 BEV+Transformer 的端到端的算法算法框架。
由此，Transformer+BEV 的方案，成为一众车企们在自动驾驶走向量产落地的过程中纷纷采用的一条范式路径。
虽已分道扬镳，也能不时重逢
2022 年，在量产落地成为主旋律的大背景下，自动驾驶也在不断寻求新的技术创新突破。
在量产落地层面，蔚来、理想和小鹏都一致选择了英伟达 DRIVE Orin 芯片，并在 2022 年落地了各自的关键车型——就这样，在智能化开始逐渐触及到用户购车决策的情况下，英伟达的 DRIVE Orin 已经牢牢占据了智能驾驶计算平台的高端位置。
尽管如此，英伟达并不停留于此。
2022 年 9 月 20 日，英伟达面向汽车智能化领域发布了下一代的 SoC，命名之为 DRIVE Thor。这是一颗单芯片算力能够达到 2000 TOPS 的性能怪兽——有意思的是，Thor 专门增加了对 Transformer 模型的支持 。
伴随着 DRIVE Thor 的发布，英伟达不惜直接让在 GTC 2021 上就已经发布的 DRIVE Atlan「胎死腹中」。这背后的其中一个原因是：汽车行业智能化和智能驾驶的算法演进，太快了。
同时，DRIVE Thor 的发布，其实考虑到了一个汽车行业的大背景：伴随着电动化、智能化的大趋势，汽车的电子电气架构正在快速变化，从分布式计算走向域融合乃至中央计算。
因此，Thor 的定位是一个汽车中央计算平台，集成了智能汽车领域所有 AI 计算需求，包括智能驾驶、主动安全、智能座舱、自动泊车、车载操作系统、信息娱乐等。
有意思的是，在 Thor 发布的当天，不甘落后的极氪宣布进入到 Thor 的合作名单，预定了 2025 年的量产首发。
当然，在算力持续突破的同时，算法层面也迎来了新的突破。
就在英伟达发布 Thor 十天之后，特斯拉举行了 2022 年度 AI Day。其中在感知算法层面，占用网络（Occupancy Network）开始成为一个热门词汇，其核心能力是实现对通用障碍物的识别——毕竟，仅仅拥有 BEV 是不够的。
在占用网络之外，特斯拉还介绍了一个在 2020 年就被提出来的算法 NeRF，它可以与占用网络高度配合，实现在车辆周围环境的 3D 渲染。此外，在 2022 年 AI Day 上，特斯拉还花了不少时间介绍了在自动驾驶感知之外的一些关于规划等任务的新算法。
值得一提的是，2022 年的 AI Day ，站在台上代表特斯拉演讲的，已经不再是 Andrej Karpathy。
原来，Andrej Karpathy 本人已经在 2022 年 3 月提出休假申请，后来又在数个月之后宣布从特斯拉离职。关于离开特斯拉，Andrej Karpathy 自己给出的原因是自己不喜欢做管理，而是希望专注于 AGI。
那么，除此之外，Andrej Karpathy 离职是否还会有别的原因呢？
一位做自动驾驶的工程师告诉我们：
Andrej Karpathy 在特斯拉期间是把自动驾驶做到了 0 到 70 分的水平，这需要大量的创造性，也是像 Andrej Karpathy 这样的顶级 AI 人才更愿意去做的事情；但是在 BEV+Transformer 之后，特斯拉在自动驾驶方面要做的就是 70 分到 80 分这样的工作，比如说解决各种各样的 Corner Case，这在 Andrej Karpathy 看来并不是一件性感的事情，所以他就选择离开。
另外一位从事于自动驾驶算法的技术专家告诉我们，Andrej Karpathy 之所以选择离开，还有一个潜在的原因是：他与马斯克在自动驾驶的技术路线方向上可能发生了分歧。
这位专家表示，特斯拉在做的端到端模型，目前来看并不是 GPT；但是其实 Andrej Karpathy 可能更愿意走 GPT 这条路，因为在驾驶场景中，对于语义的理解也是比较关键的，而且这条路也是比较好的一条路线——如果 Andrej Karpathy 坚持做 GPT，但这个事情不被马斯克认可，这可能也是 Andrej Karpathy 选择离开的原因。
当然，无论如何，Andrej Karpathy 的离开，没有阻断马斯克继续探索自动驾驶的步伐。
实际上，推送两年半后，FSD Beta 在用户层面已经积累了越来越多的里程数——但同时，马斯克一方面在推进新一代更加强大的自研 FSD 芯片（即 HW4.0）的落地，另一方面也在算法层面不断关注新的更好的技术路径。
比如说，在以往的 FSD 算法之外，马斯克还在不断关注自动驾驶算法的端到端（End to End）实现，这是一种新的范式，它整体涵盖了感知、预测、规划、控制等环节，更加接近人类驾驶的方式。
有意思的是，马斯克最近多次强调的自动驾驶端到端的理念，正是由一篇发表于 2016 年的论文《End to End Learning for Self-Driving Cars》开端的——而发表这篇论文的，正是当年正在奋力进入到自动驾驶领域的英伟达。
所以，特斯拉和英伟达之间，即使是分道扬镳，也总能不时相逢。
AI 的 iPhone 时刻 & 特斯拉的 ChatGPT 时刻
2023 年 2 月，Andrej Karpathy 宣布了他职业生涯的下一站：OpenAI。
这其实不难理解。毕竟 OpenAI 在 2022 年 11 月底发布 ChatGPT 后，已经成为全世界最受关注的 AI 公司——更重要的是，ChatGPT 的推出，以及 GPT-4 的发布，让整个行业看到了一条能够通向 AGI（通用人工智能）的道路。
而 AGI 一直在 Andrej Karpathy 的关注视野中。
不仅如此，即使是在特斯拉任职期间，Andrej Karpathy 也一直保持对 GPT 的密切关注。一个典型的证据是，在 2020 年 8 月，GPT-3 正风靡全球，而 Andrej Karpathy 在重写特斯拉 Autopilot 算法架构的关键过程中，他依旧用自己的业余时间写了一个小型的 GPT 训练库，并称之为 minGPT。
所以，当 ChatGPT 横空出世之后，Andrej Karpathy 重新回到 OpenAI，完全是有迹可循的。
对于 OpenAI 取得的突破，英伟达也感到非常兴奋——在 2023 年 3 月份举行的 GTC 大会上，面对 ChatGPT 的一夜爆火，黄仁勋表示：
AI 的 iPhone 时刻已经开始。初创公司竞相构建具有颠覆性的产品和商业模式，老牌公司则在寻求应对之策，生成式 AI 引发了全球企业制定 AI 战略的紧迫感。
然而，对于 OpenAI 和 ChatGPT 所引发的这一波 AI 热潮，马斯克的态度是复杂的。
一方面，无论是作为特斯拉 CEO，还是作为推特老板，面对新一轮的 AI 科技热潮，马斯克都选择用自己的方式拥抱，比如说积极购买 GPU。
他在 4 月份的财报电话会议中表示，特斯拉将继续大量购买英伟达的 GPU。不仅如此，马斯克在推特上确认，推特采购了大约 10,000 个英伟达计算 GPU，并表示如今包括特斯拉和推特在内的所有公司都在购买 GPU，以用于计算和人工智能。
但另一方面，虽然 OpenAI 是马斯克本人发起的机构，但是因为种种原因，他与 OpenAI 分道扬镳；而 OpenAI 接受了微软的投资后，也不再坚持开源定位，而变成一家不再「Open」的商业公司——这让马斯克很失望。
在一次采访中，马斯克谈到了特斯拉和 ChatGPT，他表示：
我认为特斯拉也会迎来一个所谓的「ChatGPT 时刻」，就算不是今年，我认为也不会迟于明年。突然之间，300 万辆特斯拉汽车可以自己驾驶……然后是 500 万辆，然后是 1000 万辆……如果我们颠倒彼此的位置，特斯拉来做一个输出结果不弱于 ChatGPT 的大语言模型，而微软和 OpenAI 去做自动驾驶，我们把彼此的任务互换。毫无疑问地，我们会赢。
可见，在马斯克看来，特斯拉的自动驾驶其实也正迎来一个非常关键的时刻，虽然它更加艰难，但它会像 ChatGPT 一样迎来一次爆发和质变。
其实，在美国本土的自动驾驶赛道上，特斯拉是颇为孤独的——好在，ChatGPT 带来的这波 AI 热潮，在大洋彼岸的中国受到了车企和算法公司们的密切关注，并开始布局。
举例来看：
小鹏汽车表示，GPT 对于小鹏短期、中期、长期都会有影响，长期来看，GPT 在本地部署加云端加成之后，将有助于智能汽车从 L4 向 L5 的方向发展。
蔚来管理层也在多个场合强调，以 GPT 为代表的大模型最好的落地场景就是汽车上。
理想汽车 6 月份宣布在「理想同学」中加入了其自研的 Mind GPT，支持声纹识别、内容识别、方言识别、出行规划， AI 绘画、AI 计算等功能。
在这些备受关注的车企之外，类似于华为、毫末智行、商汤科技这样的自动驾驶算法方案公司也在深入探索 Transformer 和 GPT 在自动驾驶领域的诸多可能——同时，在 Transformer 大框架下，一些自动驾驶领域的最新研究成果也在中国诞生。
值得一提的是，在最新一届的计算机视觉领域国际顶级会议 CVPR 上，诞生了有史以来第一篇以自动驾驶为主题的最佳论文，这篇论文是《Planning-oriented Autonomous Driving》 ，由来自中国的上海人工智能实验室、武汉大学、商汤科技团队联合发表。
这篇论文主要介绍的是 UniAD（Unified Autonomous Driving algorithm framework，一体化自动驾驶算法框架）。具体来说，它将自动驾驶算法中的感知、预测、规划等诸多模块，统合到一个以任务为导向的端到端框架中，该框架同样基于 Transformer。
虽然还没有在量产落地层面得到充分验证，但是就这篇论文的意义而言，一位在某新势力车企进行自动驾驶量产落地工作的业内人士，称之为「自动驾驶之光」。
当然，这一次的「自动驾驶之光」，是属于中国的。
路还很长，还有人在求索
其实，「自动驾驶」作为一个概念，已经存在了近百年。
1925 年 8 月，一辆名为「美国奇迹」（American Wonder）的钱德勒汽车出现在繁华的纽约街头，它没有驾驶员，却能通过一套无线电装置控制车辆，实现加速、减速、转弯等操作——这是人类历史上首辆「自动驾驶」车辆。
此后，它一直在等待一个真正走向现实的落地机会。
2012 年，伴随着 AI 和深度学习的爆发，一批先行者终于看到了自动驾驶在汽车产业中大规模落地的可能性；由此 AI 和自动驾驶相携而行，在过去十年迎来了一个巨大的发展过程。
从 AlexNet 到 ChatGPT，AI 的发展在十年间，迎来了一个「奇点」式的质变。
与此同时，从马斯克宣布特斯拉进军自动驾驶，到如今特斯拉的「ChatGPT」时刻，十年时间里，自动驾驶再也不是一个假大空的、遥不可及的概念——而是伴随着导航辅助驾驶在高速场景和城市场景中的落地，逐渐体现出它的潜在价值空间。
回头来看，这个发展过程，完全可以用「星光璀璨」来形容。
实际上，在 AI 和自动驾驶交织前进的过程中，那些璀璨的星光，是由引领、推动、参与这个行业里的企业和人物共同发出的。其中，技术和商业模式的创新固然是一个关键维度，但我们不能忽略——自动驾驶的规模量产在本质上是一个工程落地问题，所以工程落地的作用也是厥功甚伟的。
这个过程中，以英伟达和特斯拉为代表的美国科技巨头当然扮演了从 0 到 1 的先行者角色；但是，以小鹏、蔚来和理想为代表的中国造车新势力车企和以华为、地平线、毫末智行、商汤科技、大疆车载为代表的自动驾驶方案提供者，则是在学习、跟随和探索中走出了另外一条更加宽阔的自动驾驶落地之路。
当然，目前来看，这条路还很长，还远远看不到尽头，还有可能越来越崎岖，越来越费力——而且已经有人选择了离开。
但是，依旧还有很多人，在这条路上继续求索。
比如说，马斯克依旧在寻找比 Transformer 更高效的算法，英伟达还在探索中央计算架构和端到端的落地机会；而中国的新势力车企和自动驾驶公司们，也在落地实践中不断寻找基于中国实际道路场景下的全新技术路径和商业模式，并且取得了不少突破……
在这些辛勤耕耘的从业者眼中，自动驾驶并不仅仅是一个值得努力实现的技术问题，它也是通过科技发展赋能于汽车行业、帮助人类出行安全的一种方式——甚至于，对于不少工程师来说，它更像是一种信仰。
2022 年 10 月，Andrej Karpathy 在离开特斯拉数个月后，接受了知名科技博主 Lex Firdman 的采访。其中在谈到「自动驾驶的可实现性」时，二人进行了一段非常有意思的对话：
L：这就像，你在爬山，虽然有雾，但你也在不断取得很大的进展。A：有雾，你正在取得进展，并且你看到接下来的方向是什么。你看着剩下的一些挑战，它们并没有干扰你，它们没有改变你的哲学，而且你没有扭曲自己。你会说，实际上这些就是我们仍然需要做的事情。
也许终有一天，在穿越重重迷雾之后，有一波人会率先爬上「自动驾驶」这座曾经遥不可及的山峰——然后回望自己曾经走过的路，庆幸自己一直在坚持前进。
本文参考资料：
[01] ImageNet Classification with Deep Convolutional Neural Networks
[02] Tesla moves ahead of Google in race to build self-driving cars, FT
[03] Andrej Karpathy on the visionary AI in Tesla's autonomous driving
[04] Software 2.0, Andrej karpathy
[05] Automatic Parking Based on a Bird’s Eye View Vision System
[06] Pseudo-LiDAR from Visual Depth Estimation: Bridging the Gap in 3D Object Detection for Autonomous Driving
[07] Attention is All You Need
[08] End-to-End Object Detection with Transformers
[09] End to End Learning for Self-Driving Cars
[10] Planning-oriented Autonomous Driving
[11] Andrej Karpathy: Tesla AI, Self-Driving, Optimus, Aliens, and AGI | Lex Fridman Podcast
[12] Elon Musk: Neuralink, AI, Autopilot, and the Pale Blue Dot | Lex Fridman Podcast
[13] Tesla CEO Elon Musk CNBC Television Full interview
[14] Tesla Autonomous Day 2019
[15] Tesla AI Day 2021/2022
精彩评论
自动驾驶同样不可能实现