+关注
hyc
暂无个人介绍
IP属地：江苏
25
关注
0
粉丝
0
主题
0
勋章
主贴
热门
hyc
2021-07-01
这篇文章不错，转发给大家看
特斯拉AI Day前瞻：纯视觉FSD背后的哲学
hyc
2019-08-10
$Taronis Technologies Inc.(TRNX)$
每天资金尽流出是个什么意思？
去老虎APP查看更多动态
{"i18n":{"language":"zh_CN"},"userPageInfo":{"id":"3474189237762458","uuid":"3474189237762458","gmtCreate":1511096717463,"gmtModify":1511096717463,"name":"hyc","pinyin":"hyc","introduction":"","introductionEn":null,"signature":"","avatar":"https://static.laohu8.com/default-avatar.jpg","hat":null,"hatId":null,"hatName":null,"vip":1,"status":2,"fanSize":0,"headSize":25,"tweetSize":2,"questionSize":0,"limitLevel":900,"accountStatus":3,"level":{"id":1,"name":"萌萌虎","nameTw":"萌萌虎","represent":"呱呱坠地","factor":"评论帖子3次或发布1条主帖（非转发）","iconColor":"3C9E83","bgColor":"A2F1D9"},"themeCounts":0,"badgeCounts":0,"badges":[],"moderator":false,"superModerator":false,"manageSymbols":null,"badgeLevel":null,"boolIsFan":false,"boolIsHead":false,"favoriteSize":0,"symbols":null,"coverImage":null,"realNameVerified":"success","userBadges":[{"badgeId":"e50ce593bb40487ebfb542ca54f6a561-4","templateUuid":"e50ce593bb40487ebfb542ca54f6a561","name":"明星虎友","description":"加入老虎社区2000天","bigImgUrl":"https://static.tigerbbs.com/dddf24b906c7011de2617d4fb3f76987","smallImgUrl":"https://static.tigerbbs.com/53d58ad32c97254c6f74db8b97e6ec49","grayImgUrl":"https://static.tigerbbs.com/6304700d92ad91c7a33e2e92ec32ecc1","redirectLinkEnabled":0,"redirectLink":null,"hasAllocated":1,"isWearing":0,"stamp":null,"stampPosition":0,"hasStamp":0,"allocationCount":1,"allocatedDate":"2023.05.13","exceedPercentage":null,"individualDisplayEnabled":0,"backgroundColor":null,"fontColor":null,"individualDisplaySort":0,"categoryType":1001}],"userBadgeCount":1,"currentWearingBadge":null,"individualDisplayBadges":null,"crmLevel":1,"crmLevelSwitch":0,"location":"江苏","starInvestorFollowerNum":0,"starInvestorFlag":false,"starInvestorOrderShareNum":0,"subscribeStarInvestorNum":0,"ror":null,"winRationPercentage":null,"showRor":false,"investmentPhilosophy":null,"starInvestorSubscribeFlag":false},"baikeInfo":{},"tab":"post","tweets":[{"id":151876637,"gmtCreate":1625075131029,"gmtModify":1625075131029,"author":{"id":"3474189237762458","authorId":"3474189237762458","name":"hyc","avatar":"https://static.laohu8.com/default-avatar.jpg","crmLevel":1,"crmLevelSwitch":0,"followedFlag":false,"idStr":"3474189237762458","authorIdStr":"3474189237762458"},"themes":[],"htmlText":"这篇文章不错，转发给大家看","listText":"这篇文章不错，转发给大家看","text":"这篇文章不错，转发给大家看","images":[],"top":1,"highlighted":1,"essential":1,"paper":1,"likeSize":0,"commentSize":0,"repostSize":0,"link":"https://laohu8.com/post/151876637","repostId":"2147893857","repostType":2,"repost":{"id":"2147893857","kind":"news","pubTimestamp":1625011389,"share":"https://www.laohu8.com/m/news/2147893857?lang=&edition=full","pubTime":"2021-06-30 08:03","market":"hk","language":"zh","title":"特斯拉AI Day前瞻：纯视觉FSD背后的哲学","url":"https://stock-news.laohu8.com/highlight/detail?id=2147893857","media":"林菁扬","summary":"特斯拉早已All in纯视觉。无论是去掉毫米波雷达，还是斥巨资打造专有的超级计算机——1组4个A100加速卡组成的DGX机柜就要卖14.9万美元，而特斯拉目前已经用了5760个。","content":"<html><body><p>根据马斯克的预告，一个月之后，<a href=\"https://laohu8.com/S/TSLA\">特斯拉</a> 2021 AI Day 就将到来。</p>\n<p>我们不知道届时特斯拉会发布什么黑科技，但我们知道，马斯克届时一定会为纯视觉自动驾驶路线作出详尽的解释，顺便立下足够吓人的 flag。</p>\n<p>早在一个月之前，特斯拉就宣布，北美市场的 Model 3/Y 将不会再配备毫米波雷达和超声波雷达，仅标配摄像头。 </p>\n<p>纯视觉自动驾驶，无疑是特斯拉对汽车行业的新一次挑战，甚至对自己推动的浪潮，也是一次「不破不立」。 </p>\n<p>特斯拉一直是激光雷达的反对者，马斯克屡次在推特 diss 激光雷达阵营，并多次强调纯视觉路线的优越性。 </p>\n<p><span>《任何依赖激光雷达的人都注定失败》</span></p>\n<p>特斯拉 AI 部门高级主管 Andrej Karpathy 说的<strong>「人类开车不是靠双眼发射激光」，同样是经典。</strong></p>\n<p>但除了金句、flag，特斯拉一直没有说明白，<strong>纯视觉自动驾驶背后究竟有怎样的思考？为什么全世界都在加码的激光雷达路线，在特斯拉这里这么不受待见？</strong></p>\n<p>直到最近，在 2021 CVPR 国际计算机视觉与模式识别会议上，Andrej 用一场时长 38 分钟的在线演讲，放出了足够多的干货，于是<strong>我们再次得以一窥特斯拉</strong><strong> AI Day </strong><strong>。</strong></p>\n<p>今天的推送当然会枯燥，但也没那么索然无味。</p>\n<p>因为，想要把特斯拉坚定站在纯视觉路线的理由说清楚，反而不能过分执着于技术名词。<strong>逻辑、思考</strong>，则是更形而上学，也更通俗易懂的叙述方式。</p>\n<h2><strong>纯视觉</strong><strong> FSD </strong><strong>背后的哲学</strong> </h2>\n<p>两年两个月之后，Andrej 把那句「名言」OTA 到了最新版本： </p>\n<p><strong>「人类依赖视觉开车，而我们大脑里的</strong><strong>‘</strong><strong>深度学习网络</strong><strong>’</strong><strong>，很明显是有能力处理视觉数据输入，并理解身边所有物体视觉深度和速度的」。</strong> </p>\n<p>是的，特斯拉的自动驾驶依然带着浓浓的第一性原理味道。人类如何坐到方向盘后面，Autopilot 就照样再做一次。 </p>\n<p>特斯拉相信的，是<strong>人类既然可以通过视觉信息</strong><strong>+</strong><strong>大脑处理，成为一个合格的驾驶者。那么摄像头</strong><strong>+</strong><strong>深度学习神经网络</strong><strong>+</strong><strong>计算硬件，也可以达到类似的效果。</strong></p>\n<p>于是特斯拉需要证明三个有关纯视觉 FSD 的命题：<strong>观察世界的能力、理解交通的能力、处理场景的能力。</strong></p>\n<p> <strong>1.</strong><strong>先来说说「观察」。</strong> </p>\n<p>摄像头可以做到人类眼睛的程度吗？Andrej 的原话是：「unequivocal yes 绝对可以」。 </p>\n<p>两个半月之前，马斯克在推特上这么说：「当雷达和视觉不一致时，你会相信哪一个？视觉具有更高的精度，所以最好是加注视觉路线，而不是多传感器融合。」 </p>\n<p>马斯克后来解释称，传感器的本质是比特（bit）数据流，而摄像头每秒传输的比特量比雷达高了几个量级。<strong>「只有显著提升雷达比特数据流的信噪比，才值得去整合它（相较于摄像头）的复杂性。」</strong> </p>\n<p>几个量级这样的表述有点模糊，Andrej 精确了一下：<strong>「</strong><strong>100 </strong><strong>倍」</strong>。 </p>\n<p>「摄像头几乎是在俯视其他传感器，其他传感器甚至开始成为（自动驾驶系统）的累赘」，他这样补充。 </p>\n<p>上图是特斯拉 Autopilot 8 摄像头的画面总览。目前特斯拉使用的摄像头为 1280x960 分辨率，每秒拍摄 36 帧画面，约束数据流的规模大概是 8M bits 每秒。 </p>\n<p>Andrej 表示即使是这样分辨率的摄像头画面，相比其他传感器仍然是<strong>「data rich 数据富裕」</strong>，这也是他们「doubling down 双倍加注」视觉路线的主要原因。</p>\n<p>「我们不希望在雷达堆栈、多传感器融合堆栈上面浪费人力」，他表示现在特斯拉只有一支「vision team 视觉队伍」。</p>\n<p><strong>2. </strong><strong>摄像头的「优越性」，需要规模效应激发。</strong> </p>\n<p>Andrej 举了个例子：Waymo 的自动驾驶测试车。尽管和 FSD Beta 一样都可以做出无保护左转这样的动作，但实现这套动作的硬件底层却大相径庭。 </p>\n<p>Waymo 公开运营的大捷龙长这样，头上有激光雷达： </p>\n<p>Andrej 表示，激光雷达+高精度地图的技术路线，需要大量的前置准备，工作范围被高精度地图限制，并且<strong>「保持更新基础硬件的成本太高」。</strong> </p>\n<p>深度学习需要巨量数据喂养，以覆盖小数点后面无数个 9，所代表的 Corner case，也就是小概率场景。前期成本远高于摄像头的激光雷达路线，很难跟上特斯拉卖车的脚步。</p>\n<p>Andrej 强调称，<strong>特斯拉的纯视觉硬件已经在上百万辆车型上使用，这是其他车企很难复刻的。</strong> </p>\n<p>但「这并不意味着视觉路线更简单，因为纯视觉更依赖深度学习网络——<strong>而深度学习又依赖于数据反馈的规模</strong>」，所以对特斯拉来说，<strong>「</strong><strong>scale</strong><strong>」</strong>才如此重要。</p>\n<p>Andrej 认为，特斯拉解决了规模问题之后，基于深度学习的摄像头「kind of leaving a lot of other sensors in the dust（像是把其他传感器都甩远了）」。 </p>\n<p>「一旦你可以让其（深度学习网络）正常工作，（纯视觉）自动驾驶就可以在世界上任何地方使用」。 </p>\n<p><strong>3. </strong><strong>然后是理解交通的能力。</strong> </p>\n<p>特斯拉认为摄像头是可以和人眼媲美的，且几乎唯一需要的自动驾驶传感器。</p>\n<p>而<strong>如何使车辆与人类一样思考、理解交通</strong>，则是 Autopilot 贯彻「第一性原理」的另一基础。 </p>\n<p>Andrej的原话是「massive data set of depth, velocity acceleration on a lot of cars, and we’re going to train a large enough neural network and do a very good job at that.」 </p>\n<p>中文表达简洁很多：<strong>「足够多有关深度/加速度的（视频）数据，足够多汽车提供这样的数据，训练足够大的神经网络并且做得足够好」。</strong> </p>\n<p>特斯拉的纯视觉方法论，某种程度上很像人类交通探索过程：<strong>开足够多的车（数据）、有足够多的人开车（车辆数）、总结交通法规</strong><strong>+</strong><strong>驾驶培训课程</strong><strong>+</strong><strong>老司机「言传身教」。</strong> </p>\n<p>特斯拉的销量当然不需要担心，交通法规已经非常完善，而特斯拉需要解决的，就剩下最核心的任务——<strong>给</strong><strong> Autopilot</strong><strong>「上驾驶课」。</strong> </p>\n<p>这一过程不仅需要数据的数量，还需要质量。 </p>\n<p>Andrej 表示特斯拉用来训练纯视觉的数据，必须要满足 large（数以百万计）、clean（清晰标注速度/加速度/深度）、diverse（包含大量边缘案例，不是‘无聊’的场景）这三个条件。 </p>\n<p>2019 年 11 月，Andrej 在出席 PyTorch 开发者峰会的时候表示，「现阶段我的团队已经可以在椅子上葛优瘫，然后数据就会从特斯拉的车子上传过来，在神经网络模型上自己不断循环运行」。 </p>\n<p>他将这套流程为<strong>「</strong><strong>Operation Vacation</strong><strong>（运营假期）」</strong>，本质则是精准而高效的数据自动标注能力。</p>\n<p>这样的「假期」，首先体现在高到「变态」的人力效率——Andrej 表示基于目前的神经网络结构，一个深度学习网络所需的工程师数量，<strong>仅有</strong><strong> 20 </strong><strong>个</strong>。 </p>\n<p>有意思的是，Andrej 在演讲中说<strong>「有些场景中，额外的传感器也会用于自动标注，比如雷达」</strong>。 </p>\n<p>自动标注能力不是凭空得来的，Andrej 称最近四个月，团队都在致力于让深度、速度、加速度等信息标注更加高效。 </p>\n<p><strong>4. </strong><strong>理解交通，不仅需要「教材」，还需要「做题」。</strong></p>\n<p>目前 Andrej 的团队总结出 221 个纯视觉「trigger」，也就是触发条件。 </p>\n<p>这 221 个触发条件的解释包含了大量专业术语，事实上大家并不需要完全理解，因为它们的共同作用，都是「从用户驾驶过程中获取多样化场景」。</p>\n<p>它们就是 Autopilot 软件团队为纯视觉自动驾驶准备的「习题」，几乎永不停歇。 </p>\n<p>当然，给纯视觉 FSD 上课，并不像人类驾校的科目一科目二，但特斯拉也有相对固定的流程。 </p>\n<p><strong>首先需要的是「</strong><strong>seed data set </strong><strong>种子数据集」</strong></p>\n<p><strong>然后用它们训练出深度学习网络</strong></p>\n<p><strong>将其以「影子模式」的形式部署至用户车辆中</strong></p>\n<p><strong>深度学习网络做静默预测</strong></p>\n<p><strong>完善深度学习网络偏差溯源机制</strong></p>\n<p><strong>用触发条件获得差异化场景</strong></p>\n<p><strong>部分场景需要经历独立测试</strong> </p>\n<p>大致经历以上流程之后，所有被自动标注（同时保证数据得到清洗）的场景数据，就会成为纯视觉 Autopilot 学习驾驶课程的知识，然后被应用到实际道路上。 </p>\n<p>Andrej 放出了这张 PPT：<strong>7 </strong><strong>轮影子模式迭代流程、</strong><strong>100 </strong><strong>万个</strong><strong> 8 </strong><strong>摄像头、</strong><strong>36 </strong><strong>帧、</strong><strong>10 </strong><strong>秒时长的高度差异化场景、</strong><strong>60 </strong><strong>亿个包含精确深度</strong><strong>/</strong><strong>加速度的物体标注，以及</strong><strong> 1.5PB</strong><strong>（</strong><strong>1PB</strong><strong>＝</strong><strong>1024TB</strong><strong>＝</strong><strong>1024²GB</strong><strong>）数据量。</strong> </p>\n<p>另外，在已释放的影子模式下，<strong>做纯视觉</strong><strong> Autopilot </strong><strong>的验证</strong>，也是深度学习进化的重要环节。 </p>\n<p>这里还是放工作成果吧，Andrej 的 PPT 给出了下面的数字： </p>\n<p>6000 个人工挑选的挑战性片段、70 类不同场景、10000 个模拟场景、相当于 10 年实际时长的 QA 驾驶（quality assurance质量保证），以及影子模式下相当于 1000 年的驾驶时长。 </p>\n<p>目前纯视觉版本已经积累了约 1500 万英里的数据，其中 170 万英里在 Autopilot 启动情况下收集，目前还没有纯视觉版本的事故——Andrej表示<strong>「我们认为事故总是会有的，目前雷达融合版本</strong><strong> Autopilot </strong><strong>的事故率大概是</strong><strong> 500 </strong><strong>万英里一次」。</strong> </p>\n<p>真够凡尔赛的。</p>\n<p><strong>5. </strong><strong>最后是「处理场景的能力」，也就是「算力」。</strong></p>\n<p>文章写到这里，纯视觉 FSD 的第一性原理方法论，来到了最后一关。<strong>特斯拉可以获得视觉数据，可以训练深度网络，唯一欠缺的，就是一颗大脑。</strong> </p>\n<p>这块板子是特斯拉 Autopilot 硬件 3.0，两块显眼的芯片能提供 144TOPS 的 INT8 算力，这已经是量产王者。明年<a href=\"https://laohu8.com/S/NVDA\">英伟达</a>的 Orin 即将上车，单颗芯片算力可以达到 254TOPS，看上去也非常不错。 </p>\n<p>然而它们仍然很难与人脑媲美——说「很难」已经是在夸奖它们了。 于是特斯拉「取巧」了：<strong>人脑不能外借，算力却可以来自别处。</strong></p>\n<p>下面这张 PPT，介绍了特斯拉训练纯视觉深度学习网络，而打造的数据中心。虽然硬件 3.0 算力和人类有差距，但借助数据网络，特斯拉可以以超级计算机的形式，挑战人脑。 </p>\n<p>数据中心的大脑，是<strong>来自英伟达的最新一代 A100 加速计算卡</strong>——的顶配版：A100 80GB Version。 </p>\n<p>整个数据中心里面一共有 720 组计算卡，每组包含 8 张 A100，合计5760 张，Andrej 的 PPT 显示，FP16 精度下，这台超算的算力高达 <strong>1.8EFLOPS</strong><strong>。</strong></p>\n<p>Andrej 表示这<strong>大概是</strong>世界上第五强的超级计算机——之所以达到 1.8EFLOPS 的算力依然没有问鼎全球超算，是因为<strong>特斯拉宣传用的算力标准不一样。</strong> </p>\n<p>目前超级计算机的算力都是按照 FP64 双精度计算，而特斯拉的 1.8EFLOPS 用的是 FP16 精度。 </p>\n<p>按照 FP64 精度计算，特斯拉用的 5760 块 A100，并行算力达到了 55872TFLOPS。 </p>\n<p>这个数字与目前排第 5 的 PERLMUTTER还有差距—— 63460TFLOPS，但我想没有人会挑剔 Andrej 的小小失误，因为这台计算机已经足够惊艳。</p>\n<h2><strong>无超算，不车企？</strong></h2>\n<p>文章的主体已经写得差不多了，下面是有感而发环节。</p>\n<p>为什么特斯拉打造了一台超算？</p>\n<p>因为当下，自动驾驶和人类驾驶的最大差距，已经不是获得视野的能力，却恰是<strong>处理视野的能力。</strong></p>\n<p>CVPR 演讲的最后，Andrej 剧透了一下真正的 Dojo，是的，上文大家看到的<strong>这台由车企打造的超级计算机，还不是</strong><strong> DOJO </strong><strong>本尊，而只是特斯拉纯视觉星辰大海的起点。</strong></p>\n<p>Andrej 表示：<strong>「我们正在推进</strong><strong> DOJO </strong><strong>计划，会将（深度学习计算）带到另一个阶段，但我还没准备好透露更多细节。」</strong><strong> </strong></p>\n<p>「如果关于这个应用（纯视觉自动驾驶）的高性能计算，以及这个疯狂的神经网络让你感兴趣，请联系超级计算团队，如果你可以为特斯拉提供帮助的话，我们会非常感激。」 </p>\n<p>在特吹群体里，DOJO 是一个神圣的词汇。</p>\n<p>每当特斯拉 VS 其他车企的论战掀起帷幕，DOJO 总能成为制胜一击，它甚至是特斯拉鲜为人知的「护城河」——因为它是特斯拉的 1，而其他车企都是 0。</p>\n<p>DOJO，从立项之日起，也许就是特斯拉补全纯视觉 FSD 的最后拼图。<strong>它还是世界上第一台「汽车公司」打造的「超级计算机」</strong>——两个本该风马牛不相及的词语，偏生在 2021 年碰撞出了火花。</p>\n<p>如果上面这台算力巨兽还只是特斯拉「小试牛刀」，那么真正的 DOJO 到底会有多惊艳？</p>\n<p>更重要的是，<strong>再过几年，有没有属于自己的超算，会不会成为衡量一家车企自动驾驶能力的重要标志？</strong> </p>\n<h2><strong>「第一性原理」</strong> </h2>\n<p>标题是「纯视觉 FSD 背后的哲学」，那文章的最后，我们就来聊聊哲学。</p>\n<p>「第一性原理」，这是众所周知的，马斯克的思考准则。 2013 年 12 月 4 日，马斯克接受 innomind 采访时表示：<strong>「我习惯于从物理学的框架上获得结论。物理教会你用第一性原理溯源，而不是用类比。」</strong></p>\n<p>自从特斯拉和 SpaceX 成为各自领域里面的旗帜，马斯克坚持的「第一性原理」被越来越多的人奉为圭臬。 </p>\n<p>早在约 2400 年前，洪荒时期理工男亚里士多德，已经表达过类似的观点：<strong>「在每一系统的探索中，存在第一原理，是一个最基本的命题或假设，不能被省略或删除，也不能被违反。」</strong> </p>\n<p><strong>找到事物唯一的原命题，并解决它</strong>，这就是第一性原理的通俗解释，也是数千年来理工男们改变世界的一种「类信仰」般存在。 </p>\n<p>纵观特斯拉 18 年发展历程，「第一性原理」贯穿其内。 </p>\n<p><strong>「加速世界向可持续能源发展」</strong>，这是马斯克加入特斯拉之后，为其寻找的「原命题」。 </p>\n<p>要实现这样的目标，<strong>特斯拉需要证明可持续能源是「值得发展」的</strong>，于是有了兼顾性能和环保的，堪称汽车「悖论」的 Roadster，以及之后的 Model SEXY，等等。</p>\n<p>自动驾驶，以及堪称「疯狂」的车舱<a href=\"https://laohu8.com/S/5RE.SI\">智能</a>化，则是在电动汽车行业探索多年之后，特斯拉顺理成章的发展方向。 </p>\n<p><strong>智能依然是解决特斯拉原命题的方案</strong>，因为全自动驾驶、高级智能座舱、FOTA...这些只有整车可控的纯电汽车，可以实现。而全自动智能出行，是解放人类生产力的必然选择。</p>\n<p>其实所有人都不知道纯视觉 Autopilot 究竟表现如何，因为它还没经历过千万上亿级公里数、不同国家路况的认证。 </p>\n<p>但我们很清楚地感知到，<strong>特斯拉早已</strong><strong> All in </strong><strong>纯视觉。</strong> </p>\n<p>无论是去掉毫米波雷达，还是斥巨资打造专有的超级计算机——1 组 4 个 A100 加速卡组成的 DGX 机柜就要卖 14.9 万美元，约合人民币 96 万——<strong>而特斯拉目前已经用了</strong><strong> 5760 </strong><strong>个。</strong> </p>\n<p>第一性原理似乎有着神奇的魔力，可以让一群人步调一致、信念统一地钻研、工作，即使其他 99% 的人都在否定，或者至少不看好他们。</p>\n<p>我们无需怀疑特斯拉的认真，只需要检验特斯拉的成果。</p>\n<p><span>本文作者：毓肥，来源：电动星球News，原文标题《特斯拉AI Day前瞻第二集：纯视觉FSD背后的哲学》</span></p><p>风险提示及免责条款</p>\n<p>市场有风险，投资需谨慎。本文不构成个人投资建议，也未考虑到个别用户特殊的投资目标、财务状况或需要。用户应考虑本文中的任何意见、观点或结论是否符合其特定状况。据此投资，责任自负。</p>\n</body></html>","source":"awtmt_stock","collect":0,"html":"<!DOCTYPE html>\n<html>\n<head>\n<meta http-equiv=\"Content-Type\" content=\"text/html; charset=utf-8\" />\n<meta name=\"viewport\" content=\"width=device-width,initial-scale=1.0,minimum-scale=1.0,maximum-scale=1.0,user-scalable=no\"/>\n<meta name=\"format-detection\" content=\"telephone=no,email=no,address=no\" />\n<title>特斯拉AI Day前瞻：纯视觉FSD背后的哲学</title>\n<style type=\"text/css\">\na,abbr,acronym,address,applet,article,aside,audio,b,big,blockquote,body,canvas,caption,center,cite,code,dd,del,details,dfn,div,dl,dt,\nem,embed,fieldset,figcaption,figure,footer,form,h1,h2,h3,h4,h5,h6,header,hgroup,html,i,iframe,img,ins,kbd,label,legend,li,mark,menu,nav,\nobject,ol,output,p,pre,q,ruby,s,samp,section,small,span,strike,strong,sub,summary,sup,table,tbody,td,tfoot,th,thead,time,tr,tt,u,ul,var,video{ font:inherit;margin:0;padding:0;vertical-align:baseline;border:0 }\nbody{ font-size:16px; line-height:1.5; color:#999; background:transparent; }\n.wrapper{ overflow:hidden;word-break:break-all;padding:10px; }\nh1,h2{ font-weight:normal; line-height:1.35; margin-bottom:.6em; }\nh3,h4,h5,h6{ line-height:1.35; margin-bottom:1em; }\nh1{ font-size:24px; }\nh2{ font-size:20px; }\nh3{ font-size:18px; }\nh4{ font-size:16px; }\nh5{ font-size:14px; }\nh6{ font-size:12px; }\np,ul,ol,blockquote,dl,table{ margin:1.2em 0; }\nul,ol{ margin-left:2em; }\nul{ list-style:disc; }\nol{ list-style:decimal; }\nli,li p{ margin:10px 0;}\nimg{ max-width:100%;display:block;margin:0 auto 1em; }\nblockquote{ color:#B5B2B1; border-left:3px solid #aaa; padding:1em; }\nstrong,b{font-weight:bold;}\nem,i{font-style:italic;}\ntable{ width:100%;border-collapse:collapse;border-spacing:1px;margin:1em 0;font-size:.9em; }\nth,td{ padding:5px;text-align:left;border:1px solid #aaa; }\nth{ font-weight:bold;background:#5d5d5d; }\n.symbol-link{font-weight:bold;}\n/* header{ border-bottom:1px solid #494756; } */\n.title{ margin:0 0 8px;line-height:1.3;color:#ddd; }\n.meta {color:#5e5c6d;font-size:13px;margin:0 0 .5em; }\na{text-decoration:none; color:#2a4b87;}\n.meta .head { display: inline-block; overflow: hidden}\n.head .h-thumb { width: 30px; height: 30px; margin: 0; padding: 0; border-radius: 50%; float: left;}\n.head .h-content { margin: 0; padding: 0 0 0 9px; float: left;}\n.head .h-name {font-size: 13px; color: #eee; margin: 0;}\n.head .h-time {font-size: 11px; color: #7E829C; margin: 0;line-height: 11px;}\n.small {font-size: 12.5px; display: inline-block; transform: scale(0.9); -webkit-transform: scale(0.9); transform-origin: left; -webkit-transform-origin: left;}\n.smaller {font-size: 12.5px; display: inline-block; transform: scale(0.8); -webkit-transform: scale(0.8); transform-origin: left; -webkit-transform-origin: left;}\n.bt-text {font-size: 12px;margin: 1.5em 0 0 0}\n.bt-text p {margin: 0}\n</style>\n</head>\n<body>\n<div class=\"wrapper\">\n<header>\n<h2 class=\"title\">\n特斯拉AI Day前瞻：纯视觉FSD背后的哲学\n</h2>\n\n<h4 class=\"meta\">\n\n\n2021-06-30 08:03 北京时间 <a href=https://api.jianyuweb.com/apiv1/content/articles/3634173?extract=1><strong>林菁扬</strong></a>\n\n\n</h4>\n\n</header>\n<article>\n<div>\n<p>根据马斯克的预告，一个月之后，特斯拉 2021 AI Day 就将到来。\n我们不知道届时特斯拉会发布什么黑科技，但我们知道，马斯克届时一定会为纯视觉自动驾驶路线作出详尽的解释，顺便立下足够吓人的 flag。\n早在一个月之前，特斯拉就宣布，北美市场的 Model 3/Y 将不会再配备毫米波雷达和超声波雷达，仅标配摄像头。 \n纯视觉自动驾驶，无疑是特斯拉对汽车行业的新一次挑战，甚至对自己推动的浪潮，也...</p>\n\n<a href=\"https://api.jianyuweb.com/apiv1/content/articles/3634173?extract=1\">Web Link</a>\n\n</div>\n\n\n</article>\n</div>\n</body>\n</html>\n","type":0,"thumbnail":"https://wpimg.wallstcn.com/6ac1897e-a2df-44e6-8e36-8aa65d13164b.jpg","relate_stocks":{"TSLA":"特斯拉"},"source_url":"https://api.jianyuweb.com/apiv1/content/articles/3634173?extract=1","is_english":false,"share_image_url":"https://static.laohu8.com/e9f99090a1c2ed51c021029395664489","article_id":"2147893857","content_text":"根据马斯克的预告，一个月之后，特斯拉 2021 AI Day 就将到来。\n我们不知道届时特斯拉会发布什么黑科技，但我们知道，马斯克届时一定会为纯视觉自动驾驶路线作出详尽的解释，顺便立下足够吓人的 flag。\n早在一个月之前，特斯拉就宣布，北美市场的 Model 3/Y 将不会再配备毫米波雷达和超声波雷达，仅标配摄像头。 \n纯视觉自动驾驶，无疑是特斯拉对汽车行业的新一次挑战，甚至对自己推动的浪潮，也是一次「不破不立」。 \n特斯拉一直是激光雷达的反对者，马斯克屡次在推特 diss 激光雷达阵营，并多次强调纯视觉路线的优越性。 \n《任何依赖激光雷达的人都注定失败》\n特斯拉 AI 部门高级主管 Andrej Karpathy 说的「人类开车不是靠双眼发射激光」，同样是经典。\n但除了金句、flag，特斯拉一直没有说明白，纯视觉自动驾驶背后究竟有怎样的思考？为什么全世界都在加码的激光雷达路线，在特斯拉这里这么不受待见？\n直到最近，在 2021 CVPR 国际计算机视觉与模式识别会议上，Andrej 用一场时长 38 分钟的在线演讲，放出了足够多的干货，于是我们再次得以一窥特斯拉 AI Day 。\n今天的推送当然会枯燥，但也没那么索然无味。\n因为，想要把特斯拉坚定站在纯视觉路线的理由说清楚，反而不能过分执着于技术名词。逻辑、思考，则是更形而上学，也更通俗易懂的叙述方式。\n纯视觉 FSD 背后的哲学 \n两年两个月之后，Andrej 把那句「名言」OTA 到了最新版本： \n「人类依赖视觉开车，而我们大脑里的‘深度学习网络’，很明显是有能力处理视觉数据输入，并理解身边所有物体视觉深度和速度的」。 \n是的，特斯拉的自动驾驶依然带着浓浓的第一性原理味道。人类如何坐到方向盘后面，Autopilot 就照样再做一次。 \n特斯拉相信的，是人类既然可以通过视觉信息+大脑处理，成为一个合格的驾驶者。那么摄像头+深度学习神经网络+计算硬件，也可以达到类似的效果。\n于是特斯拉需要证明三个有关纯视觉 FSD 的命题：观察世界的能力、理解交通的能力、处理场景的能力。\n 1.先来说说「观察」。 \n摄像头可以做到人类眼睛的程度吗？Andrej 的原话是：「unequivocal yes 绝对可以」。 \n两个半月之前，马斯克在推特上这么说：「当雷达和视觉不一致时，你会相信哪一个？视觉具有更高的精度，所以最好是加注视觉路线，而不是多传感器融合。」 \n马斯克后来解释称，传感器的本质是比特（bit）数据流，而摄像头每秒传输的比特量比雷达高了几个量级。「只有显著提升雷达比特数据流的信噪比，才值得去整合它（相较于摄像头）的复杂性。」 \n几个量级这样的表述有点模糊，Andrej 精确了一下：「100 倍」。 \n「摄像头几乎是在俯视其他传感器，其他传感器甚至开始成为（自动驾驶系统）的累赘」，他这样补充。 \n上图是特斯拉 Autopilot 8 摄像头的画面总览。目前特斯拉使用的摄像头为 1280x960 分辨率，每秒拍摄 36 帧画面，约束数据流的规模大概是 8M bits 每秒。 \nAndrej 表示即使是这样分辨率的摄像头画面，相比其他传感器仍然是「data rich 数据富裕」，这也是他们「doubling down 双倍加注」视觉路线的主要原因。\n「我们不希望在雷达堆栈、多传感器融合堆栈上面浪费人力」，他表示现在特斯拉只有一支「vision team 视觉队伍」。\n2. 摄像头的「优越性」，需要规模效应激发。 \nAndrej 举了个例子：Waymo 的自动驾驶测试车。尽管和 FSD Beta 一样都可以做出无保护左转这样的动作，但实现这套动作的硬件底层却大相径庭。 \nWaymo 公开运营的大捷龙长这样，头上有激光雷达： \nAndrej 表示，激光雷达+高精度地图的技术路线，需要大量的前置准备，工作范围被高精度地图限制，并且「保持更新基础硬件的成本太高」。 \n深度学习需要巨量数据喂养，以覆盖小数点后面无数个 9，所代表的 Corner case，也就是小概率场景。前期成本远高于摄像头的激光雷达路线，很难跟上特斯拉卖车的脚步。\nAndrej 强调称，特斯拉的纯视觉硬件已经在上百万辆车型上使用，这是其他车企很难复刻的。 \n但「这并不意味着视觉路线更简单，因为纯视觉更依赖深度学习网络——而深度学习又依赖于数据反馈的规模」，所以对特斯拉来说，「scale」才如此重要。\nAndrej 认为，特斯拉解决了规模问题之后，基于深度学习的摄像头「kind of leaving a lot of other sensors in the dust（像是把其他传感器都甩远了）」。 \n「一旦你可以让其（深度学习网络）正常工作，（纯视觉）自动驾驶就可以在世界上任何地方使用」。 \n3. 然后是理解交通的能力。 \n特斯拉认为摄像头是可以和人眼媲美的，且几乎唯一需要的自动驾驶传感器。\n而如何使车辆与人类一样思考、理解交通，则是 Autopilot 贯彻「第一性原理」的另一基础。 \nAndrej的原话是「massive data set of depth, velocity acceleration on a lot of cars, and we’re going to train a large enough neural network and do a very good job at that.」 \n中文表达简洁很多：「足够多有关深度/加速度的（视频）数据，足够多汽车提供这样的数据，训练足够大的神经网络并且做得足够好」。 \n特斯拉的纯视觉方法论，某种程度上很像人类交通探索过程：开足够多的车（数据）、有足够多的人开车（车辆数）、总结交通法规+驾驶培训课程+老司机「言传身教」。 \n特斯拉的销量当然不需要担心，交通法规已经非常完善，而特斯拉需要解决的，就剩下最核心的任务——给 Autopilot「上驾驶课」。 \n这一过程不仅需要数据的数量，还需要质量。 \nAndrej 表示特斯拉用来训练纯视觉的数据，必须要满足 large（数以百万计）、clean（清晰标注速度/加速度/深度）、diverse（包含大量边缘案例，不是‘无聊’的场景）这三个条件。 \n2019 年 11 月，Andrej 在出席 PyTorch 开发者峰会的时候表示，「现阶段我的团队已经可以在椅子上葛优瘫，然后数据就会从特斯拉的车子上传过来，在神经网络模型上自己不断循环运行」。 \n他将这套流程为「Operation Vacation（运营假期）」，本质则是精准而高效的数据自动标注能力。\n这样的「假期」，首先体现在高到「变态」的人力效率——Andrej 表示基于目前的神经网络结构，一个深度学习网络所需的工程师数量，仅有 20 个。 \n有意思的是，Andrej 在演讲中说「有些场景中，额外的传感器也会用于自动标注，比如雷达」。 \n自动标注能力不是凭空得来的，Andrej 称最近四个月，团队都在致力于让深度、速度、加速度等信息标注更加高效。 \n4. 理解交通，不仅需要「教材」，还需要「做题」。\n目前 Andrej 的团队总结出 221 个纯视觉「trigger」，也就是触发条件。 \n这 221 个触发条件的解释包含了大量专业术语，事实上大家并不需要完全理解，因为它们的共同作用，都是「从用户驾驶过程中获取多样化场景」。\n它们就是 Autopilot 软件团队为纯视觉自动驾驶准备的「习题」，几乎永不停歇。 \n当然，给纯视觉 FSD 上课，并不像人类驾校的科目一科目二，但特斯拉也有相对固定的流程。 \n首先需要的是「seed data set 种子数据集」\n然后用它们训练出深度学习网络\n将其以「影子模式」的形式部署至用户车辆中\n深度学习网络做静默预测\n完善深度学习网络偏差溯源机制\n用触发条件获得差异化场景\n部分场景需要经历独立测试 \n大致经历以上流程之后，所有被自动标注（同时保证数据得到清洗）的场景数据，就会成为纯视觉 Autopilot 学习驾驶课程的知识，然后被应用到实际道路上。 \nAndrej 放出了这张 PPT：7 轮影子模式迭代流程、100 万个 8 摄像头、36 帧、10 秒时长的高度差异化场景、60 亿个包含精确深度/加速度的物体标注，以及 1.5PB（1PB＝1024TB＝1024²GB）数据量。 \n另外，在已释放的影子模式下，做纯视觉 Autopilot 的验证，也是深度学习进化的重要环节。 \n这里还是放工作成果吧，Andrej 的 PPT 给出了下面的数字： \n6000 个人工挑选的挑战性片段、70 类不同场景、10000 个模拟场景、相当于 10 年实际时长的 QA 驾驶（quality assurance质量保证），以及影子模式下相当于 1000 年的驾驶时长。 \n目前纯视觉版本已经积累了约 1500 万英里的数据，其中 170 万英里在 Autopilot 启动情况下收集，目前还没有纯视觉版本的事故——Andrej表示「我们认为事故总是会有的，目前雷达融合版本 Autopilot 的事故率大概是 500 万英里一次」。 \n真够凡尔赛的。\n5. 最后是「处理场景的能力」，也就是「算力」。\n文章写到这里，纯视觉 FSD 的第一性原理方法论，来到了最后一关。特斯拉可以获得视觉数据，可以训练深度网络，唯一欠缺的，就是一颗大脑。 \n这块板子是特斯拉 Autopilot 硬件 3.0，两块显眼的芯片能提供 144TOPS 的 INT8 算力，这已经是量产王者。明年英伟达的 Orin 即将上车，单颗芯片算力可以达到 254TOPS，看上去也非常不错。 \n然而它们仍然很难与人脑媲美——说「很难」已经是在夸奖它们了。 于是特斯拉「取巧」了：人脑不能外借，算力却可以来自别处。\n下面这张 PPT，介绍了特斯拉训练纯视觉深度学习网络，而打造的数据中心。虽然硬件 3.0 算力和人类有差距，但借助数据网络，特斯拉可以以超级计算机的形式，挑战人脑。 \n数据中心的大脑，是来自英伟达的最新一代 A100 加速计算卡——的顶配版：A100 80GB Version。 \n整个数据中心里面一共有 720 组计算卡，每组包含 8 张 A100，合计5760 张，Andrej 的 PPT 显示，FP16 精度下，这台超算的算力高达 1.8EFLOPS。\nAndrej 表示这大概是世界上第五强的超级计算机——之所以达到 1.8EFLOPS 的算力依然没有问鼎全球超算，是因为特斯拉宣传用的算力标准不一样。 \n目前超级计算机的算力都是按照 FP64 双精度计算，而特斯拉的 1.8EFLOPS 用的是 FP16 精度。 \n按照 FP64 精度计算，特斯拉用的 5760 块 A100，并行算力达到了 55872TFLOPS。 \n这个数字与目前排第 5 的 PERLMUTTER还有差距—— 63460TFLOPS，但我想没有人会挑剔 Andrej 的小小失误，因为这台计算机已经足够惊艳。\n无超算，不车企？\n文章的主体已经写得差不多了，下面是有感而发环节。\n为什么特斯拉打造了一台超算？\n因为当下，自动驾驶和人类驾驶的最大差距，已经不是获得视野的能力，却恰是处理视野的能力。\nCVPR 演讲的最后，Andrej 剧透了一下真正的 Dojo，是的，上文大家看到的这台由车企打造的超级计算机，还不是 DOJO 本尊，而只是特斯拉纯视觉星辰大海的起点。\nAndrej 表示：「我们正在推进 DOJO 计划，会将（深度学习计算）带到另一个阶段，但我还没准备好透露更多细节。」 \n「如果关于这个应用（纯视觉自动驾驶）的高性能计算，以及这个疯狂的神经网络让你感兴趣，请联系超级计算团队，如果你可以为特斯拉提供帮助的话，我们会非常感激。」 \n在特吹群体里，DOJO 是一个神圣的词汇。\n每当特斯拉 VS 其他车企的论战掀起帷幕，DOJO 总能成为制胜一击，它甚至是特斯拉鲜为人知的「护城河」——因为它是特斯拉的 1，而其他车企都是 0。\nDOJO，从立项之日起，也许就是特斯拉补全纯视觉 FSD 的最后拼图。它还是世界上第一台「汽车公司」打造的「超级计算机」——两个本该风马牛不相及的词语，偏生在 2021 年碰撞出了火花。\n如果上面这台算力巨兽还只是特斯拉「小试牛刀」，那么真正的 DOJO 到底会有多惊艳？\n更重要的是，再过几年，有没有属于自己的超算，会不会成为衡量一家车企自动驾驶能力的重要标志？ \n「第一性原理」 \n标题是「纯视觉 FSD 背后的哲学」，那文章的最后，我们就来聊聊哲学。\n「第一性原理」，这是众所周知的，马斯克的思考准则。 2013 年 12 月 4 日，马斯克接受 innomind 采访时表示：「我习惯于从物理学的框架上获得结论。物理教会你用第一性原理溯源，而不是用类比。」\n自从特斯拉和 SpaceX 成为各自领域里面的旗帜，马斯克坚持的「第一性原理」被越来越多的人奉为圭臬。 \n早在约 2400 年前，洪荒时期理工男亚里士多德，已经表达过类似的观点：「在每一系统的探索中，存在第一原理，是一个最基本的命题或假设，不能被省略或删除，也不能被违反。」 \n找到事物唯一的原命题，并解决它，这就是第一性原理的通俗解释，也是数千年来理工男们改变世界的一种「类信仰」般存在。 \n纵观特斯拉 18 年发展历程，「第一性原理」贯穿其内。 \n「加速世界向可持续能源发展」，这是马斯克加入特斯拉之后，为其寻找的「原命题」。 \n要实现这样的目标，特斯拉需要证明可持续能源是「值得发展」的，于是有了兼顾性能和环保的，堪称汽车「悖论」的 Roadster，以及之后的 Model SEXY，等等。\n自动驾驶，以及堪称「疯狂」的车舱智能化，则是在电动汽车行业探索多年之后，特斯拉顺理成章的发展方向。 \n智能依然是解决特斯拉原命题的方案，因为全自动驾驶、高级智能座舱、FOTA...这些只有整车可控的纯电汽车，可以实现。而全自动智能出行，是解放人类生产力的必然选择。\n其实所有人都不知道纯视觉 Autopilot 究竟表现如何，因为它还没经历过千万上亿级公里数、不同国家路况的认证。 \n但我们很清楚地感知到，特斯拉早已 All in 纯视觉。 \n无论是去掉毫米波雷达，还是斥巨资打造专有的超级计算机——1 组 4 个 A100 加速卡组成的 DGX 机柜就要卖 14.9 万美元，约合人民币 96 万——而特斯拉目前已经用了 5760 个。 \n第一性原理似乎有着神奇的魔力，可以让一群人步调一致、信念统一地钻研、工作，即使其他 99% 的人都在否定，或者至少不看好他们。\n我们无需怀疑特斯拉的认真，只需要检验特斯拉的成果。\n本文作者：毓肥，来源：电动星球News，原文标题《特斯拉AI Day前瞻第二集：纯视觉FSD背后的哲学》风险提示及免责条款\n市场有风险，投资需谨慎。本文不构成个人投资建议，也未考虑到个别用户特殊的投资目标、财务状况或需要。用户应考虑本文中的任何意见、观点或结论是否符合其特定状况。据此投资，责任自负。","news_type":1},"isVote":1,"tweetType":1,"viewCount":1847,"authorTweetTopStatus":1,"verified":2,"comments":[],"imageCount":0,"langContent":"CN","totalScore":0},{"id":992271603,"gmtCreate":1565370569202,"gmtModify":1704712489079,"author":{"id":"3474189237762458","authorId":"3474189237762458","name":"hyc","avatar":"https://static.laohu8.com/default-avatar.jpg","crmLevel":1,"crmLevelSwitch":0,"followedFlag":false,"idStr":"3474189237762458","authorIdStr":"3474189237762458"},"themes":[],"htmlText":"<a href=\"https://laohu8.com/S/TRNX\">$Taronis Technologies Inc.(TRNX)$</a> 每天资金尽流出是个什么意思？","listText":"<a href=\"https://laohu8.com/S/TRNX\">$Taronis Technologies Inc.(TRNX)$</a> 每天资金尽流出是个什么意思？","text":"$Taronis Technologies Inc.(TRNX)$ 每天资金尽流出是个什么意思？","images":[],"top":1,"highlighted":1,"essential":1,"paper":1,"likeSize":2,"commentSize":3,"repostSize":0,"link":"https://laohu8.com/post/992271603","isVote":1,"tweetType":1,"viewCount":2232,"authorTweetTopStatus":1,"verified":2,"comments":[],"imageCount":0,"langContent":"CN","totalScore":0}],"hots":[{"id":992271603,"gmtCreate":1565370569202,"gmtModify":1704712489079,"author":{"id":"3474189237762458","authorId":"3474189237762458","name":"hyc","avatar":"https://static.laohu8.com/default-avatar.jpg","crmLevel":1,"crmLevelSwitch":0,"followedFlag":false,"idStr":"3474189237762458","authorIdStr":"3474189237762458"},"themes":[],"htmlText":"<a href=\"https://laohu8.com/S/TRNX\">$Taronis Technologies Inc.(TRNX)$</a> 每天资金尽流出是个什么意思？","listText":"<a href=\"https://laohu8.com/S/TRNX\">$Taronis Technologies Inc.(TRNX)$</a> 每天资金尽流出是个什么意思？","text":"$Taronis Technologies Inc.(TRNX)$ 每天资金尽流出是个什么意思？","images":[],"top":1,"highlighted":1,"essential":1,"paper":1,"likeSize":2,"commentSize":3,"repostSize":0,"link":"https://laohu8.com/post/992271603","isVote":1,"tweetType":1,"viewCount":2232,"authorTweetTopStatus":1,"verified":2,"comments":[],"imageCount":0,"langContent":"CN","totalScore":0},{"id":151876637,"gmtCreate":1625075131029,"gmtModify":1625075131029,"author":{"id":"3474189237762458","authorId":"3474189237762458","name":"hyc","avatar":"https://static.laohu8.com/default-avatar.jpg","crmLevel":1,"crmLevelSwitch":0,"followedFlag":false,"idStr":"3474189237762458","authorIdStr":"3474189237762458"},"themes":[],"htmlText":"这篇文章不错，转发给大家看","listText":"这篇文章不错，转发给大家看","text":"这篇文章不错，转发给大家看","images":[],"top":1,"highlighted":1,"essential":1,"paper":1,"likeSize":0,"commentSize":0,"repostSize":0,"link":"https://laohu8.com/post/151876637","repostId":"2147893857","repostType":2,"repost":{"id":"2147893857","kind":"news","pubTimestamp":1625011389,"share":"https://www.laohu8.com/m/news/2147893857?lang=&edition=full","pubTime":"2021-06-30 08:03","market":"hk","language":"zh","title":"特斯拉AI Day前瞻：纯视觉FSD背后的哲学","url":"https://stock-news.laohu8.com/highlight/detail?id=2147893857","media":"林菁扬","summary":"特斯拉早已All in纯视觉。无论是去掉毫米波雷达，还是斥巨资打造专有的超级计算机——1组4个A100加速卡组成的DGX机柜就要卖14.9万美元，而特斯拉目前已经用了5760个。","content":"<html><body><p>根据马斯克的预告，一个月之后，<a href=\"https://laohu8.com/S/TSLA\">特斯拉</a> 2021 AI Day 就将到来。</p>\n<p>我们不知道届时特斯拉会发布什么黑科技，但我们知道，马斯克届时一定会为纯视觉自动驾驶路线作出详尽的解释，顺便立下足够吓人的 flag。</p>\n<p>早在一个月之前，特斯拉就宣布，北美市场的 Model 3/Y 将不会再配备毫米波雷达和超声波雷达，仅标配摄像头。 </p>\n<p>纯视觉自动驾驶，无疑是特斯拉对汽车行业的新一次挑战，甚至对自己推动的浪潮，也是一次「不破不立」。 </p>\n<p>特斯拉一直是激光雷达的反对者，马斯克屡次在推特 diss 激光雷达阵营，并多次强调纯视觉路线的优越性。 </p>\n<p><span>《任何依赖激光雷达的人都注定失败》</span></p>\n<p>特斯拉 AI 部门高级主管 Andrej Karpathy 说的<strong>「人类开车不是靠双眼发射激光」，同样是经典。</strong></p>\n<p>但除了金句、flag，特斯拉一直没有说明白，<strong>纯视觉自动驾驶背后究竟有怎样的思考？为什么全世界都在加码的激光雷达路线，在特斯拉这里这么不受待见？</strong></p>\n<p>直到最近，在 2021 CVPR 国际计算机视觉与模式识别会议上，Andrej 用一场时长 38 分钟的在线演讲，放出了足够多的干货，于是<strong>我们再次得以一窥特斯拉</strong><strong> AI Day </strong><strong>。</strong></p>\n<p>今天的推送当然会枯燥，但也没那么索然无味。</p>\n<p>因为，想要把特斯拉坚定站在纯视觉路线的理由说清楚，反而不能过分执着于技术名词。<strong>逻辑、思考</strong>，则是更形而上学，也更通俗易懂的叙述方式。</p>\n<h2><strong>纯视觉</strong><strong> FSD </strong><strong>背后的哲学</strong> </h2>\n<p>两年两个月之后，Andrej 把那句「名言」OTA 到了最新版本： </p>\n<p><strong>「人类依赖视觉开车，而我们大脑里的</strong><strong>‘</strong><strong>深度学习网络</strong><strong>’</strong><strong>，很明显是有能力处理视觉数据输入，并理解身边所有物体视觉深度和速度的」。</strong> </p>\n<p>是的，特斯拉的自动驾驶依然带着浓浓的第一性原理味道。人类如何坐到方向盘后面，Autopilot 就照样再做一次。 </p>\n<p>特斯拉相信的，是<strong>人类既然可以通过视觉信息</strong><strong>+</strong><strong>大脑处理，成为一个合格的驾驶者。那么摄像头</strong><strong>+</strong><strong>深度学习神经网络</strong><strong>+</strong><strong>计算硬件，也可以达到类似的效果。</strong></p>\n<p>于是特斯拉需要证明三个有关纯视觉 FSD 的命题：<strong>观察世界的能力、理解交通的能力、处理场景的能力。</strong></p>\n<p> <strong>1.</strong><strong>先来说说「观察」。</strong> </p>\n<p>摄像头可以做到人类眼睛的程度吗？Andrej 的原话是：「unequivocal yes 绝对可以」。 </p>\n<p>两个半月之前，马斯克在推特上这么说：「当雷达和视觉不一致时，你会相信哪一个？视觉具有更高的精度，所以最好是加注视觉路线，而不是多传感器融合。」 </p>\n<p>马斯克后来解释称，传感器的本质是比特（bit）数据流，而摄像头每秒传输的比特量比雷达高了几个量级。<strong>「只有显著提升雷达比特数据流的信噪比，才值得去整合它（相较于摄像头）的复杂性。」</strong> </p>\n<p>几个量级这样的表述有点模糊，Andrej 精确了一下：<strong>「</strong><strong>100 </strong><strong>倍」</strong>。 </p>\n<p>「摄像头几乎是在俯视其他传感器，其他传感器甚至开始成为（自动驾驶系统）的累赘」，他这样补充。 </p>\n<p>上图是特斯拉 Autopilot 8 摄像头的画面总览。目前特斯拉使用的摄像头为 1280x960 分辨率，每秒拍摄 36 帧画面，约束数据流的规模大概是 8M bits 每秒。 </p>\n<p>Andrej 表示即使是这样分辨率的摄像头画面，相比其他传感器仍然是<strong>「data rich 数据富裕」</strong>，这也是他们「doubling down 双倍加注」视觉路线的主要原因。</p>\n<p>「我们不希望在雷达堆栈、多传感器融合堆栈上面浪费人力」，他表示现在特斯拉只有一支「vision team 视觉队伍」。</p>\n<p><strong>2. </strong><strong>摄像头的「优越性」，需要规模效应激发。</strong> </p>\n<p>Andrej 举了个例子：Waymo 的自动驾驶测试车。尽管和 FSD Beta 一样都可以做出无保护左转这样的动作，但实现这套动作的硬件底层却大相径庭。 </p>\n<p>Waymo 公开运营的大捷龙长这样，头上有激光雷达： </p>\n<p>Andrej 表示，激光雷达+高精度地图的技术路线，需要大量的前置准备，工作范围被高精度地图限制，并且<strong>「保持更新基础硬件的成本太高」。</strong> </p>\n<p>深度学习需要巨量数据喂养，以覆盖小数点后面无数个 9，所代表的 Corner case，也就是小概率场景。前期成本远高于摄像头的激光雷达路线，很难跟上特斯拉卖车的脚步。</p>\n<p>Andrej 强调称，<strong>特斯拉的纯视觉硬件已经在上百万辆车型上使用，这是其他车企很难复刻的。</strong> </p>\n<p>但「这并不意味着视觉路线更简单，因为纯视觉更依赖深度学习网络——<strong>而深度学习又依赖于数据反馈的规模</strong>」，所以对特斯拉来说，<strong>「</strong><strong>scale</strong><strong>」</strong>才如此重要。</p>\n<p>Andrej 认为，特斯拉解决了规模问题之后，基于深度学习的摄像头「kind of leaving a lot of other sensors in the dust（像是把其他传感器都甩远了）」。 </p>\n<p>「一旦你可以让其（深度学习网络）正常工作，（纯视觉）自动驾驶就可以在世界上任何地方使用」。 </p>\n<p><strong>3. </strong><strong>然后是理解交通的能力。</strong> </p>\n<p>特斯拉认为摄像头是可以和人眼媲美的，且几乎唯一需要的自动驾驶传感器。</p>\n<p>而<strong>如何使车辆与人类一样思考、理解交通</strong>，则是 Autopilot 贯彻「第一性原理」的另一基础。 </p>\n<p>Andrej的原话是「massive data set of depth, velocity acceleration on a lot of cars, and we’re going to train a large enough neural network and do a very good job at that.」 </p>\n<p>中文表达简洁很多：<strong>「足够多有关深度/加速度的（视频）数据，足够多汽车提供这样的数据，训练足够大的神经网络并且做得足够好」。</strong> </p>\n<p>特斯拉的纯视觉方法论，某种程度上很像人类交通探索过程：<strong>开足够多的车（数据）、有足够多的人开车（车辆数）、总结交通法规</strong><strong>+</strong><strong>驾驶培训课程</strong><strong>+</strong><strong>老司机「言传身教」。</strong> </p>\n<p>特斯拉的销量当然不需要担心，交通法规已经非常完善，而特斯拉需要解决的，就剩下最核心的任务——<strong>给</strong><strong> Autopilot</strong><strong>「上驾驶课」。</strong> </p>\n<p>这一过程不仅需要数据的数量，还需要质量。 </p>\n<p>Andrej 表示特斯拉用来训练纯视觉的数据，必须要满足 large（数以百万计）、clean（清晰标注速度/加速度/深度）、diverse（包含大量边缘案例，不是‘无聊’的场景）这三个条件。 </p>\n<p>2019 年 11 月，Andrej 在出席 PyTorch 开发者峰会的时候表示，「现阶段我的团队已经可以在椅子上葛优瘫，然后数据就会从特斯拉的车子上传过来，在神经网络模型上自己不断循环运行」。 </p>\n<p>他将这套流程为<strong>「</strong><strong>Operation Vacation</strong><strong>（运营假期）」</strong>，本质则是精准而高效的数据自动标注能力。</p>\n<p>这样的「假期」，首先体现在高到「变态」的人力效率——Andrej 表示基于目前的神经网络结构，一个深度学习网络所需的工程师数量，<strong>仅有</strong><strong> 20 </strong><strong>个</strong>。 </p>\n<p>有意思的是，Andrej 在演讲中说<strong>「有些场景中，额外的传感器也会用于自动标注，比如雷达」</strong>。 </p>\n<p>自动标注能力不是凭空得来的，Andrej 称最近四个月，团队都在致力于让深度、速度、加速度等信息标注更加高效。 </p>\n<p><strong>4. </strong><strong>理解交通，不仅需要「教材」，还需要「做题」。</strong></p>\n<p>目前 Andrej 的团队总结出 221 个纯视觉「trigger」，也就是触发条件。 </p>\n<p>这 221 个触发条件的解释包含了大量专业术语，事实上大家并不需要完全理解，因为它们的共同作用，都是「从用户驾驶过程中获取多样化场景」。</p>\n<p>它们就是 Autopilot 软件团队为纯视觉自动驾驶准备的「习题」，几乎永不停歇。 </p>\n<p>当然，给纯视觉 FSD 上课，并不像人类驾校的科目一科目二，但特斯拉也有相对固定的流程。 </p>\n<p><strong>首先需要的是「</strong><strong>seed data set </strong><strong>种子数据集」</strong></p>\n<p><strong>然后用它们训练出深度学习网络</strong></p>\n<p><strong>将其以「影子模式」的形式部署至用户车辆中</strong></p>\n<p><strong>深度学习网络做静默预测</strong></p>\n<p><strong>完善深度学习网络偏差溯源机制</strong></p>\n<p><strong>用触发条件获得差异化场景</strong></p>\n<p><strong>部分场景需要经历独立测试</strong> </p>\n<p>大致经历以上流程之后，所有被自动标注（同时保证数据得到清洗）的场景数据，就会成为纯视觉 Autopilot 学习驾驶课程的知识，然后被应用到实际道路上。 </p>\n<p>Andrej 放出了这张 PPT：<strong>7 </strong><strong>轮影子模式迭代流程、</strong><strong>100 </strong><strong>万个</strong><strong> 8 </strong><strong>摄像头、</strong><strong>36 </strong><strong>帧、</strong><strong>10 </strong><strong>秒时长的高度差异化场景、</strong><strong>60 </strong><strong>亿个包含精确深度</strong><strong>/</strong><strong>加速度的物体标注，以及</strong><strong> 1.5PB</strong><strong>（</strong><strong>1PB</strong><strong>＝</strong><strong>1024TB</strong><strong>＝</strong><strong>1024²GB</strong><strong>）数据量。</strong> </p>\n<p>另外，在已释放的影子模式下，<strong>做纯视觉</strong><strong> Autopilot </strong><strong>的验证</strong>，也是深度学习进化的重要环节。 </p>\n<p>这里还是放工作成果吧，Andrej 的 PPT 给出了下面的数字： </p>\n<p>6000 个人工挑选的挑战性片段、70 类不同场景、10000 个模拟场景、相当于 10 年实际时长的 QA 驾驶（quality assurance质量保证），以及影子模式下相当于 1000 年的驾驶时长。 </p>\n<p>目前纯视觉版本已经积累了约 1500 万英里的数据，其中 170 万英里在 Autopilot 启动情况下收集，目前还没有纯视觉版本的事故——Andrej表示<strong>「我们认为事故总是会有的，目前雷达融合版本</strong><strong> Autopilot </strong><strong>的事故率大概是</strong><strong> 500 </strong><strong>万英里一次」。</strong> </p>\n<p>真够凡尔赛的。</p>\n<p><strong>5. </strong><strong>最后是「处理场景的能力」，也就是「算力」。</strong></p>\n<p>文章写到这里，纯视觉 FSD 的第一性原理方法论，来到了最后一关。<strong>特斯拉可以获得视觉数据，可以训练深度网络，唯一欠缺的，就是一颗大脑。</strong> </p>\n<p>这块板子是特斯拉 Autopilot 硬件 3.0，两块显眼的芯片能提供 144TOPS 的 INT8 算力，这已经是量产王者。明年<a href=\"https://laohu8.com/S/NVDA\">英伟达</a>的 Orin 即将上车，单颗芯片算力可以达到 254TOPS，看上去也非常不错。 </p>\n<p>然而它们仍然很难与人脑媲美——说「很难」已经是在夸奖它们了。 于是特斯拉「取巧」了：<strong>人脑不能外借，算力却可以来自别处。</strong></p>\n<p>下面这张 PPT，介绍了特斯拉训练纯视觉深度学习网络，而打造的数据中心。虽然硬件 3.0 算力和人类有差距，但借助数据网络，特斯拉可以以超级计算机的形式，挑战人脑。 </p>\n<p>数据中心的大脑，是<strong>来自英伟达的最新一代 A100 加速计算卡</strong>——的顶配版：A100 80GB Version。 </p>\n<p>整个数据中心里面一共有 720 组计算卡，每组包含 8 张 A100，合计5760 张，Andrej 的 PPT 显示，FP16 精度下，这台超算的算力高达 <strong>1.8EFLOPS</strong><strong>。</strong></p>\n<p>Andrej 表示这<strong>大概是</strong>世界上第五强的超级计算机——之所以达到 1.8EFLOPS 的算力依然没有问鼎全球超算，是因为<strong>特斯拉宣传用的算力标准不一样。</strong> </p>\n<p>目前超级计算机的算力都是按照 FP64 双精度计算，而特斯拉的 1.8EFLOPS 用的是 FP16 精度。 </p>\n<p>按照 FP64 精度计算，特斯拉用的 5760 块 A100，并行算力达到了 55872TFLOPS。 </p>\n<p>这个数字与目前排第 5 的 PERLMUTTER还有差距—— 63460TFLOPS，但我想没有人会挑剔 Andrej 的小小失误，因为这台计算机已经足够惊艳。</p>\n<h2><strong>无超算，不车企？</strong></h2>\n<p>文章的主体已经写得差不多了，下面是有感而发环节。</p>\n<p>为什么特斯拉打造了一台超算？</p>\n<p>因为当下，自动驾驶和人类驾驶的最大差距，已经不是获得视野的能力，却恰是<strong>处理视野的能力。</strong></p>\n<p>CVPR 演讲的最后，Andrej 剧透了一下真正的 Dojo，是的，上文大家看到的<strong>这台由车企打造的超级计算机，还不是</strong><strong> DOJO </strong><strong>本尊，而只是特斯拉纯视觉星辰大海的起点。</strong></p>\n<p>Andrej 表示：<strong>「我们正在推进</strong><strong> DOJO </strong><strong>计划，会将（深度学习计算）带到另一个阶段，但我还没准备好透露更多细节。」</strong><strong> </strong></p>\n<p>「如果关于这个应用（纯视觉自动驾驶）的高性能计算，以及这个疯狂的神经网络让你感兴趣，请联系超级计算团队，如果你可以为特斯拉提供帮助的话，我们会非常感激。」 </p>\n<p>在特吹群体里，DOJO 是一个神圣的词汇。</p>\n<p>每当特斯拉 VS 其他车企的论战掀起帷幕，DOJO 总能成为制胜一击，它甚至是特斯拉鲜为人知的「护城河」——因为它是特斯拉的 1，而其他车企都是 0。</p>\n<p>DOJO，从立项之日起，也许就是特斯拉补全纯视觉 FSD 的最后拼图。<strong>它还是世界上第一台「汽车公司」打造的「超级计算机」</strong>——两个本该风马牛不相及的词语，偏生在 2021 年碰撞出了火花。</p>\n<p>如果上面这台算力巨兽还只是特斯拉「小试牛刀」，那么真正的 DOJO 到底会有多惊艳？</p>\n<p>更重要的是，<strong>再过几年，有没有属于自己的超算，会不会成为衡量一家车企自动驾驶能力的重要标志？</strong> </p>\n<h2><strong>「第一性原理」</strong> </h2>\n<p>标题是「纯视觉 FSD 背后的哲学」，那文章的最后，我们就来聊聊哲学。</p>\n<p>「第一性原理」，这是众所周知的，马斯克的思考准则。 2013 年 12 月 4 日，马斯克接受 innomind 采访时表示：<strong>「我习惯于从物理学的框架上获得结论。物理教会你用第一性原理溯源，而不是用类比。」</strong></p>\n<p>自从特斯拉和 SpaceX 成为各自领域里面的旗帜，马斯克坚持的「第一性原理」被越来越多的人奉为圭臬。 </p>\n<p>早在约 2400 年前，洪荒时期理工男亚里士多德，已经表达过类似的观点：<strong>「在每一系统的探索中，存在第一原理，是一个最基本的命题或假设，不能被省略或删除，也不能被违反。」</strong> </p>\n<p><strong>找到事物唯一的原命题，并解决它</strong>，这就是第一性原理的通俗解释，也是数千年来理工男们改变世界的一种「类信仰」般存在。 </p>\n<p>纵观特斯拉 18 年发展历程，「第一性原理」贯穿其内。 </p>\n<p><strong>「加速世界向可持续能源发展」</strong>，这是马斯克加入特斯拉之后，为其寻找的「原命题」。 </p>\n<p>要实现这样的目标，<strong>特斯拉需要证明可持续能源是「值得发展」的</strong>，于是有了兼顾性能和环保的，堪称汽车「悖论」的 Roadster，以及之后的 Model SEXY，等等。</p>\n<p>自动驾驶，以及堪称「疯狂」的车舱<a href=\"https://laohu8.com/S/5RE.SI\">智能</a>化，则是在电动汽车行业探索多年之后，特斯拉顺理成章的发展方向。 </p>\n<p><strong>智能依然是解决特斯拉原命题的方案</strong>，因为全自动驾驶、高级智能座舱、FOTA...这些只有整车可控的纯电汽车，可以实现。而全自动智能出行，是解放人类生产力的必然选择。</p>\n<p>其实所有人都不知道纯视觉 Autopilot 究竟表现如何，因为它还没经历过千万上亿级公里数、不同国家路况的认证。 </p>\n<p>但我们很清楚地感知到，<strong>特斯拉早已</strong><strong> All in </strong><strong>纯视觉。</strong> </p>\n<p>无论是去掉毫米波雷达，还是斥巨资打造专有的超级计算机——1 组 4 个 A100 加速卡组成的 DGX 机柜就要卖 14.9 万美元，约合人民币 96 万——<strong>而特斯拉目前已经用了</strong><strong> 5760 </strong><strong>个。</strong> </p>\n<p>第一性原理似乎有着神奇的魔力，可以让一群人步调一致、信念统一地钻研、工作，即使其他 99% 的人都在否定，或者至少不看好他们。</p>\n<p>我们无需怀疑特斯拉的认真，只需要检验特斯拉的成果。</p>\n<p><span>本文作者：毓肥，来源：电动星球News，原文标题《特斯拉AI Day前瞻第二集：纯视觉FSD背后的哲学》</span></p><p>风险提示及免责条款</p>\n<p>市场有风险，投资需谨慎。本文不构成个人投资建议，也未考虑到个别用户特殊的投资目标、财务状况或需要。用户应考虑本文中的任何意见、观点或结论是否符合其特定状况。据此投资，责任自负。</p>\n</body></html>","source":"awtmt_stock","collect":0,"html":"<!DOCTYPE html>\n<html>\n<head>\n<meta http-equiv=\"Content-Type\" content=\"text/html; charset=utf-8\" />\n<meta name=\"viewport\" content=\"width=device-width,initial-scale=1.0,minimum-scale=1.0,maximum-scale=1.0,user-scalable=no\"/>\n<meta name=\"format-detection\" content=\"telephone=no,email=no,address=no\" />\n<title>特斯拉AI Day前瞻：纯视觉FSD背后的哲学</title>\n<style type=\"text/css\">\na,abbr,acronym,address,applet,article,aside,audio,b,big,blockquote,body,canvas,caption,center,cite,code,dd,del,details,dfn,div,dl,dt,\nem,embed,fieldset,figcaption,figure,footer,form,h1,h2,h3,h4,h5,h6,header,hgroup,html,i,iframe,img,ins,kbd,label,legend,li,mark,menu,nav,\nobject,ol,output,p,pre,q,ruby,s,samp,section,small,span,strike,strong,sub,summary,sup,table,tbody,td,tfoot,th,thead,time,tr,tt,u,ul,var,video{ font:inherit;margin:0;padding:0;vertical-align:baseline;border:0 }\nbody{ font-size:16px; line-height:1.5; color:#999; background:transparent; }\n.wrapper{ overflow:hidden;word-break:break-all;padding:10px; }\nh1,h2{ font-weight:normal; line-height:1.35; margin-bottom:.6em; }\nh3,h4,h5,h6{ line-height:1.35; margin-bottom:1em; }\nh1{ font-size:24px; }\nh2{ font-size:20px; }\nh3{ font-size:18px; }\nh4{ font-size:16px; }\nh5{ font-size:14px; }\nh6{ font-size:12px; }\np,ul,ol,blockquote,dl,table{ margin:1.2em 0; }\nul,ol{ margin-left:2em; }\nul{ list-style:disc; }\nol{ list-style:decimal; }\nli,li p{ margin:10px 0;}\nimg{ max-width:100%;display:block;margin:0 auto 1em; }\nblockquote{ color:#B5B2B1; border-left:3px solid #aaa; padding:1em; }\nstrong,b{font-weight:bold;}\nem,i{font-style:italic;}\ntable{ width:100%;border-collapse:collapse;border-spacing:1px;margin:1em 0;font-size:.9em; }\nth,td{ padding:5px;text-align:left;border:1px solid #aaa; }\nth{ font-weight:bold;background:#5d5d5d; }\n.symbol-link{font-weight:bold;}\n/* header{ border-bottom:1px solid #494756; } */\n.title{ margin:0 0 8px;line-height:1.3;color:#ddd; }\n.meta {color:#5e5c6d;font-size:13px;margin:0 0 .5em; }\na{text-decoration:none; color:#2a4b87;}\n.meta .head { display: inline-block; overflow: hidden}\n.head .h-thumb { width: 30px; height: 30px; margin: 0; padding: 0; border-radius: 50%; float: left;}\n.head .h-content { margin: 0; padding: 0 0 0 9px; float: left;}\n.head .h-name {font-size: 13px; color: #eee; margin: 0;}\n.head .h-time {font-size: 11px; color: #7E829C; margin: 0;line-height: 11px;}\n.small {font-size: 12.5px; display: inline-block; transform: scale(0.9); -webkit-transform: scale(0.9); transform-origin: left; -webkit-transform-origin: left;}\n.smaller {font-size: 12.5px; display: inline-block; transform: scale(0.8); -webkit-transform: scale(0.8); transform-origin: left; -webkit-transform-origin: left;}\n.bt-text {font-size: 12px;margin: 1.5em 0 0 0}\n.bt-text p {margin: 0}\n</style>\n</head>\n<body>\n<div class=\"wrapper\">\n<header>\n<h2 class=\"title\">\n特斯拉AI Day前瞻：纯视觉FSD背后的哲学\n</h2>\n\n<h4 class=\"meta\">\n\n\n2021-06-30 08:03 北京时间 <a href=https://api.jianyuweb.com/apiv1/content/articles/3634173?extract=1><strong>林菁扬</strong></a>\n\n\n</h4>\n\n</header>\n<article>\n<div>\n<p>根据马斯克的预告，一个月之后，特斯拉 2021 AI Day 就将到来。\n我们不知道届时特斯拉会发布什么黑科技，但我们知道，马斯克届时一定会为纯视觉自动驾驶路线作出详尽的解释，顺便立下足够吓人的 flag。\n早在一个月之前，特斯拉就宣布，北美市场的 Model 3/Y 将不会再配备毫米波雷达和超声波雷达，仅标配摄像头。 \n纯视觉自动驾驶，无疑是特斯拉对汽车行业的新一次挑战，甚至对自己推动的浪潮，也...</p>\n\n<a href=\"https://api.jianyuweb.com/apiv1/content/articles/3634173?extract=1\">Web Link</a>\n\n</div>\n\n\n</article>\n</div>\n</body>\n</html>\n","type":0,"thumbnail":"https://wpimg.wallstcn.com/6ac1897e-a2df-44e6-8e36-8aa65d13164b.jpg","relate_stocks":{"TSLA":"特斯拉"},"source_url":"https://api.jianyuweb.com/apiv1/content/articles/3634173?extract=1","is_english":false,"share_image_url":"https://static.laohu8.com/e9f99090a1c2ed51c021029395664489","article_id":"2147893857","content_text":"根据马斯克的预告，一个月之后，特斯拉 2021 AI Day 就将到来。\n我们不知道届时特斯拉会发布什么黑科技，但我们知道，马斯克届时一定会为纯视觉自动驾驶路线作出详尽的解释，顺便立下足够吓人的 flag。\n早在一个月之前，特斯拉就宣布，北美市场的 Model 3/Y 将不会再配备毫米波雷达和超声波雷达，仅标配摄像头。 \n纯视觉自动驾驶，无疑是特斯拉对汽车行业的新一次挑战，甚至对自己推动的浪潮，也是一次「不破不立」。 \n特斯拉一直是激光雷达的反对者，马斯克屡次在推特 diss 激光雷达阵营，并多次强调纯视觉路线的优越性。 \n《任何依赖激光雷达的人都注定失败》\n特斯拉 AI 部门高级主管 Andrej Karpathy 说的「人类开车不是靠双眼发射激光」，同样是经典。\n但除了金句、flag，特斯拉一直没有说明白，纯视觉自动驾驶背后究竟有怎样的思考？为什么全世界都在加码的激光雷达路线，在特斯拉这里这么不受待见？\n直到最近，在 2021 CVPR 国际计算机视觉与模式识别会议上，Andrej 用一场时长 38 分钟的在线演讲，放出了足够多的干货，于是我们再次得以一窥特斯拉 AI Day 。\n今天的推送当然会枯燥，但也没那么索然无味。\n因为，想要把特斯拉坚定站在纯视觉路线的理由说清楚，反而不能过分执着于技术名词。逻辑、思考，则是更形而上学，也更通俗易懂的叙述方式。\n纯视觉 FSD 背后的哲学 \n两年两个月之后，Andrej 把那句「名言」OTA 到了最新版本： \n「人类依赖视觉开车，而我们大脑里的‘深度学习网络’，很明显是有能力处理视觉数据输入，并理解身边所有物体视觉深度和速度的」。 \n是的，特斯拉的自动驾驶依然带着浓浓的第一性原理味道。人类如何坐到方向盘后面，Autopilot 就照样再做一次。 \n特斯拉相信的，是人类既然可以通过视觉信息+大脑处理，成为一个合格的驾驶者。那么摄像头+深度学习神经网络+计算硬件，也可以达到类似的效果。\n于是特斯拉需要证明三个有关纯视觉 FSD 的命题：观察世界的能力、理解交通的能力、处理场景的能力。\n 1.先来说说「观察」。 \n摄像头可以做到人类眼睛的程度吗？Andrej 的原话是：「unequivocal yes 绝对可以」。 \n两个半月之前，马斯克在推特上这么说：「当雷达和视觉不一致时，你会相信哪一个？视觉具有更高的精度，所以最好是加注视觉路线，而不是多传感器融合。」 \n马斯克后来解释称，传感器的本质是比特（bit）数据流，而摄像头每秒传输的比特量比雷达高了几个量级。「只有显著提升雷达比特数据流的信噪比，才值得去整合它（相较于摄像头）的复杂性。」 \n几个量级这样的表述有点模糊，Andrej 精确了一下：「100 倍」。 \n「摄像头几乎是在俯视其他传感器，其他传感器甚至开始成为（自动驾驶系统）的累赘」，他这样补充。 \n上图是特斯拉 Autopilot 8 摄像头的画面总览。目前特斯拉使用的摄像头为 1280x960 分辨率，每秒拍摄 36 帧画面，约束数据流的规模大概是 8M bits 每秒。 \nAndrej 表示即使是这样分辨率的摄像头画面，相比其他传感器仍然是「data rich 数据富裕」，这也是他们「doubling down 双倍加注」视觉路线的主要原因。\n「我们不希望在雷达堆栈、多传感器融合堆栈上面浪费人力」，他表示现在特斯拉只有一支「vision team 视觉队伍」。\n2. 摄像头的「优越性」，需要规模效应激发。 \nAndrej 举了个例子：Waymo 的自动驾驶测试车。尽管和 FSD Beta 一样都可以做出无保护左转这样的动作，但实现这套动作的硬件底层却大相径庭。 \nWaymo 公开运营的大捷龙长这样，头上有激光雷达： \nAndrej 表示，激光雷达+高精度地图的技术路线，需要大量的前置准备，工作范围被高精度地图限制，并且「保持更新基础硬件的成本太高」。 \n深度学习需要巨量数据喂养，以覆盖小数点后面无数个 9，所代表的 Corner case，也就是小概率场景。前期成本远高于摄像头的激光雷达路线，很难跟上特斯拉卖车的脚步。\nAndrej 强调称，特斯拉的纯视觉硬件已经在上百万辆车型上使用，这是其他车企很难复刻的。 \n但「这并不意味着视觉路线更简单，因为纯视觉更依赖深度学习网络——而深度学习又依赖于数据反馈的规模」，所以对特斯拉来说，「scale」才如此重要。\nAndrej 认为，特斯拉解决了规模问题之后，基于深度学习的摄像头「kind of leaving a lot of other sensors in the dust（像是把其他传感器都甩远了）」。 \n「一旦你可以让其（深度学习网络）正常工作，（纯视觉）自动驾驶就可以在世界上任何地方使用」。 \n3. 然后是理解交通的能力。 \n特斯拉认为摄像头是可以和人眼媲美的，且几乎唯一需要的自动驾驶传感器。\n而如何使车辆与人类一样思考、理解交通，则是 Autopilot 贯彻「第一性原理」的另一基础。 \nAndrej的原话是「massive data set of depth, velocity acceleration on a lot of cars, and we’re going to train a large enough neural network and do a very good job at that.」 \n中文表达简洁很多：「足够多有关深度/加速度的（视频）数据，足够多汽车提供这样的数据，训练足够大的神经网络并且做得足够好」。 \n特斯拉的纯视觉方法论，某种程度上很像人类交通探索过程：开足够多的车（数据）、有足够多的人开车（车辆数）、总结交通法规+驾驶培训课程+老司机「言传身教」。 \n特斯拉的销量当然不需要担心，交通法规已经非常完善，而特斯拉需要解决的，就剩下最核心的任务——给 Autopilot「上驾驶课」。 \n这一过程不仅需要数据的数量，还需要质量。 \nAndrej 表示特斯拉用来训练纯视觉的数据，必须要满足 large（数以百万计）、clean（清晰标注速度/加速度/深度）、diverse（包含大量边缘案例，不是‘无聊’的场景）这三个条件。 \n2019 年 11 月，Andrej 在出席 PyTorch 开发者峰会的时候表示，「现阶段我的团队已经可以在椅子上葛优瘫，然后数据就会从特斯拉的车子上传过来，在神经网络模型上自己不断循环运行」。 \n他将这套流程为「Operation Vacation（运营假期）」，本质则是精准而高效的数据自动标注能力。\n这样的「假期」，首先体现在高到「变态」的人力效率——Andrej 表示基于目前的神经网络结构，一个深度学习网络所需的工程师数量，仅有 20 个。 \n有意思的是，Andrej 在演讲中说「有些场景中，额外的传感器也会用于自动标注，比如雷达」。 \n自动标注能力不是凭空得来的，Andrej 称最近四个月，团队都在致力于让深度、速度、加速度等信息标注更加高效。 \n4. 理解交通，不仅需要「教材」，还需要「做题」。\n目前 Andrej 的团队总结出 221 个纯视觉「trigger」，也就是触发条件。 \n这 221 个触发条件的解释包含了大量专业术语，事实上大家并不需要完全理解，因为它们的共同作用，都是「从用户驾驶过程中获取多样化场景」。\n它们就是 Autopilot 软件团队为纯视觉自动驾驶准备的「习题」，几乎永不停歇。 \n当然，给纯视觉 FSD 上课，并不像人类驾校的科目一科目二，但特斯拉也有相对固定的流程。 \n首先需要的是「seed data set 种子数据集」\n然后用它们训练出深度学习网络\n将其以「影子模式」的形式部署至用户车辆中\n深度学习网络做静默预测\n完善深度学习网络偏差溯源机制\n用触发条件获得差异化场景\n部分场景需要经历独立测试 \n大致经历以上流程之后，所有被自动标注（同时保证数据得到清洗）的场景数据，就会成为纯视觉 Autopilot 学习驾驶课程的知识，然后被应用到实际道路上。 \nAndrej 放出了这张 PPT：7 轮影子模式迭代流程、100 万个 8 摄像头、36 帧、10 秒时长的高度差异化场景、60 亿个包含精确深度/加速度的物体标注，以及 1.5PB（1PB＝1024TB＝1024²GB）数据量。 \n另外，在已释放的影子模式下，做纯视觉 Autopilot 的验证，也是深度学习进化的重要环节。 \n这里还是放工作成果吧，Andrej 的 PPT 给出了下面的数字： \n6000 个人工挑选的挑战性片段、70 类不同场景、10000 个模拟场景、相当于 10 年实际时长的 QA 驾驶（quality assurance质量保证），以及影子模式下相当于 1000 年的驾驶时长。 \n目前纯视觉版本已经积累了约 1500 万英里的数据，其中 170 万英里在 Autopilot 启动情况下收集，目前还没有纯视觉版本的事故——Andrej表示「我们认为事故总是会有的，目前雷达融合版本 Autopilot 的事故率大概是 500 万英里一次」。 \n真够凡尔赛的。\n5. 最后是「处理场景的能力」，也就是「算力」。\n文章写到这里，纯视觉 FSD 的第一性原理方法论，来到了最后一关。特斯拉可以获得视觉数据，可以训练深度网络，唯一欠缺的，就是一颗大脑。 \n这块板子是特斯拉 Autopilot 硬件 3.0，两块显眼的芯片能提供 144TOPS 的 INT8 算力，这已经是量产王者。明年英伟达的 Orin 即将上车，单颗芯片算力可以达到 254TOPS，看上去也非常不错。 \n然而它们仍然很难与人脑媲美——说「很难」已经是在夸奖它们了。 于是特斯拉「取巧」了：人脑不能外借，算力却可以来自别处。\n下面这张 PPT，介绍了特斯拉训练纯视觉深度学习网络，而打造的数据中心。虽然硬件 3.0 算力和人类有差距，但借助数据网络，特斯拉可以以超级计算机的形式，挑战人脑。 \n数据中心的大脑，是来自英伟达的最新一代 A100 加速计算卡——的顶配版：A100 80GB Version。 \n整个数据中心里面一共有 720 组计算卡，每组包含 8 张 A100，合计5760 张，Andrej 的 PPT 显示，FP16 精度下，这台超算的算力高达 1.8EFLOPS。\nAndrej 表示这大概是世界上第五强的超级计算机——之所以达到 1.8EFLOPS 的算力依然没有问鼎全球超算，是因为特斯拉宣传用的算力标准不一样。 \n目前超级计算机的算力都是按照 FP64 双精度计算，而特斯拉的 1.8EFLOPS 用的是 FP16 精度。 \n按照 FP64 精度计算，特斯拉用的 5760 块 A100，并行算力达到了 55872TFLOPS。 \n这个数字与目前排第 5 的 PERLMUTTER还有差距—— 63460TFLOPS，但我想没有人会挑剔 Andrej 的小小失误，因为这台计算机已经足够惊艳。\n无超算，不车企？\n文章的主体已经写得差不多了，下面是有感而发环节。\n为什么特斯拉打造了一台超算？\n因为当下，自动驾驶和人类驾驶的最大差距，已经不是获得视野的能力，却恰是处理视野的能力。\nCVPR 演讲的最后，Andrej 剧透了一下真正的 Dojo，是的，上文大家看到的这台由车企打造的超级计算机，还不是 DOJO 本尊，而只是特斯拉纯视觉星辰大海的起点。\nAndrej 表示：「我们正在推进 DOJO 计划，会将（深度学习计算）带到另一个阶段，但我还没准备好透露更多细节。」 \n「如果关于这个应用（纯视觉自动驾驶）的高性能计算，以及这个疯狂的神经网络让你感兴趣，请联系超级计算团队，如果你可以为特斯拉提供帮助的话，我们会非常感激。」 \n在特吹群体里，DOJO 是一个神圣的词汇。\n每当特斯拉 VS 其他车企的论战掀起帷幕，DOJO 总能成为制胜一击，它甚至是特斯拉鲜为人知的「护城河」——因为它是特斯拉的 1，而其他车企都是 0。\nDOJO，从立项之日起，也许就是特斯拉补全纯视觉 FSD 的最后拼图。它还是世界上第一台「汽车公司」打造的「超级计算机」——两个本该风马牛不相及的词语，偏生在 2021 年碰撞出了火花。\n如果上面这台算力巨兽还只是特斯拉「小试牛刀」，那么真正的 DOJO 到底会有多惊艳？\n更重要的是，再过几年，有没有属于自己的超算，会不会成为衡量一家车企自动驾驶能力的重要标志？ \n「第一性原理」 \n标题是「纯视觉 FSD 背后的哲学」，那文章的最后，我们就来聊聊哲学。\n「第一性原理」，这是众所周知的，马斯克的思考准则。 2013 年 12 月 4 日，马斯克接受 innomind 采访时表示：「我习惯于从物理学的框架上获得结论。物理教会你用第一性原理溯源，而不是用类比。」\n自从特斯拉和 SpaceX 成为各自领域里面的旗帜，马斯克坚持的「第一性原理」被越来越多的人奉为圭臬。 \n早在约 2400 年前，洪荒时期理工男亚里士多德，已经表达过类似的观点：「在每一系统的探索中，存在第一原理，是一个最基本的命题或假设，不能被省略或删除，也不能被违反。」 \n找到事物唯一的原命题，并解决它，这就是第一性原理的通俗解释，也是数千年来理工男们改变世界的一种「类信仰」般存在。 \n纵观特斯拉 18 年发展历程，「第一性原理」贯穿其内。 \n「加速世界向可持续能源发展」，这是马斯克加入特斯拉之后，为其寻找的「原命题」。 \n要实现这样的目标，特斯拉需要证明可持续能源是「值得发展」的，于是有了兼顾性能和环保的，堪称汽车「悖论」的 Roadster，以及之后的 Model SEXY，等等。\n自动驾驶，以及堪称「疯狂」的车舱智能化，则是在电动汽车行业探索多年之后，特斯拉顺理成章的发展方向。 \n智能依然是解决特斯拉原命题的方案，因为全自动驾驶、高级智能座舱、FOTA...这些只有整车可控的纯电汽车，可以实现。而全自动智能出行，是解放人类生产力的必然选择。\n其实所有人都不知道纯视觉 Autopilot 究竟表现如何，因为它还没经历过千万上亿级公里数、不同国家路况的认证。 \n但我们很清楚地感知到，特斯拉早已 All in 纯视觉。 \n无论是去掉毫米波雷达，还是斥巨资打造专有的超级计算机——1 组 4 个 A100 加速卡组成的 DGX 机柜就要卖 14.9 万美元，约合人民币 96 万——而特斯拉目前已经用了 5760 个。 \n第一性原理似乎有着神奇的魔力，可以让一群人步调一致、信念统一地钻研、工作，即使其他 99% 的人都在否定，或者至少不看好他们。\n我们无需怀疑特斯拉的认真，只需要检验特斯拉的成果。\n本文作者：毓肥，来源：电动星球News，原文标题《特斯拉AI Day前瞻第二集：纯视觉FSD背后的哲学》风险提示及免责条款\n市场有风险，投资需谨慎。本文不构成个人投资建议，也未考虑到个别用户特殊的投资目标、财务状况或需要。用户应考虑本文中的任何意见、观点或结论是否符合其特定状况。据此投资，责任自负。","news_type":1},"isVote":1,"tweetType":1,"viewCount":1847,"authorTweetTopStatus":1,"verified":2,"comments":[],"imageCount":0,"langContent":"CN","totalScore":0}],"lives":[]}
