为何特斯拉要自行研发FSD芯片？

在第一章，您将从不同角度了解特斯拉FSD(Full Self-Driving )芯片的诸多细节，其中包括研发原因、历程及其优越之处；第二章，将为您介绍特斯拉对于传感器的选择，及不选择激光雷达的原因；第三章，则为您阐述特斯拉实现自动驾驶的逻辑与方法，如何通过软硬结合达成自动驾驶人工智能；最后于第四章，将带您领略特斯拉自动驾驶，深度体验特斯拉自动驾驶技术。）

埃隆·马斯克（Elon Musk）——天才少年者、年轻创业成功者、Paypal公司前身X.com的创始者、31岁坐拥1.65亿美元现金者、SpaceX公司创始者、Tesla公司掌门者……

马斯克拥有太多光环以至于令人怀疑，甚至一度卷入斯坦福大学学历被质疑官司中，如此一位时刻站在聚光灯面前的人物，自然随时都面临着都被“头条”。

“使用激动雷达（Lidar）的都是傻X”

2019年4月23日北京时间凌晨2点，特斯拉举办的“Autonomy Day”发布会通过网络直播形式展示其最新进展。围绕着新的自动驾驶（Auto Pilot）硬件软件进行了相关技术和实现方法的介绍。

当第一部分介绍完FSD芯片研发过程后，Q&A环节时，一位提问者提出，为何不采用激光雷达（Lidar）作为传感器或者作为补充数据传感器。

马斯克的回答引发了媒体圈或者专业人士的强烈反应，各种类似于“马斯克说用激光雷达的都是傻子”的标题横出，然后围绕着这个“结论式”观点各种混战，一度从技术层面的争论到市井谩骂。

马斯克爆出惊人言论其实一点都不令人惊讶，一直被人称为疯子的他，从很早就一直拥有着“语不惊人死不休”的特点，但是此次马斯克到底说了什么话触动到这么多人的神经呢？

“Lidar is a fool’s errand,” Elon Musk said. “Anyone relying on lidar is doomed. Doomed! [They are] expensive sensors that are unnecessary. It’s like having a whole bunch of expensive appendixes. Like, one appendix is bad, well now you have a whole bunch of them, it’s ridiculous, you’ll see.”

第一句话先放在一边，后半段很容易理解，“任何人做（自动驾驶）依赖于激光雷达是注定失败的！激光雷达（对于自动驾驶）是必须的并且非常昂贵，就像是（人类）拥有一堆昂贵的阑尾，你知道的人有一个阑尾就足够糟糕了，假设你拥有一堆阑尾，这太可笑了，你以后会明白的。”

稍微能有点理解能力的都能明白后半段话是为了补充说明第一句话，那么具有争议的第一句话到底什么意思呢？

“Lidar is a fool’s errand”，大多数媒体意译为“傻子才会选择激光雷达”之类的意思，这里我摘取了英英词典的解释。

“A task that has little to no chance of being successful or beneficial”

一项几乎没什么机会成功或收益的任务。

翻译成中文版本就是“竹篮子打水”，如果再结合上述后半段话的补充说明，意思显而易见是马斯克认为，对于自动驾驶领域的未来使用激光雷达是一个错误的选择。而并非具有侮辱或者极强语气的嘲讽，而且马斯克在第三部分的Q&A中再次提到了对激光雷达的看法。

“They’re all gonna dump Lidar, that’s my prediction, mark my words. I should point out that I don’t actually super hate Lidar or as much as may sound, but at SpaceX the Dragon uses Lidar to navigate to the space station or dock. Not only SpaceX developed its own Lidar from scratch to do that and I spearhead that effort personally, because in that scenario Lidar makes sense. And in cars, it’s freaking stupid, it’s expensive and unnecessary and as Larry said once you solve vision it’s worthless.”

自动驾驶领域终将放弃掉（依靠）激光雷达，这是我的预测，记住我这句话。不过我应该指出我其实并非像你们理解的那样讨厌或憎恨激光雷达，相反SpaceX龙火箭是使用激光雷达，才能顺利导航到空间站。而且不仅是SpaceX开发了自己的激光雷达，并且是我辛苦带领团队决定此方向。因为在这个领域使用激光雷达是合情合理的。而对于汽车（自动驾驶），那是极其愚蠢的，没有必要且非常昂贵，正如Larry刚才所讲，一旦实现了我们的神经网络视觉识别，激光雷达将会（对于自动驾驶）毫无价值。

读到这儿，大家起码对于马斯克的“惊人言论”有了自己的理解，而并非被各种“误解”的言论所“操纵”。这里，就不得不认真了解一下此次“Autonomy Day”究竟公布了些什么消息，引起如此大规模的争论。

Part I .特斯拉FSD芯片

一、为何特斯拉要自行研发FSD芯片

特斯拉之前的AP系统使用的芯片，是英伟达（Nvidia）公司的Xavier自动驾驶平台，主要由CPU和GPU和其它部件组成。

英伟达公司，恐怕每一个电脑用户都知道是个伟大的公司，按理说在2018年公布的Xavier Drive平台应该足够强劲支持自动驾驶，那为何Tesla要自己设计神经网络芯片？

（Nvdia Xavier Drive 平台）

熟悉的处理器例如CPU、GPU都可以拿来执行AI算法，但是速度慢，性能低，无法实际商用。

汽车行驶下，传感器输入的数据相对庞大，如果是使用CPU去处理，那么估计车翻到河里了还没发现前方是河。如果用GPU，的确速度会快很多，但是功耗大，如果续航数因此大幅度降低就失去了商业意义。

芯片都有针对的环境拥有的指令算法特征，简而言之，有自己的特长。

AI芯片，在图像识别等领域有这独特优势，其计算是矩阵或vector的乘法、加法，然后配合一些除法、指数等算法；而CPU则适合于不同领域的复杂算法，比如计算机服务器领域；GPU虽然也是针对图像渲染的算法，但特性不符合神经网络，倒是挺适合挖矿。

所以CPU与GPU不是AI专用芯片，为了实现其所属领域的功能，内部有大量无用（针对神经网络）的逻辑，而这些逻辑对于目前的AI算法来说是完全用不上的，所以造成CPU与GPU并不能达到最优的性价比。

举个简单数据对比，IBM的POWER8，最先进的服务器用超标量CPU之一，4GHz，SIMD，128bit，假设是处理16bit的数据，那就是8个数，那么一个周期，最多执行8个乘加计算。一次最多执行16个操作。这还是理论上，实际使用中是不大可能做到的。

那么，CPU一秒钟的巅峰计算次数=16X4Gops=64Gops。

再来看AI芯片。比如大名鼎鼎的谷歌的TPU1，大约700M Hz，有256X256尺寸的脉动阵列，如下图所示。一共256X256=64K个乘加单元，每个单元一次可执行一个乘法和一个加法。那就是128K个操作。（乘法算一个，加法再算一个）

所以，TU1一秒钟的巅峰计算次数至少是=128K X 700MHz=89600Gops=大约90Tops。

对比一下CPU与TPU1，会发现计算能力有几个数量级的差距，这就是为啥说CPU慢。

特斯拉苦于在市场上找不到适用于其自动驾驶使用的芯片，所以自己着手研发。

此外如果技术核心模块被其它公司（英伟达）所制约，也不符合公司利益，其实如果有关注特斯拉消息，早在2015年就透露出要研发自己芯片的消息。

二、特斯拉研发FSD芯片历程

于是团队从2016年2月开始，从FSD芯片的设计到测试再到量产共历经18个月。

2017年8月，FSD芯片设计完成

2017年12月，第一次试验芯片并成功

2018年4月，测试并改进芯片

2018年7月，获得量产合格

2018年12月，设备装车并测试成功

2019年3月，Model S和Model X生产线安装FSD芯片

2019年4月，Model 3生产线安装FSD芯片

仅仅3年多一点的时间，特斯拉研发出自己的AI芯片。

三、谁负责研发特斯拉FSD芯片

或许有人会惊讶，一个从未从事芯片开发的公司如何做到的，这就不得不提到两个人——Pete Bannon（现任自动驾驶团队负责人）以及Jim Keller（前负责人）。

Jim Keller，处理器界传奇人物，曾效力于DEC、PA semi（苹果收购以后才得以由能力研发自家处理器A系列）、AMD、苹果等公司，曾参与设计速龙（Athlon）K7处理器和苹果A4/A5/A6处理器，是速龙K8处理器的总架构师，还是制定X86-64指令集者之一。

稍微了解一些电脑发展史的应该已经知道这些意味着什么，然而并没有讲完。AMD公司的K12处理器以及现在ZEN架构处理器（Ryzen）的架构主导者也是他。

（Jim Keller）

离开AMD之后加入了Tesla团队，致力于特斯拉自动驾驶系统相关研发。虽然在2018年年中离开了Tesla团队，但随后Keller为特斯拉自动驾驶做出了巨大贡献（马斯克曾公开讲过）。

如果仔细查阅Keller的资料会发现，Keller大佬每次在一家公司都会把最重要的架构和布局完成后，就选择离开寻找下一个项目，或许这就是大佬吧。

而后接手特斯拉自动驾驶团队的就是Pete Bannon，是Keller在PA semi的同事，被收购后也随之加入了苹果并参与研发了从A5到A9处理器的研发。

四、特斯拉FSD芯片强在哪儿

了解过了两位负责人的经历背景后，先不要惊讶，让我们来具体了解一下特斯拉研制FSD芯片究竟如何。

需要补充的一点，芯片的范畴较大，常见的CPU、GPU处理是集成度很高速度较快的芯片，也就是说是属于芯片范畴。

特斯拉研发的FSD芯片，是由两套完全一样的的独立系统组成，每个系统的处理器囊括12个A72内核，一个神经网络处理器（NNA——Neural Network Acceleration）和一个GPU组成。毕竟即便是特斯拉要实现的自动驾驶需要AI芯片（NNA）性能处理图像，仍然需要其它处理器配合来处理其余的计算。

特斯拉展示了FSD芯片的构架和数据参数，涉及到较为专业的范畴，甚至某位发布会现场的听众笑称听懂了10%，所以就不赘述其技术细节数据，感兴趣自己去了解一下。

技术如何实现暂且不理，把重点放在结果上。做一个横向对比，更容易去理解特斯拉的芯片强在哪里。

（FSD芯片）

1.性能

由速度为35GOPS（Giga Operation Per Second）的CPU处理图像才只能达到1.5帧每秒，对于高速行驶的汽车来说，远远不够。而使用600GOPS的GPU能够处理17帧每秒，虽然有所提高，但仍旧不足以支撑自动驾驶所需要的算力。

而特斯拉以速度为72TOPS的神经网络处理器（NNA）处理能够达到2100帧每秒。（1000GOPS=1TOPS）

（CPU与GPU以神经网络运算数据时对比）

（GPU与NNA以神经网络运算数据时对比）

2.功率

相较于之前特斯拉HW2.5系统，仅仅升高了25%，所以不会因为耗能过大而削减续航里程太多。

Bannon给出的FSD所消耗的电能带来的影响，换算成Model 3车型75kwh版本，如果全程使用自动驾驶，续航会从原来370miles削减为300miles。

（功率对比，一个FSD芯片由4个NNA和其它硬件组成）

3.成本

相较于HW2.5系统，成本下降20%，作为特斯拉致力于将电动车普及的角度，成本下降对于消费者和公司来讲，都是好事。

而之前使用的英伟达Xavier Drive解决方案则是FSD的7倍价格而且耗能较高。

（成本对比）

其实数据对比过后，结果已经显而易见了。

特斯拉研发的FSD芯片对比前代产品以及市面上现有的方案，有着运算速度快、功耗控制不错和成本较低等优点。

（FSD芯片总算力达144TOPS，耗能低算力高、冗余结构、成本低）

在本章，相信您对特斯拉FSD芯片已经有了一定了解。下一章，我们将为您介绍特斯拉对于传感器的选择，这里，您将找到前文开头问题“为何马斯克宣称不选择激光雷达”的答案。