不吹牛,上数据!各大自动驾驶公司实力原来是这样

近日,加州 DMV(车管局)公布了在过去一年各大自动驾驶厂商测试的记录

从苹果、百度到英伟达等大型科技公司,从 Lyft、景驰到 Nuro 等相对更小的创业公司,从通用到宝马、斯巴鲁等传统公司,总共48家企业和机构,全部都提交了自己的测试报告。

这些并非特别全面的报告,而是突出在了自动驾驶汽车被“接管”这件事上。

接管,英文为 Disengagement(不是字面翻译)。DMV 对接管的定义是因为1)因自动驾驶技术故障,自动驾驶模式暂停工作,或 2)出于安全行驶的目的,安全驾驶员立刻主动停止自动驾驶模式并转变为手动操作。

…deactivation of the autonomous mode when a failure of the autonomous technology is detected or when the safe operation of the vehicle requires that the autonomous vehicle test driver disengage the autonomous mode and take immediate manual control of the vehicle.

如果你想看懂这些报告,以下面宝马自动驾驶的报告为例。

首先是是公司基本信息介绍;然后列出每一项接管的细节,包括日期、车辆 VIN、由谁导致接管、发生地点,以及当时的情况:

然后,公司要列出自己旗下所有参与测试的车辆,标明它们发生的接管总数,以及在每个月上路测试的英里总数。下图中可以看到,宝马一共五辆车,只有一辆车上了路,而且只在2018年8月进行了测试:

最后,这份报告的提交人(自动驾驶部门的负责人)需要签字:

通过报告里的里程数和接管总数这两个数字,你可以算出每家公司每1000英里接管了多少次,以及折算出来的每次接管可以行驶多少英里。这个数值在自动驾驶行业叫做 MPI——Miles per Intervention.

如果以 MPI 作为评价标准,那么毋庸置疑,已经路测超过5年的 Waymo(原 Google[x] 实验室自动驾驶部门)是当之无愧的王者。

但是需要注意的是,这份报告由各家公司自行提交,也不具有追责效力,属于备案和公示性质的资料。

一些在硅谷从事自动驾驶的朋友告诉硅星人,这些报告也有注水的成分,主要在于很多公司会隐瞒他们认为不需要报告的接管事件。

接下来,我们详细翻看一下几家知名公司的路测接管报告。

Waymo:司机稳妥,不然还能更好

根据 Waymo 提供的数据,其自动驾驶汽车平均每1000英里接管0.09次,和去年相比降低50%。

也即 MPI=1.1万英里,同比增加了约一倍,在已经披露数据的公司里也是排名第一。

(这建立在加州总里程数达到120万英里,也即去年里程三倍的基础上。)

Waymo 没有透露路测车队有多大,所以硅星人用笨办法,直接数报告里 Section 3 的 VIN 条目数,得知 Waymo 在加州测试的至少有111辆车。

这111辆车均为克莱斯勒 Pacifica,必须配备安全测试员(司机)。通过报告的 Section 2 可以看到,Waymo 自动驾驶汽车发生接管事件,主要是因为司机主动接管。

这意思是,要不是司机稳妥,成绩还能更好点?

Waymo 路测接管事件报告的一小部分
Waymo 路测接管事件报告的一小部分

Waymo 优异的路测数据,并不一定意味着它更安全。按照该公司的观点,这个数据其实体现的是 Waymo 自动驾驶汽车在一个超大里程的基础上,见到了更多的小概率发生的事件(“驾驶员一辈子才能见到一次的状况”),并且对这些极端状况的应对能力更好了。

GM Cruise:老二,不服气

排在 Waymo 后边的是通用汽车拥有自动驾驶研发公司 Cruise,MPI=5,205英里。

Cruise 在加州2018年的路测里程同样有了很大的进步,从2017年的13万英里增加到了45万英里。在这些里程上总共只发生了(或者说该公司只汇报了)86次接管。

该公司使用的车型叫做 Cruise AV,改装自通用汽车旗下雪佛兰的电动车 Bolt,百分百纯电动。

查看一下 Cruise 报告当中的具体部分,也能一窥端倪。根据该公司的统计,所有的接管事件都是因为司机主动接管。

至于原因,绝大部分都是因为“其他车辆不遵守交通规则”(Other road user behaving poorly)。剩下的情况主要是因为车辆识别路况不清、转向不足、加速过快等等。

虽然跟 Waymo 比,Cruise 的总里程和行驶质量确实稍低,但根据该公司的报告,这些里程用于自动驾驶研发的价值更高。因为 Cruise 主要在旧金山市区内测试,路况显然比湾区到处开的 Waymo 复杂得多。Cruise CTO Kyle Vogt 曾经指出,在旧金山开一分钟跟在郊区开一个小时的价值相等

苹果:用尽一切守住秘密

虽然测试结果被某些媒体评价为“惨不忍睹”,苹果倒是在准备报告这件事上最认真。别的同学就提交了一个 .pdf,苹果却上传了大量的文件,里面有详细的接管报告,还附上了 cover letter 解释它是怎么想的,为什么特立独行。

具体来说,苹果认为不应该把司机为了安全或者行车礼仪而接管、故意为了触发接管而进行的条件测试,以及无司机的情况算在这份报告里,因为它们并不能够准确体现苹果自动驾驶技术目前所达到的安全性等各方面指标。(DMV 的原版指导意见非常保守,包含了大量被苹果公司视为不合理的情况)。

在苹果看来,公司应该只用提交“重要”的接管事件,就可以了。这些所谓的“重要”事件,指的是可能不接管就可能导致交通事故或违反交通法规的情况。

这家公司主要采用雷克萨斯 RX450h 作为自动驾驶改装的基础,一共有62辆。

从苹果提交的报告里可以看到,它并没有按照 DMV 规定的年度,而是从2017年4月开始统计的接管数据全部都放了出来。从2017年4月到2018年6月,苹果自动驾驶汽车行驶了约2.46万英里,驾驶员主动接管4万次,其他接管(软件问题)3.64万次。

苹果在报告中指出,驾驶员主动接管可能在任何情况发生,只要驾驶员认为需要接管就可以接管,意即这些接管次数较高并不意味着苹果自动驾驶车的技术不行。

自从2018年7月,苹果改为只汇报“重要”接管事件。从那时起到2018年12月,苹果自动驾驶汽车行驶了5.6万英里,只发生了28次重要接管事件。它还特别指出,这28次里有两次是被别人撞了。

因为汇报方式比较奇葩,很难准确总结出在2018年里苹果自动驾驶到底表现怎样:如果只算2018年7月之前,差不多是1.15英里的渣 MPI 水平,在所有汇报的公司里垫底;如果算只2018年7月之后,就变成了2000英里才需要接管一次,又变成了第三名。

就连苹果报告的文件名都写着“Trade Secret”(商业机密)

可以看出,苹果真的很不想让别人知道,它的自动驾驶项目真实情况到底如何。

Uber:一直在接管,从未能前进

无论美国本土互联网公司、国际车企还是中国(背景)公司,恐怕没有一家的测试结果看起来比 Uber 惨了。

该公司提交的报告显示,从2017年3月直到2018年3月的一年时间里,Uber 的自动驾驶汽车总共行驶了3.7万英里,其中自动驾驶系统控制的里程数只有2.7万英里,有一万英里根本就是人在开。

这势必意味着Uber 自动驾驶汽车路测肯定发生了大量的接管——没错,一共有70,165次。折合 MPI=0.53英里,也即每开一英里都要接管两次……

你可能感觉诧异,为什么 UATG 的报告时间从2017年3月算到2018年3月?

这是因为在 2018年3月18日,亚利桑那州坦佩市,自动驾驶汽车杀死的一个人,正是死于 Uber 的车轮下(点击链接阅读硅星人当时发布的报道)。在那次事故中,系统没有在黑暗中识别到横穿马路违反交规的行人,而司机当时也低头没有提前发现。

在那之后,Uber完全叫停了自动驾驶的公开道路测试,包括加州和亚利桑那州。

虽然披露出来的成绩十分“糟糕”,至少 Uber 也占了诚实这一条。报告的作者比较细致地列出了不同类型的接管在所有事件当中的比例。

“司机预防性接管”一条占绝大多数,比例达到92.12%。这一类型包括为911应急车辆让道、严苛天气条件主动接管、躲避其它不守规则的车辆等。

与之相对,系统故障型的接管事件只占很小的一部分,包括“软件卡顿和通讯延迟”(1.53%)、“规划问题”(5.06%,比如高精地图与真实环境差异等)、“自动驾驶软件故障”(0.48%)和“硬件或车辆故障”(0.72%)。

虽然 UTAG 的成绩看起来特别差,硅星人还是想指出,这组披露的数据并不能够准确展示 Uber 自动驾驶技术实力,因为其大部分测试是在亚利桑那州等其他地区进行的,加州路测只是一部分。

并且,接管次数多也不一定能够代表自动驾驶技术的安全、可靠性。正如 UATG 报告中所提到的那样,大部分接管事件都属于不可抗力促使司机主动接管,并不意味着车辆自己不能处理相应的情况。

Uber 主要使用的车辆是改装过的沃尔沃 XC90,加州上路的一共有45辆。Uber 在加州测试区域主要是101、280等高速,以及湾区各地的街区道路,也包括旧金山市区。Uber 的车在旧金山曾经一天内多次闯红灯。

特斯拉:数十万车主都是我们的测试员

特斯拉宣称,至今特斯拉电动车已经采用Autopilot模式行驶了超过10亿英里。在2018年第三季度,开启了 Autopilot 模式的电动车平均每334万英里发生一起事故。这些数据都会上传给特斯拉以优化其 Autopilot 的能力,特斯拉将其称为“shadow mode”。
 

然而这跟 DMV 索要的“接管”数据没有任何关系。而且,特斯拉也没有在公开道路进行 L4 级别的测试。

(可能这也是特斯拉自动驾驶部门,很多员工都出走去别的创业公司的原因吧。)

—-

再看几家中国(背景)的公司:

百度:系统出错率低

百度在硅谷设有研发部门,除了人工智能、大数据等之外,也包括无人驾驶汽车研发。硅谷是百度 Apollo 自动驾驶平台的主要试验场。在硅谷,百度自动驾驶汽车主要采用林肯 MKZ 改装而成。
 

过去一年里,百度的硅谷车队一共有4辆车,其中3辆上路,总里程28,093英里,一共接管了88次,折合 MPI=320英里。

这并非在加州路测的中国(背景)公司当中最好的成绩,不过它也不一定代表真实水平,因为百度在国内也有进行大量的路测。

从具体接管细节报告中可以看出,大部分接管都是因为司机对自动驾驶系统的规划不满意,主要体现在前方有车减速不及时,以及拐弯加速和路径。在所有汇报的接管中,只有一次是因为系统本身故障。

另外,和其他经验更丰富的公司相比,百度主要是在街区街道进行测试,并没有上高速。

Pony.ai:“0事故”

根据已经披露的资料,小马智行 Pony.ai 的 MPI 在所有中国(背景)公司里应该是最好的:过去一年总共行驶了接近1.8万英里,接管发生了16次,MPI=1112英里。
 

从下面 Pony.ai 报告中的图可以看出,随着总里程积累的越来越高,该公司的自动驾驶汽车在去年11月 MPI 有明显提升。

标题里是 MPI,图例写成了 MPD,下回要注意呀
标题里是 MPI,图例写成了 MPD,下回要注意呀

值得一提的是,Pony.ai 的 CEO 彭军专门在报告里很骄傲地提到,自从在加州上路以来,没有遭遇任何一起事故。硅星人认为这是想说明自动驾驶系统比较安全,不过还是觉得说服力不足,因为从传统的观念看,如果有事故,至少能够积累到更有价值的数据。

Pony.ai 使用的车型也是林肯 MKZ
Pony.ai 使用的车型也是林肯 MKZ

该公司的报告披露了更多接管事件的细节,看上去发生接管事件更多是因为感知系统的盲区。比如,很多事件描述中都写道“未能看到卡车”、“卡车挡住了信号灯”、“未及时感知到高速接近的其它汽车”。还有一次,前方汽车 brake check,自动驾驶汽车未能及时做出反应。

这些情况也体现了目前自动驾驶技术面临的普遍问题:路况复杂、其它道路共享者不安全行驶、当靠近大型卡车时感知系统容易被阻碍干扰等。

文远知行(景驰)

经历了公司内斗的 drama,过去我们所知的景驰现在已经改名叫做文远知行 (WeRide)。

这家公司提交的报告包括了从2017年6月到2018年11月的数据。其中在2018年,其5辆自动驾驶汽车一共在南湾的街道行驶了1.55万英里,发生了89次接管,折合全年MPI=175英里。

不过在报告中该公司也提到,到了去年年底,训练的结果已经有了不错的体现,2018年11月单月的 MPI 已经达到了600英里。

不仅如此,文远知行还将在今年全无人驾驶 (Driverless, L5) 路测。该公司是最早申请该执照的两家公司之一。

图森:数据较旧,因已转移战场

和其他公司都不太一样,图森科技 (TuSimple) 的主要方向是大型卡车自动驾驶。该公司在加州只有一辆车上路行驶,只在2017年7月进行了测试,行驶662英里,接管57次,MPI=11.6,并且这个数据已经过时。

后来,图森已经在亚利桑那州图桑市建立了测试基地,转移了战场。所以在2018年加州没有测试记录。不过该公司 CEO 侯晓迪表示,将继续考核未来在加州测试的可能性。

蔚来汽车:没有路测数据

因为蔚来的汽车只有 L2 辅助驾驶能力,没有达到 DMV 对自动驾驶接管数据汇报的要求(L4)。截至报告提交的日期,蔚来还没有进行任何与 L4 级别有关的自动驾驶公开道路测试。

法拉第未来:可能没有未来

同样没有测试数据。

这家一度被贾跃亭拖累的公司,曾经在去年9月发生过着火事件,发生在 FF 位于加州中谷汉福德的新工厂地址。仅有的一辆原型车被烧了……

该公司宣称,一直在公司总部内进行自动驾驶测试,并将在2019年底争取上路测试。也不知道还有没有希望。

其他一些国际知名的车企就不提了,数据都很少,大部分干脆没有。

文章没提到你关注的公司?可以去 DMV 官网自己查询它们提交的报告。