聚合国内IT技术精华文章,分享IT技术精华,帮助IT从业人士成长

谈谈特斯拉与毫米波雷达的前生今世

2022-07-28 09:36 浏览: 302576 次 我要评论(0 条) 字号:

“智能汽车生态群"加微信Time-machine-(备注公司+姓名)

本文来源知乎@frostblade


毫无疑问,特斯拉引领了目前以视觉为主的自动驾驶方案。而作为传统辅助驾驶套件中的重要组成部分,毫米波雷达在特斯拉的自动驾驶宇宙中也经历了起起伏伏。话说天下大势,分久必合,合久必分。本文将从全网的资料入手,尽可能完整的展示特斯拉与毫米波雷达的前生今世、恩怨情仇与荣辱兴衰。认知有限,如有不当,还请批评指正。


第一回 博世ME特斯拉三结义 多传感器融合首立功


时间回到2013年,特斯拉掌门人Elon Musk就在推特上透露了研发自动驾驶autopilot(实际为辅助驾驶)系统的计划。

与多数车厂一样,特斯拉的第一代辅助驾驶系统也是基本由供应商方案组合的,其使用了以色列视觉供应商MobilEye的智能摄像头EyeQ3和德国Tier1博世的毫米波雷达。

HW发展

如果没有猜错,这款雷达应该是博世的第四代前向毫米波雷达MRR(Mid Range Radar),这款毫米波雷达在当时已经是性能非常不错了,具备160米的探测距离,约0.1m/s的测速精度。但并没有测高能力。

特斯拉所用博世毫米波雷达
博世MRR天线

在特斯拉2015年的一篇博客中写到:

In October of last year we started equipping Model S with hardware to allow for the incremental introduction of self-driving technology: a forward radar, a forward-looking camera, 12 long-range ultrasonic sensors positioned to sense 16 feet around the car in every direction at all speeds, and a high-precision digitally-controlled electric assist braking system. Today's Tesla Version 7.0 software release allows those tools to deliver a range of new active safety and convenience features, designed to work in conjunction with the automated driving capabilities already offered in Model S.
去年 10 月,我们开始为 Model S 配备硬件,以便逐步引入自动驾驶技术:一个前向雷达、一个前视摄像头、12 个远程超声波传感器,每个传感器可以感知汽车周围 16 英尺的范围。全速行驶,高精度数控电助力制动系统。今天的特斯拉 7.0 版软件允许这些工具提供一系列新的主动安全和便利功能,旨在与 Model S 中已经提供的自动驾驶功能结合使用。

第二回 去误检草船借箭 马斯克站台雷达

在第二代HW中,特斯拉与ME分道扬镳,开始自研视觉感知技术。但自研视觉感知技术岂是一日之功,其需要大量的场景数据累计,才能解决难以计数的长尾问题。所以个人推测,这一阶段,特斯拉把研究重心转向了毫米波雷达,将技术相对更成熟的毫米波雷达取代视觉成为核心传感器。

2016年10月特斯拉的一篇博文中如此写道:

A forward-facing radar with enhanced processing provides additional data about the world on a redundant wavelength, capable of seeing through heavy rain, fog, dust and even the car ahead.
具有增强处理能力的前向雷达在冗余波长上提供有关世界的额外数据,能够看穿大雨、雾、灰尘甚至前方的汽车。

当然,单纯依靠雷达进行感知非常不容易,其必须要解决的问题就是误报和对静止目标的识别。从2016年9月特斯拉发表的一篇博文中我们可以看出,特斯拉通过几个手段去重点解决了雷达固有的问题,这些手段包括获取底层点云进行处理,结合时间序列进行处理和增加与额外先验知识的融合。在那个阶段能解锁雷达点云进行处理的确是一项很大的突破,也许是这一点让后面特斯拉形成了认识:只有充足的信息量才能获取更精确的感知。下面附上这篇博文:

UPGRADING AUTOPILOT: SEEING THE WORLD IN RADAR
虽然我们的软件第 8 版(V8.0)有几十个小改进,如下面的附录中所述,但对 Autopilot 最重要的升级将是使用更先进的信号处理来使用雷达创建对真实世界的建模。该雷达于 2014 年 10 月作为 Autopilot 硬件套件的一部分添加到所有特斯拉汽车中,但仅作为主摄像头和图像处理系统的补充传感器。
经过仔细考虑,我们现在认为它可以用作主控制传感器,而无需相机确认视觉图像识别。这是一个不平凡且违反直觉的问题,因为雷达中的世界看起来多么奇怪。这种波长的“光”很容易穿过雾、尘、雨和雪,但任何金属的东西看起来都像一面镜子。雷达可以看到人,但他们看起来是部分半透明的。由木头或涂漆塑料制成的东西,虽然对人来说是不透明的,但对雷达来说几乎和玻璃一样透明。
另一方面,任何具有碟形的金属表面不仅具有反射性,而且还将反射信号放大到其实际大小的许多倍。路上一个废弃的汽水罐,它的凹底面向你,看起来是一个巨大而危险的障碍物,但你绝对不想踩刹车来避开它。
因此,使用雷达停车的最大问题是避免误报。如果你要撞到一个又大又实的东西,那么猛踩刹车是至关重要的,但如果你只是要碾过汽水罐,那就不是了。有很多不必要的刹车事件充其量是非常烦人的,最坏的情况是会造成伤害。
解决该问题的第一部分是拥有更详细的点云。软件 8.0 使用相同的硬件解锁了对六倍多的雷达目标点的访问,每个对象的信息更多。
第二部分包括将这些雷达帧(每十分之一秒发生一次)组装成世界的 3D“图片”。很难从单帧中分辨出物体是移动还是静止,或者很难区分杂散反射。通过将几个连续帧与车辆速度和预期路径进行比较,汽车可以判断某物是否真实并评估碰撞概率。
第三部分要困难得多。当汽车接近位于道路上升处的高架公路路标或道路在下方倾斜的桥梁时,这通常看起来像一个碰撞路线。GPS的导航数据和高度精度不足以知道汽车是否会从物体下方通过。当汽车接近并且道路间距发生变化时,刹车已经太迟了。
这就是车队学习派上用场的地方。最初,车队除了记录路标、桥梁和其他静止物体的位置外,不会采取任何行动,根据雷达绘制世界地图。然后,汽车计算机将默默地比较它何时会根据驾驶员的动作刹车,并将其上传到特斯拉数据库。如果有几辆车安全驶过给定的雷达对象,无论 Autopilot 是打开还是关闭,都会将该对象添加到地理编码白名单中。
当数据显示错误制动事件很少发生时,即使摄像头没有注意到前方的物体,汽车也会开始使用雷达进行轻微制动。随着系统置信度的提高,当大约 99.99% 的碰撞确定性时,制动力将逐渐增加到最大强度。这可能并不总能完全防止碰撞,但碰撞速度将显着降低到不太可能对车辆乘员造成严重伤害的程度。
这样做的最终效果,再加上雷达可以穿透大多数视觉障碍,即使不明飞行物在零能见度条件下降落在高速公路上,汽车也应该几乎总是正确地踩刹车。
更进一步,特斯拉还将能够在前方车辆下方反射雷达信号——使用雷达脉冲特征和光子飞行时间来区分信号——即使在尾随一辆不透明的汽车时仍能制动。视觉和雷达。前面的车可能会在浓雾中撞到不明飞行物,但特斯拉不会。

特别的,Elon Musk也为毫米波雷达站台,在一些报道中我们得知:

“The most exciting thing is we're making much more effective use of radar,” Musk said on a call with reporters. The radar system was initially intended as a supplementary sensor to the camera, but radar has the potential to be considerably more versatile and responsive. “It does not matter what the object is, it just knows that there’s something dense that it’s going to hit and it should not hit that. Whereas the vision system really needs to know what the thing is.”
“最令人兴奋的是,我们正在更有效地利用雷达,”马斯克在与记者的电话会议上说。雷达系统最初旨在作为相机的补充传感器,但雷达有可能变得更加通用和响应迅速。“物体是什么并不重要,它只知道它会撞到一些致密的东西,它不应该撞到它。而视觉系统确实需要知道事物是什么。”
The result, Musk says, is a system that can "almost entirely eliminate false positives, false braking events." Indeed, the CEO predicted that people could see as few as one false positive over five years of driving.
这也有助于解释为什么特斯拉现在才准备好将雷达作为主要传感器。马斯克此前曾表示,雷达在实际上不必要的情况下引起制动事件时,很容易出现误报。现在系统已经改进到误报应该很少见的地步——马斯克没有确切的数字,但听起来特斯拉的目标是每年不到一次——自动驾驶系统可以利用雷达的优势其他优点。
“作为雷达,它可以透过雨、雾、雪、灰尘看到,而且很容易恢复,”马斯克早些时候在电话中描述雷达相对于相机的优势时说。“因此,即使您在路上行驶并且能见度非常低,并且前方有大量多辆车相撞,您也看不到它,但雷达工作,它会在之前启动制动你的车被添加到多车碰撞中。”
雷达系统最适合探测大型或金属物体,如汽车和卡车。马斯克承认,“蓬松”的物体可能会遇到更多麻烦。当被问及这对驼鹿或鹿等动物意味着什么时,马斯克说他不确定,但驼鹿可能足够大,特斯拉可以检测并避开它,但小鹿可能不会。
雷达的另一个独特优势是它能够超越眼前的事物。马斯克说:“我们有信心,我们可以通过将雷达波从道路和汽车周围反射回来,从而超越你面前的汽车。” “因此,即使有东西被掩盖,我们也可以利用雷达的反弹效应看到那辆车之外并仍然刹车。”

第三回 纯视觉力排众议 毫米波败走麦城

尽快在毫米波雷达上做了很多工作,但由于早期的毫米波雷达没有足够的高度测量能力,对一些静态目标仍无法很好识别。导致了很多撞车事故。

特别的,特斯拉Model 3开始,以及更新的ModelS/X Autopilot2.5版本(2017年8月后新车),配备的是大陆ARS4-B雷达传感器(官方命名:ARS410 CV),与博世的MRR相比,大陆雷达速度测量更精确(+/- 0.1kph vs 博世+/- 0.11mps),探测距离略长(170米 vs 博世160米),重量稍轻(130克 vs 博世190克),功耗略低(4W vs 博世4.5 w)。但大陆毫米波是否能提供点云我们不得而知,而且这种传感器的更换也必然对之前的很多底层的毫米波雷达数据处理产生影响:不同毫米波雷达的点云、目标特性可能存在很大差异,导致corner case也不同。很可能这种较难的适配性,也导致特斯拉放弃在适配供应商毫米波雷达上消耗过多的精力。

大陆ARS4-B

随着特斯拉自研视觉感知技术的快速发展,很多过去的问题都已不是问题,是时候展现自研视觉的威力了。在2021.4.9,Elon Musk在Twitter上宣布了在FSD Beta V9.0中将采用纯视觉的方案。

进一步的,在当年五月,正式宣布北美新的特斯拉 Model 3、Model Y将取消毫米波雷达,改采全数由摄影镜头侦测的Tesla Vision 纯视觉技术、来作为 Autopilot 驾驶辅助系统的基础。

Elon Musk 详细解释过他对雷达和摄像头的看法:

When radar and vision disagree, which one do you believe? Vision has much more precision, so better to double down on vision than do sensor fusion. Sensors are a bitstream and cameras have several orders of magnitude more bits/sec than radar (or lidar). Radar must meaningfully increase signal/noise of bitstream to be worth complexity of integrating it. As vision processing gets better, it just leaves radar far behind.
在雷达波长下,现实世界看起来像一个奇怪的幽灵世界。除了金属,几乎所有东西都是半透明的。
当雷达和视觉感知不一致时,你采信哪一个?视觉具有更高的精度,因此投入两倍的精力改善视觉比押注两种传感器的融合更明智。
传感器的本质是比特流。摄像头比特/秒的信息量要比雷达和激光雷达高几个数量级。雷达必须有意义地增加比特流的信号/噪声,以使其值得集成。

Musk对信息流判断是正确的,传统毫米波的信息量实在是太少了,当出现问题的时候,几乎没有途径可解。但这并不意味毫米波雷达不具备提供有效信息的能力,也不说明二者的融合没有意义。只是在输入有限的前提下,出于对业务优先级的考虑,侧重在进行视觉研发确实是一个不错的选择。

第四回 纯视觉大宴AI Day,A.K.三气毫米波

在特斯拉宣布去掉毫米波雷达之后,确实惹来了很多非议,但在随后的AI Day上,特斯拉确实展示了其强大的自动化数据标注能力和领先的多相机融合感知架构。这部分网上资料众多不予细表,配得上“惊艳”二字,也看得出特斯拉从底层进行了深入的思考。

另一方面,在CVPR2021的一个WorkShop上,特斯拉AI总监Andrej Karpathy在报告中展示了目前纯视觉感知的效果,并说明了为何不进行视觉-雷达融合。其解释了毫米波雷达目前的问题:

At random, it will give you a dumb measurement, and you will not know when that is. And so it’s incredibly hard to fuse with vision in our experience. So it might suddenly see us various stationary object because of a manhole or because of the bridge or crossing objects are not very well tracked.and it ends up contributing noise.
随机地,雷达会给你一个愚蠢的测量,你不知道那是什么时候。因此,在我们的经验中,很难与视觉融合。因此,它可能会突然提供给我们各种静止的物体,这些可能因为井或由于桥梁或交叉物体没有很好地被跟踪。它最终会产生噪音。

接着,列举了目前的纯视觉FSD在距离、速度、加速度测量上已经达到了传统(legacy)雷达的水平,如下图。这里依旧将毫米波作为真值测量进行对比。

随后,其列举了一些会触发数据采集的Trigger项,其中一项即是雷达与视觉的不匹配。好吧,既然认为纯视觉就ok,为何还要关注与雷达的不匹配呢?

进一步的,A.K. 详细列举了三个case说明毫米波的“不可靠”。这三个case诈一看都是比较有道理,但对任一个传感器,其都有本身的bad case。另外,仔细分析下,这三个case似乎并非完全无解。

第一个case是前车剧烈刹车的场景,雷达的结果出现了明显的丢失,并起始了新的航迹。导致后处理的反应较慢。首先,这个bad case对雷达其实是很不应该的,依靠高频的多普勒测量和匀加速运动模型,雷达应该有能力处理这种减速场景。其次,从图中看出雷达的数据丢失时间并不长,难道不可能通过后处理进行一定的“预测和链接”吗?

第二个case是一个雷达对静态桥梁的识别与视觉对桥下车辆的识别产生了关联,导致认为前方行驶的车辆是静止的问题。ok,如果会产生这种误关联,只能说这种关联策略初级到不能初级:依靠单帧的位置信息而不考虑任何其他。

第三个case说实话我没太看明白,似乎是雷达对前方静止车辆的感知距离比较近只有110米,但纯视觉就可以做到145m. 如果以惯有的逻辑,视觉单独的检出应该是可靠的,既然纯视觉可以检出在145米,为何融合要限制到110米,难道视觉一定要依靠雷达进行确认吗?对静止目标,雷达不高的分辨率是可能会引起漏检的。这实在是一个奇怪的逻辑。

总之,把不经过良好后处理的雷达结果与深入研究的FSD进行比较,个人认为这三个case都是有点让雷达以卵击石了。

第五回 自研4D再上表 特斯拉三顾雷达

今年6月,在毫米波雷达圈里一个比较爆炸的新闻就是。从FCC美国联邦通信委员会的公开文件中可以看出,特斯拉注册了一款4D毫米波雷达,并提交了详细的合规测试报告。很多人将这个视为马斯克的“低头”,并认为其将会是HW4.0的组件。

先看一下这款雷达吧,FCC官网上特斯拉上传了比较详细的测试报告,也透露了这款雷达的一些信息,比如六发八收,77GHz,最大扫频带宽700MHz,三个扫频模式,帧周期约67ms等。甚至标签上还贴了Made in China…总之从硬件上看起来是一款中规中矩的低成本4D毫米波雷达,符合特斯拉一贯低成本的特点,估计价格大概是现有激光雷达的1/10?但可能软件性能上有独到之处。虽然看到有博主认为毫米波雷达会作为HW4. 0的正式配件之一,但在消息落地之前,我们先以假设的态度分析吧。

话说解铃还须系铃人,回顾下当年特斯拉去除传统毫米波雷达时Musk的发言:“雷达必须有意义地增加比特流的信噪比,才能有被集成进来的价值。” 所以其实特斯拉并未抛弃毫米波雷达,严格而言是抛弃了传统毫米波雷达。也有消息认为这款雷达是特斯拉下场自研的,的确很合理,前文也说过,适配不同供应商是一项很痛苦的工作。“可能”引入4D毫米波雷达的原因除了上述所说“增加了比特流的信噪比获得了被集成的价值”,个人认为还有以下几点。

首先,毫米波雷达对驾驶安全的意义还是相当大的。Musk一直强调人眼能搞定的事靠视觉也可以,好的我们假设摄像头+机器视觉可以实现人眼+人脑的能力(对大部分场景的精度和稳定性确实超越了人,但相比人脑对问题场景的泛化理解能力可能还差的远)。总有人眼解决不了(解决不好)的场景,在这些场景下,车载人工智能(主要是主动安全功能)可能无法替代人驾驶,但可以配合人把驾驶安全性提到最高。而此时毫米波雷达的全天时全天候能力是必须的。特斯拉毕竟是全球售卖的,并不是每个地方的人都比较“头铁”,安全应该是多数人的共识需求。另外,就目前的一些主动安全测试评级而言,场景还都是非常basic的,大概率是无法体现纯视觉与融合方案的区别。

另一方面,4D毫米波雷达的加入对自动驾驶的提升有多少,我相信特斯拉已经有了一些明确的答案。多数认为毫米波雷达对自动驾驶意义不大的主要论点是:对于不依赖高精地图的FSD,视觉的道路静态元素(车道线红绿灯)感知能力是必需的,当视觉由于一些因素(如镜头脏污大雨)导致完全无法工作时,即使毫米波雷达性能再优,也无法实现真正的冗余感知(其实激光雷达也不行)。因此也就失去了存在的必要。但这其中有个问题是,从有效(或者效果好)到失效这一过程并非是严格从1到0跳变的。如果毫米波雷达的引入可以将失效的阈值从0.5降低到0.2,那么就是有意义的。毕竟马斯克追求的是“完全自动驾驶”,如果稍有异常就是BBQ了,那这自动驾驶可不够“完全”。

最后,从技术上看,与之前用的超低配大陆410雷达相比,这款毫米波雷达应该能提供更丰富且底层的数据流,加持以特斯拉强大的网络学习能力,应当可以发挥出远超传统“后融合”所能实现的增益。比如延迟更小的运动状态估计能力,特斯拉强大视觉运动估计能力的基础是对视频流的处理能力,但对一个刚出现的目标,当不存在“流”的概念时,毫米波雷达强大的“瞬时“测速能力即可以作为补充。另外,当4D毫米波雷达具备对静态目标足够的识别置信度时,与视觉的融合应该可以帮助特斯拉大幅减少重蹈近年来的各种撞车(撞飞机)事故的概率。

总之,且让我们拭目以待。

阅读原文,关注作者知乎!


END



网友评论已有0条评论, 我也要评论

发表评论

*

* (保密)

Ctrl+Enter 快捷回复