一文读懂自动驾驶汽车中的远红外传感器集成问题

gk-auto

当前，为了最终实现3级和更高级别的自主性，并将完全自主的车辆推向大众市场，许多AV开发商已经达成共识，即每辆车必须配备多个传感器。具体来说，为了能够全面检测和最全面地了解车辆周围环境，汽车制造商倾向于使用多个远红外（FIR）传感器，因为这项技术可以提供最高水平的安全性。

由于在动态照明、恶劣天气和夜间场景中具有超级检测功能，远红外传感器可以轻松为AV提供冗余安全性。除了这些令人印象深刻的传感能力外，目前正在经历下一代汽车工业革命的远红外传感器技术对于大众市场的部署也是独一无二的。由于这些原因，市场现在认为热传感器必须是自动车辆传感器套件的一部分，以提供最高水平的安全性和对周围环境的最准确的视觉和感知。

对于希望将远红外传感器集成到其车辆传感器套件中的原始设备制造商来说，主要问题是：远红外传感器的最佳用例是什么？何时以及如何将FIR与其他传感模式融合以创建一个完整的传感解决方案？

远红外传感器的最佳用例

远红外传感器在任何环境条件下都能提供可靠、准确的实时检测。与同时发射和接收信号的雷达和激光雷达传感器不同，远红外相机通过探测物体辐射的热能被动地收集信号。通过感应远高于可见光的红外光谱，远红外摄像机可以获得与其他感应技术不同的电磁光谱波段。大部分电磁频谱被大气阻挡，只有狭窄的光谱窗口可以让电磁辐射通过。可见光窗口大约跨越400到700纳米波长，而通常用于低成本热成像仪的红外窗口跨越8到14μm波长（也称为长波红外）。因此，远红外相机可以生成新的信息层，使得它成为一种全天候解决方案，使得AV能够检测到雷达、相机或激光雷达可能无法察觉的对象。

通过访问不同波段的电磁频谱和感测物体的热能，远红外传感器还能够无缝识别车辆周围的任何活体，这项技术也被证明是非活体物体探测的最佳方式。除了读取物体的热信号外，远红外摄像机还捕捉物体的发射率，即物体释放热量的速率。发射率受每个物体表面材料的影响，因此具有不同表面性质的每个物体（例如，道路上的裂缝与人行道上的裂缝）将具有不同的热特征。因此，由于每种材料都有不同的发射率（和不同的反射比（即照射在其表面上的反射比）），远红外相机可以立即检测并分类在其路径上的任何生物或非生物。

远红外传感器的另一个强大的使用案例在于它能够在照明条件下提供不变的图像，即它的图像感知不受对象颜色、对象背景、照明方向、多种光源、镜面反射的影响，也不会因正常CMOS图像中的光照条件变化而引起的许多其他图像不规则现象。例如，尽管CMOS相机通常非常擅长检测车道和其他道路标记，但由于CMOS图像中视觉道路外观的高度差异，它们可能难以准确检测可行驶道路区域（即使在白天）。远红外图像中的视觉道路外观变化较小；在许多不同的照明条件下，它保留了相似的特征，为照明条件提供一个不变的图像对于自动驾驶车辆能够以理解和应对活体和非活体物体所需的最高质量看到其周围环境至关重要。

远红外传感器与CMOS如何融合以获得完整的传感解决方案？

尽管远红外传感器优越的图像感知能力使其能够在各种恶劣天气和照明条件下以及行人和动物期间（与CMOS传感器相比）成功地提供覆盖，但该技术的支持者并不建议红外传感器取代所有其他传感器作为唯一的感知手段。相反，他们肯定远红外传感器与CMOS解决方案相融合，以提供实现完全自主所需的更全面的传感能力。红外传感器和CMOS可以协同工作于各种重要任务。

“看到”标志

红外传感器和CMOS传感解决方案可以帮助自主车辆更好地看到和理解街道标志。为了有效地响应交通标志，车辆必须首先识别并将标志与背景分开，然后阅读。然而，CMOS和红外传感器都不能独立地执行这两个任务。

由于红外传感器是通过评估物体的热特征和发射率来实现功能的，因此它无法看到细节的颜色（即它很难读懂标志）。另一方面，CMOS不能有效地检测出热同相区，并将它们与背景区分离，而红外传感器可以毫无缺陷地实现这一点。结合使用这两个传感器，然后（其中红外传感器从背景中清楚地识别交通标志，CMOS解决方案读取标志），允许自主车辆最好地看到和理解其周围环境。

区分有无生命体征的物体

红外传感器和CMOS也可以结合使用以实现最佳的对象分类。由于它能评估物体的热特征，所以红外传感器是目前最容易立即区分活物体和非活物体的传感解决方案之一。对于3级或更高级别的自主车辆，这是控制和决策的关键信息。相反，对于非活体物体的一般检测，CMOS解决方案可以提供比远红外传感器更高的分辨率——但只能在良好的照明和天气条件下。因此，通过将来自CMOS解决方案的一般对象检测与来自远红外传感器的热信息相结合，汽车制造商能够更好地实现对场景中所有存在和不存在的对象的全面理解。

检测车辆的可驾驶区域

在某些情况下，CMOS解决方案足以为自主车辆提供足够的车道检测；然而，由于CMOS生成的RGB图像中道路的视觉外观存在很大差异（即使在白天），因此可能难以准确检测车辆的整个可驾驶区域。此外，基于CMOS的可驱动区域检测在部分或完全黑暗中可能会严重受损。另一方面，远红外传感解决方案产生的路面图像变化较小，即道路的外观在所有环境条件下具有相似的特征。然后，远红外和CMOS传感解决方案的融合，可以为自主车辆提供更好的可驾驶区域检测系统，从而完成任何路径规划任务。

虽然毫无疑问，要使Level-3和更高的自主性进入汽车市场，必须具备卓越的检测能力和经济实惠的价格，但如果原始设备制造商最终在审美上不尽如人意，他们也不太可能认真追求技术，但消费者仍然必须喜欢汽车的外观。然而，目前正在开发和试用的自动驾驶汽车并不总是像技术先进的汽车那样美观。例如，许多这样的车型在车顶上都有巨大的激光雷达——如果原始设备制造商想将自动驾驶汽车推向大众，他们很可能会放弃这种突兀的设计。

A_ZXC

淡定，淡定，淡定……

wx_WeEfIZIy

强烈支持楼主ing……

嗨，我是小洁

蹲个后续，楼主记得更新呀，在线等挺急的～

twk2019

同款经历！简直是世另我

工控新手

占个楼慢慢看，先马克一下
楼主辛苦啦，期待下一篇分享

hhhh168

不请自来，就想夸一句：太顶了！

bioler

赞同 + 10086，没毛病，完全没毛病

wx_A9w9MHGt

我先占个楼，等下再慢慢看～

优秀

这评论区卧虎藏龙，个个都是人才！