自动驾驶系统出现故障后，我们能找到原因吗？

　车云按：NHTSA对特斯拉事故的调查正在进行中，在关注结果的同时，主机厂最关心的还有如何找出原因。当深度学习算法被广泛用到自动驾驶汽车上时，监管者需要考虑的新问题是：如何在发生事故后评估这个系统？本文来自《麻省理工科技评论》7月7日推文，车云菌编译如下。

特斯拉Autopilot系统近期卷入两起事故，很多人都在关心——故障发生后，如何判断基于机器学习的系统出了什么问题，并进一步展开调查？

上月佛罗里达的特斯拉致死事故发生时，事故中的Model S正处于Autopilot模式。因为系统失效没能识别出卡车，便径直穿过车底导致了这起悲剧。特斯拉告诉过司机，在道路上使用Autopilot模式时要保持警惕，并且在一则免责声明中指出，强光可能会让系统失效。

今天，美国国家高速公路交通安全管理局（NTHSA）正在调查另一起特斯拉事故。上周在宾夕法尼亚州，一辆Model X在高速公路撞上路两侧护栏后翻到在地。驾驶员称，当时车的Autopilot模式处于开启状态。

特斯拉没有详细介绍过Autopilot具体是如何工作的。但是机器学习技术正在被快速运用于训练汽车系统，尤其是用在识别视觉信息。MobileEye是包括特斯拉在内的一些主机厂的机器视觉技术供应商，这家以色列公司提供的软件就使用了深度学习，可以识别车辆、车道线、路标和视频中得其他障碍物。

机器学习可以提供一种简单方式为电脑编程，搞定一些对人工编写代码而言非常困难的问题。举个栗子，深度学习神经网络可以训练机器精准地识别照片或视频片段中的狗狗，你只需要让计算机“观察”足够多的狗狗图片。

随之而来的缺点是，了解这些系统如何工作变得异常困难。

神经系统网络可以自行完成物体分类，但这其中包含了复杂的数学计算，也意味着我们并不能直接把神经网络拆分后理解决策过程。这就让计划之外的行为变得很难预测，如果系统出现故障，也就很难解释出现了什么问题。如果一个系统错误识别了照片中的某个物体，就很难（尽管并非完全不可能）了解图中哪个特征导致了错误。类似的难点也存在于其他机器学习中。

当这些算法被普遍使用，监管者就需要考虑如何去评估它们了。车企意识到自动驾驶汽车越来越复杂，监管者调查也变得越来越难。丰田正在MIT成立一个项目，专门研究事后如何解释自动驾驶汽车的行为。此外，这家日本车企还在针对自动驾驶汽车面临的挑战，进行一系列科研。

除了识别图像中的物体，深度学习还可以用来控制一辆车如何处理传感器数据。普林斯顿大学的一支团队正在基于大量的深度学习，设计一款自动驾驶系统。为不少主机厂提供一系列硬件的英伟达，也已经展示了一辆基于深度学习的自动驾驶汽车。

Karl Iagnemma是MIT首席研究型科学家，也是一家专门研究自动驾驶出租车的创业公司——nuTonomy的联合创始人。他表示，一种端到端的深度学习系统将变得很难查询。“你用安全驾驶的案例训练出一种黑箱算法，但是算法输出后却要应对变幻莫测的现实情况。”

Silvio Savarese是一位斯坦福的助理教授，主要研究领域是机器视觉，他对传统机器学习的一个使用心得是，算法缺乏人类那样的能力去根据多种多样的信息来下结论。比如，一个人可以根据一辆车的轨迹变化，判断它会不会成为自己的障碍物。“我们会使用很多外部环境信息来进行判断，现阶段的机器学习还无法企及。”

特斯拉的调查正在受到自动驾驶研究人员的密切关注。无论结果如何，这个现象都体现了一种公众对技术及其安全性的担忧。Iagnemma不希望看到人们面对事故表现出那种本能的担忧和畏惧。“现阶段，这样的反应会为技术发展带来障碍。如果人们集体认为发生事故就意味着研发人员行事鲁莽，这会为技术发展筑起很高的屏障。”