继我们深度体验小鹏 P5 的 L2 基础辅助驾驶后，小鹏汽车官方正式释放一段三分钟的「城区 NGP 」体验视频，尽管依旧是「犹抱琵琶半遮面」，但对应着新车的上市，先让我们先解解馋！

这次体验的场景颇丰，点到点的城市 NGP 辅助驾驶中全程无人为接管，包括环岛、对红绿灯的识别与启停、绕行静止车辆以及无保护右转等场景。

那作为国内首次公布露出的纯城市领航辅助驾驶的体验 ，我们利用这次机会来看看城市中我们遇到哪些难点，而小鹏 NGP 是如何解决的 ？

一、我们先来回顾 P5 的硬件配置

眼观六路、耳听八方，首先我们来看看 P5 上搭载了哪些硬件。

• 辅助驾驶系统：XPILOT 辅助驾驶芯片：英伟达 XAVIER 芯片+智能控制器
• 摄像头数量：13 个（1 个前三目摄像头+4 个环视摄像头+两侧翼子板和后视镜共 4 个+1 个尾部摄像头+1 个车内摄像头）
• 超声波雷达：12 个
• 毫米波雷达：5 个
• 激光雷达：2 个

此次更具看点的是新车搭载的两个来自大疆 Livox 的车规级激光雷达，采用视觉感知系统、激光雷达以及毫米雷达等在内的多传感器融合，我们也看到这是小鹏在 3.0 系统后累积的数据闭环优势，那 3.5 架构下的算法在应对城市更为极端的场景中表现如何呢？

二、小鹏城市 NGP 是不是噱头派？

首先我们来看看视频中的场景有哪些场景，以及小鹏城市 NGP“克服”了哪些难点：

场景一：躲避静止车辆

在国内骑着两轮电动车的外卖小哥偶尔也“疯狂”，例如从马路一边横穿到另一边、或者是直接停在路边等，这在中国各大城市中都是非常常见的场景。

在这次的场景中我们看到 P5 左上角、右上角有两个外卖小哥，并且有一个外卖小哥还是骑一半中途停下来看手机；另一个代表场景是我们跟随的公交车靠边停车下客。

难点一：对“外卖小哥”做稳定检测、分类以及预测。

我们返回几帧可以看到外卖小哥是在驾驶电瓶车后突然停下来查看手机，首先辅助驾驶系统需要对外卖小哥做实时的感知检测，确保其在我们的“视野”内，否则系统会因为误检、漏检而忽视它的存在。

这里的难点在于外卖小哥的车型相比其它社会车辆更小，一开始还受到前方车辆的实现遮挡，系统需要实时检测周围交通参与者的大小、数量、位置，这样才能做稳定跟踪。

我们看到小鹏激光雷达赋能城市 NGP 中主要在提升横纵向位置的识别精度，包括行人、电瓶车以及小体积障碍物等的检测。

而除了感知这个基础，城市道路考验的还有对目标物的行为预测，也就是要预判物体的“状态”，同时还要预测我们做的每一个决定对它们有没有影响。

电瓶车的速度快、随机性高，行人速度慢、随机性更高，所以系统需要对各种类型目标物的预测做设定，这也是城市场景中的一大难点。

难点二：做正确的行为规划

规划的第一层任务除了有一个起点和终点，也就是一条导航路线指引我们往哪里开，例如左转应该到哪个车道等。

但规划并没有因此结束它的任务，它还需要根据环境来实时做新的规划（例如我们所遇到的城市修路、静止车辆等），这也是城区 NGP 的一个重点难点。 

过去所有的 L2 级基础辅助驾驶中遇到这样的场景都会直接让车停下来或者提醒驾驶者接管。

但在城市 NGP 中规划需要进入第二个层次，也就是根据实时路况决定行驶轨迹，例如在车道里是偏左偏右、或者是超车、绕行。

例如前方这辆公交车，我们要准确预测到它是在等红灯？上下客？还是属于静止车辆？下游需要等待还是避让其实都是不同的。

虽说这只是一个简单的避让动作 ， 但已经涉及到了智能驾驶系统的上游感知 、预测以及下游规划 、控制的一整个链路 。

特别是小鹏此次公布的测试场景，人车较为复杂需要考验的是传感器融合后的精度以及感知算法的准确性，此时小鹏全栈自研的优势也开始凸显出来。

场景二：环岛通行

我们看到 P5 通过的第二个场景是环岛通行 ， 此前我们也针对  P7 在  ACC+LCC 状态下对环岛通行做“实验” ， 结果如我们所想的一样 ，LCC 在即将进入环岛时就退出了 。

XPilot 3.5 的到来有了城市高精地图的加入，新架构的算法表现如何呢 ？

这里我们看到  P5 无论是入环岛、环岛状态下的曲率弯、岛内遇无标线、岛内遇加塞以及最后出岛都表现稳定。

我们注意方向盘没有过多的来回反复调整，也没有出现突然加、减速的场景 。

当然这也不单全是高精地图的功劳，高精准的定位依旧是通过环岛的关键因素。

我们看到 P5上搭载的一套黄金定位组合 ：GNSS 以及 RTK+高精度 IMU， 彼此“相濡以沫”，以此来减少定位误差 。

有异于在高速路况，我们知道 GPS 在城市有大量高楼遮挡等带来误差 ，所以 IMU 也可以在 GPS 信号中断时提供短暂的定位信息。

当然实际定位还需要利用多传感器的组合，包括摄像头、激光雷达通过把看到的信息和高精地图做匹配 ，完成定位 ， 基于多传感器融合的解决方能先让能够保证车辆输出正确的位姿 。

所以通过时我们除了需要在导航系统中获取「高精地图」信息完成粗定位 ，还要根据传感器匹配车道线等做高精定位， 包括横向定位与纵向定位做进精准定位，这也将直接决定了环岛、掉头、十字路口左右转等等体验舒适性。

 场景三 ： 通过红绿灯路口

除了动静态物体的识别 ，另一类是环境信息的识别，例如我们常见的车道线、红绿灯、交通锥、减速带以及人行道等的语义检测。（例如识别到人行道我要知道这代表着有行人通过、识别红绿灯要知道我要停车或者变道等）。

我们看到实测视频中有各种类型信号灯，带红绿黄灯的信号灯、以及还有频闪的黄色信号灯等。

它们分别代表着不同的信号，除了简单的识别还要知道它们分别传达出着哪些信号（语义信息）。

除此以外，我们还看到了在通过斑马线时，系统也要捕捉到斑马线信号后，做了一个刹停等待的动作，在等待行人通过后系统加速通行。

当然这里的逻辑设定可能还可以做新的优化：

系统加速通过的设定的可能是为了满足通行效率，同时避免系统陷入新一轮的人车博弈中，但斑马线路口当前还需礼让行人的设定。

从城市 NGP 、高速 NGP 以及泊车三大场景的演进中我们可以看到小鹏全栈自研的优势开始显现，而城区的场景更为复杂，对传感器融合的感知精度与感知算法的准确性提出了更高的要求。

当然这也得益于小鹏所搭建的感知框架，通过优化算法框架来解决更为复杂的城市难题，未来小鹏将进一步优化下游的规划、控制与地图算法，城区 NGP 将带来更多以用户体验为中心的想象空间。

三、压箱底 ： 关于城市 NGP 的问答

我们与小鹏汽车自动驾驶产品经理朱雁鸣进行了一次对话。

问题一：NGP 的开放顺序 ？

朱雁鸣： 由于面对的是全场景 ， 小鹏会以用户的「 最高价值 」作为前提，在落地层面上会基于用户高频出行的热门场景中逐一开放和优化，而不是基于传统的按一线城市、高速、城快等传统的划分 。

我们会把像拥堵场景作为率先攻克的目标，先把通过性、效率和舒适性做好，减少用户的「垃圾时间」；

问题二：高精地图的数据偶尔会出现缺失，能否通过过滤来提高连续性？

朱雁鸣：过滤比较难，我们现在整个的方案里面也是为了安全考虑，没有高级驾驶辅助地图的地方仍然会降级或者是退出。

问题三：高精地图如何确保鲜度 ？

朱雁鸣： 小鹏还是会和高德地图进行合作，并且通过一种新的方式会确保地图鲜度，我们确保交付给用户时会有一个 「 保证高鲜度地图 」的更新方式。

问题四： 关于接管的优化

朱雁鸣： 我们第一期发布的时候预计会达到一个很好的状态，接管的设计上会更加平滑，不是当前主流的直接撒手扔给用户接管 。

主要基于两个策略：

第一个是根据地图的信息 、或者是收集到的信息提前告知用户 ；

第二个是出现高危问题时的接管，来不及沟通时系统会采取“先保证自车安全”的接管策略，而不是撒手不管。

问题五：关于激光雷达

朱雁鸣：激光雷达主要作用其实就是两个：

第一个是准，对于距离、速度感知是最准的，所以为什么前向需要它，城市要做的是针线活，所以很多细节化的操作策略是需要一个非常精准的距离感知去做的；

第二个是细，我们原来讲毫米波雷达它是一个可以对于目标做到大范围追踪的，激光雷达是做小范围追踪的，对一些比较远的地方就可以提前感知到。

问题六：XPILOT 3.0 能否实现城市 NGP 么 ？

朱雁鸣 ： XPILOT 3.5 反哺 XPILOT 3.0   这个答是肯定的， XPILOT 3.5 整个背后的感知算法都有所提升 。

但在 XPILOT 3.0 这个平台上我们可能会规划下放一些城市 NGP 的功能，但不会把整个城市 NGP 的能力全部进去，这也是受现在的硬件的设计限制的。

问题七：关于城市 NGP 左转、右转策略：

左转右转策略会结合斑马线以及其他的特征，会做一些速度上的调整 ；其实无保护既难又简单，更多的是说怎么去在整个场景当中寻找一条自由的路线。

量产的小鹏城市NGP，无保护左转和右转要把体验和安全都做到最好。

问题八：小鹏当前的相机的像素是否够用 ？ 如何看待当前主流的八百万摄像头 ？

其实这是一个工程问题和一个科研问题的对比，科研上算力不够可以加摄像头像素，但我们会以一个工程性的方案去考虑，有很多软件或者算法的方法其实可以把现有的潜力利用得更好 。