据外媒报导，日前，Waymo表明开发了新办法SurfelGAN，运用自动驾驶轿车搜集的传感器数据，经过AI生成用于仿真的摄像头图画。SurfelGAN运用纹路映射外表元素(surface elements，简称surfel)重建场景和摄像头视角，以获取方位和方向。
比方Waymo这样的自动驾驶轿车公司运用仿真环境来练习、测验和验证体系，然后再将体系布置到实际国际的车辆中。规划模仿器有多种办法，但一些根底的模仿器疏忽了关于场景了解至关重要的头绪，比方行人的手势和闪耀的灯火。而像Waymo CarCraft这样更杂乱的模仿器，因为企图对资料进行高度准确的建模，因而需求消耗很多的核算资源，以保证像激光雷达和雷达等传感器在实在国际中可靠地作业。
跟着SurfelGAN的推出，Waymo提出了一种更简略的、数据驱动的办法来模仿传感器数据。SurfelGAN从实在国际的激光雷达传感器和摄像头获取数据，创立并保存场景中所有物体的3D几许、语义和外观的丰厚信息。然后，再从不同的间隔和视角烘托仿真场景，以进行重建。
Waymo讲话人称，“在仿真中，当自动驾驶轿车和其他路途运用者的移动轨道发生改变时，体系会生成实在的视觉传感器数据，协助咱们在新的环境中建模场景。部分体系正在生产中。”
SurfelGAN运用纹路增强外表元素地图的场景表明办法，这是一种紧凑、易于结构的场景表明办法，能够在保存传感器信息的一同坚持合理的核算功率。SurfelGAN将激光雷达扫描到的体元(3D空间中界说点的图形信息的单位)转换成外表元素盘(surfel discs)，可根据摄像头数据预算色彩，然后对这些元素进行后处理，以处理光线和姿势的改变。
为了处理车辆这类动态物体，SurfelGAN还运用了Waymo Open Dataset中的注释。爱好物体的激光雷达扫描数据不断堆集，以便在仿真中Waymo能够生成轿车和行人的重建。
SurfelGAN中的生成对立网络(GAN)模块担任将外表元素图画烘托转换成传神的图画。其生成器模型从运用散布采样的随机噪声中生成组成示例，这些示例连同来自练习数据集的实在示例一同反馈给鉴别器，而鉴别器视图区别这两者。生成器和鉴别器的才能不断提高，直到鉴别器无法区别组成示例和实在示例。
SurfelGAN模块以一种无人监管的方法进行练习，意味着其在没有参阅已知、符号或注释成果的状况下揣度语料库中的形式。风趣的是，每逢鉴别器正确地辨认组成示例时，就会告知生成器怎么调整输出，然后愈加实在。
Waymo进行了一系列测验来评价SurfelGAN的体现，给它输入了798个练习序列，包含20秒的摄像头数据和激光雷达数据，以及来自Waymo Open Dataset数据会集关于车辆、行人和骑行者的注释。SurfelGAN团队还创立和运用新的数据集Waymo Open Dataset-Novel View，为原始数据中的每一帧创立全新的外表元素图画烘托。
最终，Waymo搜集了未注释摄像头图画的额定序列(共9800个，每个100帧)，并构建了一个称为双摄像头后数据集(Dual-Camera-Post Dataset，DCP)的语料库，以丈量SurfelGAN生成图画的实在度。DCP可处理两辆车一同调查同一场景的状况；Waymo运用来自榜首辆车的数据重建场景，并在第二辆车的准确姿势下烘托外表元素图画。
研究人员称，当SurfelGAN生成的图画提供给现成的车辆探测器时，最高质量的组成图画达到了与实在图画相同的规范。SurfelGAN还改进了DCP(双摄像头后数据集)中的外表元素烘托，在必定间隔内生成更传神的图画。此外，研究人员还证明，SurfelGAN生成的图画还将车辆探测器的均匀精度从11.9%提高到13%。
Waymo指出SurfelGAN并不完美。例如，它有时无法从损坏的几许图形中康复，导致车辆看起来不实在。在没有外表元素信息的状况下，AI体现出了很大的差异。尽管如此，研究人员依然以为SurfelGAN是未来动态物体建模和视频生成仿真体系的坚实根底。
