布景
1.1概述
轿车是现代社会最为有用、运用最为广泛的交通东西之一，是保持人们正常日子作业所不可或缺的一部分。可是，轿车的许多出现，日益频繁的交通堵塞和交通事端，严峻影响到人们日常日子的便利和作业的功率，乃至危害到人们的生命安全。研讨剖析标明，每个交通事端均不同程度地涉及到驾驭员、轿车和路途环境要素，而与驾驭员要素有关的事端约占九成，驾驭员的人为失误现已被公认为是交通事端的首要原因。怎么削减“人”在交通体系中发挥的不确定要素，现已成为轿车安全范畴研讨的要点。经过先进的技能手段增强驾驭员感知才能，乃至代替部分驾驭使命，为车辆供给日益完善的安全预警和辅佐驾驭功用，逐渐完结车辆的智能化，并终究走向彻底无人驾驭的智能车辆，必将是处理交通安全问题的根本途径。
跟着图画处理和计算机视觉的快速开展，越来越多的先进技能被运用到轿车电子范畴，传统的依据图画的辅佐驾驭只在轿车车尾设备倒车摄像头，只能掩盖轿车周围的有限区域，而车两边和前方的视觉盲区无疑添加了安全驾驭的危险。
咱们具有自主知识产权的车载全景视觉技能是将散布设备于车辆周边的图画传感器捕捉的图画进行组成和投影，在人机界面虚拟一个单一的全景图画，而且这个图画时无盲区的，能够360°的调查车身周边的状况。一起，这个图画经过组成和投影，构成契合人的思维习惯的全景图画。
1.2研讨现状
车载传感器类型如表1所示，在这其间，全景视觉传感器技能遭到越来越多的重视，并成为车载电子设备未来开展的首要方向。归于视觉感知技能之一的全景视觉传感器技能是智能感知交通环境重要的技能手段，它能够全方位、全天候、全时段地监督、剖析和记载车表里的状况，为报警体系、操控体系和安全躲避体系供给最直观的状况信息，也为车辆和乘员的安全维护供给了事前告之、进程记载和过后重现的技能手段。特别是在杂乱的路途环境下，经过全面的视觉技能，能够使驾驭者的调查得以延伸和扩展，真实做到“眼观六路”，掌控大局。
车载全景视觉传感器分为两种，即把拍照的图画供给给驾驭者观看的“显现用视觉传感器”，以及把拍照的图画传送至计算机进行处理的“处理用视觉传感器”。 车载全景视觉传感器往后的开展趋势有如下几个方面：
（1）处理用视觉传感器的敏捷遍及；
（2）处理用视觉传感器的多功用化；
（3）显现用视觉传感器和处理用视觉传感器的交融。
表1：各种跋涉传感技能的比较
|
跋涉传感技能 |
技能特色 |
缺陷 |
勘探规模 |
|
超声波 |
本钱低、勘探准确。 |
规模小、受雨雪影响。 |
5m |
|
脉冲雷达 |
丈量间隔远、准确。 |
波束窄，只合适前后盲区勘探。 |
>100m |
|
多普勒雷达 |
丈量间隔远、丈量准确、可多天线矩阵合作运用。 |
体系杂乱、本钱高。 |
>100m |
|
射频标识 |
相互告诉方位、本钱低，体系牢靠。 |
有必要为每个设备、人装备发射标识，运用不便利。 |
>100m |
|
全景体系 |
360度全景、直观（非量化信息）有用性高、有杰出的人机界面、便于再现重放。 |
|
>100m |
在BMW和NISSAN的高端车型上，现已开始运用多个摄像头来辅佐驾驭员的操作和泊车，在VOLVO的XC60，XC90等概念车型上，现已开始运用图画辨认技能来辅佐驾驭人员的并线和巡航操作。在LEXUS的部分概念车型上，也有运用单目摄像头来进行简略的主动泊车的演示体系。
依据第三方的商场研讨公司 Techno Systems Research (TSR) 的研讨指出，在 2008 年时约有 20% 的新车装备整合式开麦拉，而到了 2012 年时估计将添加到挨近 70%，而且会有很大份额新车设备至少2个以上摄像机，车用视频设备行将成为各类车辆的干流装备。
表2：已选用视觉感知技能的轿车范畴运用比较
|
|
形状 |
厂商 |
功用 |
技能含量 |
补白 |
|
低端产品 |
倒车后视镜 |
许多小品牌 |
后方视频 |
低 |
产品老练 |
|
中低端 产品 |
倒车可视体系 |
国内的银声、 合正等 |
后方视频 雷达测距 GPS |
低 |
产品老练 |
|
中高端 产品 |
倒车可视体系 车载多媒体 |
常见于高端车型 |
后方视频（侧方视频） 多媒体功用 GPS |
低 |
产品老练 |
|
研制类 产品 |
夜视和行人检测 |
丰田 |
夜视摄像头供给红外图画，经过红外摄像头头完结行人，动物检测 |
较高 |
研制阶段 |
|
可视全景体系 |
日产轿车 松下电器 三洋电机 |
多摄像头实时视频组成无盲区全景俯视图 |
高 |
研制阶段 |
|
|
主动驾驭辅佐体系 |
富士重工 |
经过双目摄像头主动勘探前方行人，车辆，妨碍的间隔，以摄像头模仿人眼。 |
高 |
研制阶段 |
图画能够供给给运用者最直观高效的辅佐信息。人类大脑的含糊思维和判断才能决议了，人随意环视图画所取得的信息量和信息准确性远远大于吃力地调查若干外表所能得到的信息量和信息准确性,而且图画办法得到的信息愈加直观牢靠。如表2所示，能够预见在不远的将来，依据全景视觉传感器技能和图画辨认技能来完结辅佐驾驭和安全功用的体系将广泛运用于各类车辆，然后成为无人驾驭轿车和智能导航体系的关键技能。
本规划的终究方针便是要给出依据FPGA技能来构架SOC完结的以全景视觉处理为根底的轿车环视体系。经过4路广角摄像头实时收集数据，并将收集到的4路视频数据进行预处理和配准拼接等一系列处理完结360度的实时全景视觉图画，并经过VGA显现器进行显现。
研讨办法和技能道路
在体系构成方面，体系首要分为三个部分，图画收集、图画处理及显现。图画的收集是运用4路模仿摄像头，经过自行规划的视频收集电路板接入图画，并经过DMA将实时图画数据搬到存储器中。这儿选用了NTSC制式的模仿摄像头，摄像头的功能和显现作用一般。咱们的研讨要点是选用愈加高效的算法和规划思路，在现在有限的资源条件下，最大极限的运用资源以到达最佳的规划和显现作用。
图画处理部分是选用依据区域匹配的图画组成算法，将收集到的图画数据进行相关的算法操作，并终究经过显现部分呈现出经过组成算法处理后的全景图画。在对现有算法的研讨根底之上，咱们对现有算法进行了改善，规划出了合适现有规划渠道及资源的愈加高效的算法，而且还对算法较为耗时的部分进行了硬件化处理，使图画处理部分的功能到达最高。
本体系对显现部分选用了硬件完结，直接将图画的显现经过硬件直接处理，为耗时更多的图画处理部分节省出更多的CPU资源，以使整个体系的效能到达最优。
体系的完结是在实验室环境下，运用了xilinx公司的Vertex-5 FPGA渠道，充分运用和发挥其资源以及FPGA在硬件开发方面的优势，在小车模型根底上进行视频组成，图画剖析的研讨和完结，并建立相应的模仿仿真环境，进行图画处理和剖析算法的规划和验证，对获取的图画和视频进跋涉一步的学习和分类，并依据分类的成果对算法的参数进行分类和调整，在实践运用进程中，体系将依据实践条件主动调理算法的参数，分路况对体系进行测验，并依据实践测验的成果不断反应，然后持续改善和优化算法，直到体系到达终究的作用。
规划结构
图1体系全体规划结构图
体系的原理首要依据体系的全体结构进行区分，如图1所示，体系全体分为图画收集部分、图画处理部分和显现操控部分。
图画收集部分
图画收集部分选用自行规划的视频收集电路板，视频数据经过Vertex-5的GPIO接口接入，经过一个自行规划的硬件BT656解码器，将图画数据帧的纯数据提取出来，然后由DMA将其搬入到Vertex-5渠道的DDR2 SDRAM中。整个收集进程是由硬件独立完结，仅在体系的上电初始化阶段由CPU参加，在后续的图画传输进程中数据流能够独立运转。
图2视频收集结构图
接入FPGA后的数据处理如图3所示，经过转化和解码后的视频数据首要接入FIFO中，并由DMA从现已自行规划的流接口操控模块将FIFO中数据搬入DDR2_SDRAM中，后边将由Macroblaze软核对图画数据进行处理。
图画处理部分
图画处理部分依据Macroblaze软核并结合用户自界说规划模块进行。图画处理的作业首要由自界说规划的模块完结，本规划中，因为涉及到多路图画的处理操作，数据吞吐量和处理作业都比较巨大，仅靠Macroblaze处理器很难完结预订的运算量，因而，本规划的一个特色在于，将定制大规模的图画加快处理自界说硬件模块，以完结对图画处理的操作。
其间Macroblaze首要担任进行外设的办理装备，数据流操控，以及显现交互操控。图画的收集、预处理部分的作业，需要将视频视频解码并由DMA将传输入视频数据搬入DDR2 SDRAM中。
图3. 体系软件流程图
如图3所示为体系的软件流程图，其间标红的部分为待挑选完结的内容，往后将对这几部分进行完结，视频的组成算法研讨是本体系终究完结的部分。图画的组成算法选用了依据区域匹配的组成算法，本算法在对两幅图画之间的边际处理上具有很高的拟合特性，与依据特征点匹配的组成算法比较，图画的边际痕迹愈加的淡化，图画的组成作用更佳。
显现操控部分
图4 经过PC模仿算法的显现作用
图4为在PC机上履行算法后的图画显现作用。图画终究经过Vertex-5的DVI转接VGA接出，后续的作业还将选用触屏VGA显现器，以进步产品人机交互的易用性和友好性。
体系实施与测验
视频收集部分
1、视频收集部分的PCB规划
视频收集电路板的规划东西为Cadence 16.3，主芯片选用了TVP5150，电路板接入了六路模仿视频图画，咱们在本体系中仅运用了其间的4路，别的的两路是本体系在针对大型作业车辆而规划添加的额定的摄像头。下图为收集板的规划原理图：
图5 视频收集电路板原理图
视频的A/D转化部分
此部分选用了六个TVP5150芯片进行视频解码。因为其运用简易，超低功耗，而且封装极小，因而被广泛运用。
此部分的规划原理图如下：
图6 TVP5150解码芯片原理图
电源部分
电源部分的供电首要有3.3V和1.8V。电源芯片选用了X1117芯片，原因上面现已讲过了，在这儿就不再赘述了。原理图如下：
图7 电源芯片
外围接口及时钟
依据TVP5150芯片材料，时钟选用了14.31818MHz的时钟芯片。为了确保芯片的时钟供给的稳定性，规划中选用了3片时钟芯片，每两片共用一个时钟芯片，以确保芯片的作业稳定性。
外围接口和时钟原理图如下:
图8 时钟芯片原理图
图9 与Vertex-5渠道衔接接口界说原理图
本体系的电路板选用了4层板规划，布局布线后的作用如图6所示。
图10 视频收集电路板布局、布线图
终究电路板的实物图如图7所示。
图11视频收集电路板实物图
2、频数据的收集
这个部分又能够分为两部分：1、视频收集电路、数据格局转化及缓冲区的设置。2、Microblaze软核，详细的Microblaze体系结构如图12所示。
图12. Microblaze体系结构图
如图4所示，摄像头收集到的数据首要经过A/D芯片，将模仿信号转化为BT656规范的数字信号，这儿的信号首要有8位数据线、27MHz的输出时钟、行同步信号（HS）和场同步信号（VS）。经过转化模块将数据转化为去消隐后的BT656规范的数据，这儿的输出信号为16位数据信号和写使能信号。
图13. TVP5150芯片视频编码格局
图14. ITU-656视频格局
然后写入到读写时钟异步的FIFO中，FIFO与流控模块FIFO_ST相连。后续的数据搬移操作就由DMA来进行了。
数据的收集处理办法，选用了DMA + FIFO的办法，因为视频收集的数据量较大，这儿更合适选用流传输形式。因而，此部分运用了合适进行流数据传输和搬移的DMA。
图画处理与显现
因为Microblaze软核的主频运转速率最快只能到达200MHz，在其上运转视频组成算法每秒不到1帧，因而，咱们将原有的算法在PC机上运转，并生成相应的数据组成映射表，为了进步查表功率，还将大表分解为小表，使查表速率得到了必定的提高。可是此刻体系的运转速率依然不能满意显现要求，所以，咱们充分发挥了FPGA的优势，将查表模块进行了硬件化完结，终究到达了显现的要求。
定论
本体系依照预期的方案，完结了既定的使命和方针。充分发挥了FPGA渠道的优势，而且在这个进程中咱们也处理了许多技能难题：经过自行规划的视频收集电路板，处理了Vertex-5的多路视频接入的问题；处理了许多数据的搬移和处理问题；规划改善了现有的图画组成算法，并加以硬件完结进步了体系的功能。但在显现作用和运转速率上依然有提高空间，在后续的作业中咱们还将参加车道线辨认、并线辅佐、主动刹车等功用，不仅如此，还有可能对现有设备再进跋涉一步的晋级，将原有的模仿摄像头更换为数字摄像头，以到达更好的作用。
