机器视觉体系是一种非触摸式的光学传感体系。它一起集成软硬件，能够自动地从所收集到的图画中获取信息或许发生操控动作。自起步开展到现在，机器视觉已有15年的前史，首要阅历了数字电路组成、PC机和输出设备组成、嵌入式三个阶段，其间，嵌入式机器视觉体系依托专业核算机技能，具有实时多使命操作体系、高效紧缩芯片和功用强壮的微处理器，可将视频紧缩、传输与处理作业悉数内置到芯片上，经过内部处理后能够直连续入以太网或广域网，完结网络实时长途监控，是现在的研讨热门之一。
在国内外研讨中，嵌入式机器视觉体系完结办法首要有三种：
（1）依据标准总线，选用DSP作为运算和操控处理器的体系。DSP芯片尽管能够处理很多信息和高速运转，但其I/O接口单一，不易扩展，操控才能较弱，尚存在必定局限性。
（2）依据DSP+FPGA的机器视觉体系。FPGA与DSP的结合，可完结宽带信号处理，大大提高信号处理速度，但FPGA运用的是硬件描绘言语，其算法开发具有很大的难度，功用完结由硬件操控，体系受环境影响较大。
（3）选用ARM微处理器或选用ARM+DSP构建办法的机器视觉体系，这种构建办法人机交互功用强壮，集成度高、实时性好、支撑多使命，但该体系中ARM与DSP的数据交换办法仍选用外部电路衔接，增加了体系的不稳定性。
归纳上述技能计划的长处和缺陷，本文提出了一种新式机器视觉体系，完结图画信息的高速收集与存储。
其间心芯片选取TI公司最新出产的先进的双核嵌入式芯片，将ARM处理器和DSP处理器集成在一个芯片中，经过软件编程即完结ARM与DSP的和谐作业。由该芯片构建开发的机器视觉处理体系，凭仗植入Linux体系的ARM处理器的优异的操控功用，合作DSP的强壮运算处理才能将确保体系具有杰出的实时性和稳定性，可认为机器视觉的研讨和使用供给很好的视频收集与处理硬件渠道。
1、体系功用
本体系为一高速图画数据收集存储体系，经过软硬件规划能够完结：两路分辨率640×480，帧频60 f/s，12 b/pixel；一路分辨率1 024×1 024，帧频60 f/s，12 b/pixel三路输入信号实时收集。实时无紧缩存储。
如图1所示，体系经过串口操控图画传感器，使三路图画数据信号、时钟以及各种同步信号按要求输入，体系顺次进行图画信号的收集、数据处理、存储。体系使用自带的接口可完结显现、上位机通讯、键盘操控等更多的功用，能够完结友爱的人机对话。
2、硬件规划
本体系选取TI公司达芬奇系列最新的TMS320DM8168芯片。此芯片集成了1 GHz ARMCortex-A8、1 GHz TI C674x浮点DSP、若干二代可编程高清视频印象协处理器、一个创新式高清视频处理子体系（HDVPSS）以及归纳编解码器，支撑包含高清分辨率的 H.264、MPEG-4以及VC1.而且包含千兆以太网、PCI Express、SATA2、DDR2、DDR3、USB 2.0、MMC/SD、HDMI以及DVI等多种接口，可支撑更多功用的扩展和杂乱使用。
使用该芯片规划并完结两路或三路不同分辨率的图画信号的收集、处理与显现，硬件原理图如图2所示。完结该体系的开发与规划所触及的硬件模块有：图画收集接口模块、图画收集模块、图画存储模块、外围接口模块。
2.1图画收集接口模块
作为图画传感器和高速收集体系的衔接模块，该模块可对USB接口相机或Camera Link接口相机进行图画收集与操控。USB接口衔接非常便利，因为体系具有USB外围接口，依照USB标准协议衔接即可。CameraLink接口具有开放式的接口协议，使得不同厂家既能坚持产品的差异性，又能相互兼容，因而体系中的图画收集接口模块选用了Camera Link接口协议。该模块别离运用了DS90CR288A、DS90LV049、DS90LV047完结图画传感器的操控、图画信息的收集及图画传感器与图画收集体系的双向通讯。
2.2图画收集模块
TMS320DM8168的HDVPSS（HD Video ProcessingSubsystem）供给了视频输入接口和视频输出接口。视频输入接口供给了外部图画设备（如图画传感器、视频解码器等）的接入。
HDVPSS可支撑高达3个60 f/s的1080p通道、一起支撑16个通道的CIF数据流的H.264高画质D1编码与8通道D1解码；支撑2个独立的视频捕捉输入端口，每个视频输入端口支撑缩放、像素格局转化。两个视频输入捕捉端口均能以1个16 b输入通道（带别离的Y和Cb/Cr输入），或2个时钟独立的8 b输入通道操作（带交错的Y/C数据输入）。第一个视频输入端口能以24 b方式操作以支撑RGB捕捉。一切收集方式捕捉时钟高达165 MHz，可满意高速率的图画收集。
高清视频处理子体系（HDVPSS）有两个独立视频捕捉输入端口VIP0与VIP1.VIP0可装备成24 b、16 b、和两个独立的8 b方式，VIP1可装备成16 b、和两个独立的8 b.从捕捉频率和各种装备方式可看出，针对不同的流量，能够有多种完结办法。为了存储规划简略，本计划将VIP0装备为24 b进行收集。在此方式下，最高流量为165M×24 8 = 495 MB/s，能够满意流量要求。
从最高捕捉时钟可知，每次收集间隔在1 165M，约为6.1 ns.经核算，也为了规划便利，拟选用三个帧频均为200 f/s的Base装备的Camera Link相机，帧频操控均为外部触发办法，该Camera Link相机一次输出两个像素，每像素12 b，即2×12 b，刚好能够和VIP0的24 b匹配收集。以三路信号分时收集为例，如图3所示，3路信号的收集办法为3个相机轮番收集，即一个循环内每个相机各采一帧，这就需求完结3路分时收集的时序信号。由定时器发生一个1/200 s的脉宽，经延时环节使帧频高电平分时分路送入三个相机；3路收集信号时序关系为一个相机不进行延时，一个相机延时1/200 s，最终一个延时2/200 s。
相机经过DS90LV047A收到指令后，将拍摄到的图画数据分为4路LVDS数据信号和1路LVDS时钟信号，经过接口衔接器MDR26传输到DS90CR288A；DS90CR288A将串行数据转化成28路并行信号和1路随路时钟信号，并传送至TMS320DM8168视频捕捉端口VIP0进行收集。
2.3图画存储模块
从上述规划计划，体系存储速率约为160 MB/s，数据量较大，可挑选大容量、高速的固态硬盘，经过其SATA2接口写入。
数据收集完毕后，经过装备HDVPSS子体系将数据送入VPDMA，最终转入DDR内存，当DDR内存的数据量到达设定的数据量时发生中止，中止发生后，依据寄存地址发动内存和固态硬盘之间的DMA传输，将收集的图画经过SATA2接口存储在SSD上，完结数据存储。
然后发动定时器发生下一个帧频脉冲，开端下一周期的数据收集。
外部扩展存储器选取体系支撑的DDR3（1 600）存储器。依照体系存储操控器位宽32 b来算，内存速率可达32/8×1 600M=6.4 GB/s.在该方式下，收集和存储可并行处理。缓存所收集的数据移动到DDR3内存，其速率远高于端口收集的每秒数据量。因为该计划的收集办法是每帧轮番收集，而且帧内数据已按次序紧凑摆放，可大幅削减数据的重排作业，仅需去除一些辅佐数据。收集体系将其他相关信号悉数置成一帧一行的方式，让相机的时钟信号与体系收集端口的时钟信号通讯，图画信号前有少数的辅佐数据，设置DMA开端地址时直接越过辅佐数据。所以在本体系几乎不运转程序的情况下，固态硬盘能够最少有80%的时刻占有DMA操控权进行内存图画数据的存储。按所选取的硬盘的继续写入速率250 MB/s来算，250×0.8=200 MB/s大于160 MB/s，所以1 s收集的数据能够进行实时存储。数据上传后，能够挑选铲除原有数据，开释硬盘空间。
2.4外围接口模块
依据TMS320DM8168芯片丰厚的外设接口，本体系能够灵敏的进行外部接口规划来操控外围设备，并完结与外部处理器的通讯功用。依据需求可供选取的接口有：2个具有GMII和MDIO接口的千兆位以太网MAC（10 Mb/s，100 Mb/s，1 000 Mb/s）；2个具有集成2.0 PHY的USB端口；双DDR2/3 SDRAM接口等，可参阅图2。
TMS320DM8168的两个USB口可满意将收集的图画数据上传给上位机时衔接键盘鼠标，LCD、VGA接口可用来直接显现图画。串口亦可用来同上位机进行通讯，且可用来操控本规划计划用到的Camera Link相机。千兆网接口以其超高的速率可满意图画数据的高速传输。
上述技能的完结首要经过软件编程驱动外设接口来完结，详细计划见软件规划。
3、软件规划
本体系选用Linux操作体系，带有友爱的界面，使操作愈加灵敏自若，能运转多使命。能够经过界面进行相机操控、图画的收集、中止、显现、图画上传等。这部分的开发可由两部分组成，移植和自主开发。软件规划如图4所示。
3.1移植的程序
移植的程序包含Linux内核、网卡驱动、USB 2.0驱动、LCD驱动、串口驱动、VGA驱动、SATA2驱动。在这个方面，TI公司供给了很好的支撑，有专门针对DM8168的Linux操作体系，版别为Linux 2.6.37，能够经过TI公司供给的Linux EZ软件开发套件（EZ SDK）进行开发。
3.2自主开发的程序
3.2.1驱动程序
为了标准地在Linux操作体系下操作，图画收集的电路部分需求图画收集使用程序相关的驱动程序进行支撑。收集电路可分为多个功用模块别离进行驱动程序的编写，其间包含相机收集驱动（相应于VIP0进入数据后的操作）；操控驱动（相应于对Timer进行操控）；假如要依据外界环境改动相机作业状况，还需该部分驱动支撑。收集驱动完结open，close办法。操控部分完结open，close，ioctl办法。自适应速率调整要完结open、 close、ioctl、read办法。在/DEV目录下别离树立设备节点，然后使用程序经过对设备节点进行操作。
3.2.2使用程序
使用程序的开发拟选用QT开发工具。使用程序拟规划成一个多线程程序，一个主线程，一个自适应调理参数线程，使用程序首要完结收集程序，中止，显现，装备，上传程序，别离对应于相应按钮。
收集按钮相应程序调用设备节点的open办法，open办法中对相应硬件进行装备，注册中止程序，发动Timer开端收集。流程如图5所示。
因为体系现已带有串口驱动，装备程序能够直接对串口编程。自适应环境速率调整程序由主界面程序敞开一个新线程，该线程经过相应设备节点读取数据，判别是否调整，如需调整，经过上面所述串口设备节点或许操控设备节点进行重设。
4、结语
本文所构建的机器视觉体系是一个具有操作体系的独立、可操控的小型多功用体系，经过硬件规划和软件规划两部分完结，其功用模块包含视频图画收集与处理、视频图画存储、视频图画通讯和视频图画显现等模块。选用先进的双内核嵌入式处理器，将多路图画传感器获取的视频图画信号高速并行收集，并依据需求进行图画无损紧缩和图画交融，数据可大容量实时存储，并经过多种接口与上位机通讯，具有友爱的人机交互界面，可驱动多种显现屏幕完结高清显现和信息回放等功用。
因为该渠道具有Linux操作体系，无需上位机即可完结体系参数设置、功用挑选等操作。该体系可为机载、弹载、车载光电体系完结高速扫描、快速勘探、自动辨认、准确盯梢使命供给所需求的高清方针信息，并有望在安全城市、安防职业、工业操控、医疗教育、物流办理、电网运转、智能家居、智能轿车、食品安全等多范畴得到使用。
