跟着核算机科学和自动操控技能的开展，越来越多的不同品种的智能机器人出现在工厂、日子傍边，机器人视觉体系作为智能机器人体系中一个重要的子体系，也越来越遭到人们的注重。它触及了图画处理、形式辨认和视觉盯梢等范畴。不同品种的机器人因为作业的要点不一样，它的视觉体系在软件或硬件上都有着纤细的不同。本文研讨依据服务机器人的单目视觉体系。它处理的是二维图画，是依据对无遮挡物体色彩和形状的辨认以及3D方针物体的平动盯梢。
视觉体系是一个非常复杂的体系，它既要做到图画的精确收集还要做到对外界改变反响的实时性，一起还需求对外界运动的方针实时盯梢。因而，视觉体系对硬件和软件体系都提出了较高的要求。现在比较盛行的足球机器人技能，它的视觉体系归于比较典型的快速辨认和反响类型。一般情况下，它是经过五颜六色标志定标的办法来到达对队员和方针的辨认，以及经过扩展卡尔曼滤波器的猜测功用来完结对方针的盯梢功用。在硬件上，选用一个现成的摄像机来完结一个机器人的图画收集体系。
本体系在规划上选用CMOS图画传感器替代CCD类型传感器进行收集图画，DSP处理芯片TMS320VC5509A进行图画处理以及作为CPU操控，在规划过程中，为了直观闪现机器人视觉体系辨认和盯梢的作用，专门选用了一个TFT格局的液晶来直观显现。软件上，选用了一部分足球机器人的视觉技能来到达对方针的快速辨认，经过大局的特征矩构建的雅可比矩阵到达对方针的自适应盯梢。
1 硬件部分规划
图1为体系硬件电路的功用模块框图。
1.1 图画收集
视觉镜头把外部的图画信息成像在图画传感器的面阵单元上。现在盛行的图画传感器有面阵CCD（Charged Coupled Device，电荷耦合器材）型和面阵CMOS两种。相比较CCD型的图画传感器，CMOS图画传感器的有源像素单元为每一个像素供给了放大器，只需一个单供电低逻辑电平电压，功耗只相当于CCD的十分之一。CMOS图画传感器内部集成了A/D转化部分，直接输出数字信号。依据这些要素，本体系选用了Omnivision公司推出的CMOS五颜六色图画传感器OV7635。
OV7635的分辨力为640X480，能输出3种格局的8位数据：YCbCr4:2：2形式、RGB4:2：2形式和RGB原始数据形式。输出VGA格局最大可到达30fps（fps：每秒帧数）。能作业在逐行扫描下和隔行扫描下。OV7635有主形式和从形式两种作业形式。在主形式下，同步信号和时钟不由外围设备操控。在从形式下，OV7635的场同步信号VSYNC，行同步信号HREF以及体系的晶振频率XCLK均由外部设备操控。本体系选用的是主形式。OV7635经过I2C总线装备片内寄存器，使其输出原始数据。体系上电复位后，由DSP芯片的I2C总线信号对CMOS寄存器初始化。然后OV7635就按要求输出图画信号。包括行同步信号HREF，场同步信号VSYNC，像素时钟信号PCLK，数字图画信号。
1.2 液晶显现
为了很直观的看到视觉体系对人的辨认和盯梢作用，选用了一片INNOLUX公司的PT035TN01液晶显现屏。为了不增加对DSP的担负，一起也为了实时看到对外界方针物体的盯梢作用，液晶显现的数据不经由DSP，直接经过传感器OV7635输出的图画数据信号和CPLD操控时序来进行显现。PT035TN01是3.5英寸TFT格局的液晶，分辨力为320×3（RGB）×240，液晶IF1、IF2两输入操控脚对输入的数据格局进行挑选：串行RGB格局、CCIR601格局、CCIR656格局。液晶的扫描形式有4种。本视觉体系选用的输入数据格局是CCIR601格局，扫描形式为由上到下和左到右的扫描形式。
在CCIR601格局下，图画传感器输出的像素时钟PCLK经过CPLD二分频作为液晶的作业时钟，图画传感器输出的行同步信号HREF经过CPLD的处理后作为液晶的行同步信号HIS，这样，在CPLD操控下，图画传感器OV7635输出的数据信号送入液晶中进行显现。
1.3 时序操控
OV7635输出的场同步信号VSYNC，行同步信号HREF以及像素时钟信号PCLK接至CPLD芯片，发生操控信号把OV7635输出的数据信号存入FIFO帧存储器AL422B中，以及发生液晶的时钟和行同步信号操控液晶的显现。CPLD选用了ALTERA公司的EPM7064芯片。在CPLD中完结了对FIFO的写操控、告诉DSP读信号、液晶的时钟信号的发生等功用。
CPLD接收场同步信号VSYNC，此信号的下降沿标明图画传感器输出一帧的开端，此刻CPLD发生WRST负脉冲复位FIFO的写指针。场同步信号VSYNC下降沿后，判别行同步信号HREF的上升沿到来，接着使用像素时钟信号PCLK作为写时钟WCK将图画数据直接存储到FIFO中，当存到必定的数后，就及时发信号给DSP，以便DSP读取数据，本体系选用的是一个中止INT0来告诉DSP。此刻DSP能够读数据也能够不读，视处理的速度来定。读数据时，可使用RD和片选，发生RCK信号。DSP读取的速度不能太快，以读取速度小于写速度为准则。
在对液晶的逻辑时序操控上，因为图画输出的信号是640×480的像素，而液晶的显现为320×240的格局。所以使用CPLD把图画传感器输入的像素时钟信号PCLK进行二分频发生液晶的时钟信号操控液晶的显现，一起对行同步信号进行隔行有用然后到达液晶对图画的显现。CPLD中的程序编写用的选用了硬件描绘言语VHDL，在QUARTUSⅡ软件渠道上进行编写的。因为在选用芯片时选用的是EPM7064S系列的44脚PLCC封装的，只能作业在5V电压情况下，其输出的高电平信号是5V，有必要经过处理才干接入体系中作业在3。3V状况下的芯片器材。
1.4 帧存储器挑选
帧存储器有需求外部供给地址线的RAM和不需求外部供给地址线的FIFO，为了简化CPLD的规划。选用了FIFO的帧存储器。FIFO又能够分为依据动态存储的DRAM和依据静态的SRAM。依据静态SRAM的长处是不需求改写电路，但容量小，需求多片才干存储一帧数据;依据DRAM的长处是容量大，只需一片就能存储一帧数据，缺陷是有必要有改写电路。本规划中选用的是Averlogic公司的大容量FIFO动态存储芯片AL422B。其改写电路比较简略，仅需WCK或RCK供给大于1M的不间断脉冲即可。AL422B的存储容量为3MB，因为体系一帧的信息一般包括640×480个五颜六色像素，每个像素占用2个字节，可存储1帧图画的完好信息，其作业频率可达50MHz。
1.5 视频处理DSP
在选用DSP时，在统筹处理速度，存储容量，现有条件下的加工工艺水平，以及性价比方面，选用了TI公司的144脚封装的TMS320VC5509A，此芯片的最高作业频率可到达200MHz，具有很高的处理速度。
DSP收到来自CPLD的读告诉信号后开端读取AL422B中的视频数据。为了便利处理数据，在DSP外围扩展了一个的SDRAM。芯片选用的是HYNIX公司的HY57V161610E，此芯片的存储容量为1M×16bits。
当DSP上电复位后，经过采样GPIO0～GPIO3的状况，依据采样的状况来进行什么样办法的程序装载。本体系的选用外接的flash存储芯片的SPI口对DSP进行程序装载，接着经过DSP的I2C口对图画传感器进行寄存器初始化。图画传感器开端输出信号。整个体系开端进入作业。
DSP作为高速的处理器，首要用于图画的处理。因为本视觉体系要完结辨认和盯梢功用，数据的处理量是很大的。在完结图画处理的一起，DSP也作为操控器使用完结对操控器的操控，然后构成视觉盯梢体系。
2 软件部分规划
因为本体系选用的是色彩和形状相结合的办法对无遮挡方针物体的辨认。为了到达机器人实时快速的意图，在软件办法上，首要选用了现在常用的足球机器人的色彩辨认办法，现在比较常见是依据阈值向量的色彩判别法。下面简述色彩辨认原理。
2.1 色彩空间挑选
关于选用依据五颜六色图画切割的办法辨认方针时，首要要挑选适宜的色彩空间，常用的色彩空间有RGB、YUV、HSV、CMY等。色彩空间的挑选直接影响到图画切割和方针辨认的作用。
RGB：是最常用的色彩空间，其间亮度等于R、G、B3个重量之和。RGB色彩空间是不均匀的色彩空间，两个色彩之间的感觉差异与空间中两点间的欧氏间隔不成线性份额，并且R、G、B值之间的相关性很高，对同一色彩特点，在不同条件（光源品种、强度和物体反射特性）下，RGB值很涣散，关于辨认某种特定色彩，很难确认其阈值和其在色彩空间中的散布规模。因而一般会挑选能从中别离出亮度重量的色彩空间，其间最常见的是YUV和HSV色彩空间。
HSV：接近人眼感知色彩的办法，H为色彩（Hue），S为色饱和度（Saturation），V为亮度（Value）。色彩H能精确地反映色彩品种，对外界光照条件改变灵敏度低，可是H和S均为R、G、B的非线性改换，存在奇特点，在奇特点邻近即便R、G、B的值有很小改变也引起改换值有很大的跳动。
YUV:RGB色彩空间线性改变为的亮度-色彩空间。是为了处理五颜六色电视机与黑白电视机的兼容问题而提出的。Y标明亮度（Luminance），UV用来标明色差（Chrominance）。YUV标明法的重要性是它的亮度信号（Y）和色度信号（U、V）是彼此独立的。所谓色差是指基色信号中的3个重量信号（即R、G、B）与亮度信号之差。
因而，针对以上原因，本体系在选用的是YUV色彩空间。
YUV格局与RGB存在如下联系：
2.2 阈值确认和色彩判别
在确认阈值时，首要经过收集样本进行练习，然后得到预订的几种色彩在YUV空间的重量的上下阈值，如图2所示。
当一个待断定的像素在色彩空间中的方位落在这个长方体中时，就以为该像素归于要找的色彩，然后完结对图画色彩的辨认。在Y空间中，Y值标明亮度，因它的改变很大，所以只考虑了U和V的值，在进行色彩判别时，首要别离树立U、V的阈值向量。
因为在体系中图画传感器的数字信号是8位，即1Byte，共255Byte，体系最多能断定8种色彩。在色彩辨认后进行图画切割，在图画切割中选用了种子填充算法，其整个种子的填充是和像素点的色彩一起进行的，一开端不是对一切的像素进行处理，而是分块进行的，本体系选用的块是32×24像素，这样核算量大大减小。傍边心点是所要辨认的色彩时，就以这个点为种子向四周分散，并断定周围像素点的色彩，直到填满整个块。在这过程中，一起对方针进行形状辨认。本体系选用了依据大局的特征向量的辨认算法来进行辨认。一起也为构建雅可比矩阵得到需求的矩特征量。图3为图画辨认切割流程图。
2.3 视觉盯梢软件原理
当方针物体被辨认今后，视觉体系将调整镜头使方针坐落视界的中心。一旦物体运动，视觉体系将进行对方针物体的盯梢。
在机器人视觉盯梢体系上，选用无定标的视觉盯梢体系。无定标的视觉盯梢不需求事前对摄像镜头进行定标，而是使用自适应操控方面的原理，在线的实时调整图画雅可比矩阵。经过二维的图画特征信息反应，这种办法对摄像机模型差错和机器人模型差错、图画差错、图画噪声不灵敏。依据图画盯梢的视觉盯梢操控体系，如图4。
操控量c为机器人头部的操控体系。首要把方针放在机器人视界的前方收集到希望的图画，从希望图画中抽取希望的特搜集，作为视界盯梢操控体系的希望输入，然后完结使命需求的视界特搜集界说。在实时操控体系中，由机器人的图画传感器获取实时采样图画，从中获取实时特搜集，这样构成一个视界反应，引导机器人完结盯梢使命。差异于图画的简略几许特征，本体系选用的视觉特搜集为大局的图画描绘—图画矩。
依据矩特征改变量与相对位姿改变量之间的联系矩阵，即图画雅可比矩阵，然后使用推导的图画雅可比矩阵，规划了视觉盯梢操控器，完结体系对3D方针物体的平动盯梢。
3 试验成果
图5为DSP为clkout脚输出波形，标明DSP的内部时钟电路作业正常。图6的图画传感器输出数据波形证明了图画传感器作业正常。图7的DSP收集到的图画数据，能够确认整个图画收集硬件电路作业正常。
4 结 论
针对服务机器人的视觉体系，本文经过构建它的硬件体系和软件体系完结了整个体系的规划。在硬件体系上，选用了CMOS图画传感器，CPLD时序操控，异步动态FIFO的数据缓存，以及高速DSP处理器构成了一个典型的图画收集体系，并调试输出了图画信号。在软件规划上，选用了足球机器人的五颜六色辨认和五颜六色切割辨认技能去完结视觉体系快速精确的辨认，选用依据动态的作业办法以及选用依据图画的雅可比矩阵的操控原理，去完结自适应补偿盯梢操控体系。
