摘要:文章是以Nios II处理器为中心的视频运动方针检测盯梢体系,经过CMOS图画传感器收集视频图画信息,选用帧间差分法检测运动方针,形心盯梢算法对方针进行盯梢,最终在VGA显现器上显现视频中运动物体。试验成果表明,该体系可到达运动方针检测盯梢的抱负成果。
0 导言
运动方针检测盯梢便是将运动的方针从视频图画序列中检测出来,对其进行盯梢。在计算机视觉范畴和智能视频监控体系中,方针检测与盯梢体系是一个最要的研讨内容,该体系在许多范畴中经得到广泛的运用,例如在家庭住宅小区、智能交通、银行、超市等场所都设有视频监控体系,起到了不需求人为的效果,就能够对收集来的视频图画信号进行处理,并对监控体系进行操控。视频监控与监督体系VSAM是由美国国防部研宣布来的,其效果是对整个场景进行监控,该体系能够主动地调多个图画传感器无缝接入,首要运用在战役、风险场合的监控。马里兰大学研宣布的W4实时监控能够在夜晚或许光线较差的环境下对呈现的人定位和切割,首要运用在智能交通、家居服务等。视频运动方针检测与盯梢体系对检测方针的精确性和实时性要求很高。SOPC是嵌入式微处理器可编程片上体系,可在FPGA芯片上完结。本文选用SOPC(在FPGA嵌入NiosII软核)作为视频处理中心器材的计划,与传统的选用DSP和ARM芯片的计划比较,具有本钱更低、规划更灵敏,而且能到达软硬件协同作业、处理速度更快、简略晋级。体系选用Altera公司的CycloneII EP2C35F672C6作为中心处理芯片,NIOSII软核处理器为中心对运动方针实时精确地检测与盯梢。
1 体系组成及框图
本文是依据FPGA的视频运动方针检测盯梢体系,首要分为四个模块:图画收集模块、存储模块、方针检测盯梢模块和VGA显现模块。
1.1 图画收集模块
图画收集模块的效果是接纳CMOS图画传感器收集到的视频图画。本体系选用的是友晶公司供给的TRDB—D5M摄像头开发套件,运用的是CMOS图画传感器,它是将光学图画转化成电子信号的有源像素传感器,是运用CMOS半导体而制成的。TRDB—D5M作为一款摄像头套件,有许多摄像方面的优势;高帧率、优异的低亮度功用、弱小的暗电流、大局复位免除(使一切像素点一起开端曝光)、可编程操控帧率、帧规划、曝光时间,片上锁相环、主动黑面校准等。
1.2 存储模块
本规划在硬件体系中运用一片SDRAM作为图片缓存的存储器,在软件体系中,备用一片SDRAM存储帧图片,运用一片SRAM存储软件代码和软件处理进程的中心数据。
1.3 方针检测盯梢模块
体系中大部分模块是由Verilog HDL规划的,运用硬件来完结实践的功用,此模块是在依据NiosII IDE集成开发工具运用C言语完结的,咱们在EP2C35中嵌入NIOS II软核,操控衔接在外部总线上的SDRAM和SRAM。在整个模块中,FPGA是归纳了NIOS II处理器、SDRAM操控器、SRAM操控器、摄像头号许多模块的最首要的部分。
1.4 VGA显现模块
VGA输出接口芯片选用的是美国AD公司的ADV7123,它是一款单芯片包括3路高速、10位输入的视频D/A转换器、行场同步信号、行场消隐信号、时钟信号。ADV7123对RGB视频数字信号进行D/A变换成VGA需求的RGB模拟信号。最终将运动方针检测盯梢成果显现到PC显现器上。运动方针检测盯梢体系的整体框图如图1所示。
运动方针检测是方针盯梢的条件,其效果便是当视频图画序列中有运动方针呈现,经过检测算法将方针从布景图画中提取出来。依据监控场景是运动的仍是固定的,能够分为布景是固定的运动方针检测和布景是运动的运动方针检测。本体系是对布景运动的运动方针检测,现在,运动方针检测首要有三种办法:布景差分法、光流法和帧间差分法。布景差分法和光流法与帧间差分法比较,具有精度高定位准的长处,但算法的复杂性较高,难以在硬件渠道上完结实时处理,因而,本体系选用的是帧间差分法。
帧间差分法是对接连视频序列图画中相邻两帧作差,然后得到运动方针的办法。一般选取相邻的两帧或三帧图画进行差分运算,设t时间当时帧图画为Fk(x,y),t-1时间的前一帧图画为Fk-1(x,y),两帧进行相减运算如下:
其间,T为阈值,假如相邻两帧差分后的像素灰度值大于T,则二值化图画Bk(x,y)像素点为1表明运动方针区域,若为0表明布景区域。帧间差分算法根本流程如图2所示。
1.5 方针盯梢
方针盯梢有许多算法,本体系选用的是形心盯梢法。形心便是运动方针的中心,关于精确定位出方针具有重要的含义。本文形心的获取首要是经过帧间差分法检测到运动方针后,对检测到的一切动态点横坐标和纵坐标进行计算,然后算出一切动态点横坐标和纵坐标的中值,这个中值即为运动方针的中心。当运动方针较小时,若选用模板匹配法,因为所取模板与布景相似,方针特征不行显着,比较简略发生过错的匹配,因而,比较合适选用形心盯梢法进行盯梢和丈量。二值化后的图画,其形心坐标计算公式为:
形心盯梢得到运动方针的坐标后,计算运动方针的像素点,再依据形心坐标将运动方针用矩形框盯梢,从而得出运动物体轨道,NiosII处理器作出相应的操控信号,驱动云台进行盯梢运动方针。
2 试验成果
本论文是依据SOPC的视频运动方针检测盯梢体系,运用Altera公司DE2多媒体开发板完结的。
在试验室环境下的一段运动方针视频检测盯梢,640×480分辨率RGB格局20帧/秒,运用外接矩形框盯梢物体,外接矩形框底边中心点能够在必定程度上反映物体的运动轨道。图3为从视频流中提取出来的几帧检测盯梢图画效果图。
3 定论
本文运用SOPC渠道构建的试验体系,不只能够在场景较简略的情况下很好地完结运动方针的检测与盯梢,而且也验证了运用SOPC技能完结方针检测盯梢的可行性和精确性,一起也提高了方针盯梢的实时性。经过软/硬件协同作业方式,能够发掘硬件规划的强壮功用,开宣布实时性和实用性更强、功用更强壮的运动方针检测盯梢体系。因而,本文的研讨成果关于方针检测盯梢处理技能和器材FPGA及SOPC技能的运用推行具有重要的参考价值。