跟着传统的显现-存储-回放形式的监控体系的遍及,在已有监控体系上供给增值服务的智能监控技能成为职业开展的热门。运用安装在大型修建、文娱休闲场所、购物设备等公共场所的监控体系,完结客流量的准确计数以及对人群密度进行估量,监控人群活动,确保人群的安全性和剖析客流散布规则等功用成为当时监控运用中迫切需求的功用。
前期先后呈现过光电监测、红外对射、红外光幕客流量计数器,因为这些办法计数精度差、不能判别客流跋涉方向、易受外界搅扰影响、并且保护本钱高导致运用受限。近年来为战胜光照等影响计数精度的搅扰要素,呈现了自动/被迫红外成像客流量计数器,但因为其价格昂贵而约束了推行。本文以传统可见光摄像头获取的图画为处理方针,在达芬奇系列处理器TMS320DM6437渠道上,提取HOG特征完结人头检测,运用Mean-shift完结人员盯梢和计数,完结了客流量核算的嵌入式模块化规划。
1 、客流量核算模块硬件构成
依据视频的客流量核算,按摄像头放置方位与客流方向的联系有歪斜放置和笔直放置两种。在进出客流量较大时,摄像头歪斜放置时图画中的人像之间不可避免会呈现遮挡和堆叠。为了处理遮挡和堆叠问题完结准确计数,需求选用更杂乱的计数算法,额定添加了较大的核算量。本文选用如图1所示的摄像头笔直放置,经过检测和盯梢人头完结客流量的计数,既避免了遮挡和堆叠导致计数精度下降的问题,又能使人头检测和盯梢算法核算量适中。
1.1 TMS320DM6437芯片的特色
TMS320DM6437是TI公司榜首批支撑达芬奇技能的纯DSP器材,结合增强型TMS320C64X内核与最新视频处理子体系(VPSS),完结超强的视频处理才能。 TMS320C64X选用第二代高性能超长指令字(VLIW)的体系结构,2级存储器/高速缓存和EDMA引擎,十分合适高强度的数学运算;其内核主频高达600 MHz,峰值处理速度可达5 600 MIPS。内核具有两级缓存结构,榜首级缓存(L1)包括80 KB的数据缓存(L1D)和32 KB 的程序缓存(L1P),L1直接与CPU衔接,数据宽度为128 bit。第二级缓存(L2)的容量巨细为128 KB,能够被映射成缓存结构也可被用作片内存储器。核内部具有两个处理通路,每条通路包括4个功用单元,最高时可在一个时钟并行处理8条指令;视频处理子体系(VPSS),以D1分辨率完结高达H.264的视频编码。TMS320DM6437芯片还具有丰厚的外部接口,片内包括4路视频数模转化芯片,可完结多种制式的模仿视频信号输出,为运转客流量核算程序供给了一个高性价比的硬件渠道。
1.2 体系硬件构成
体系首要由图画收集、图画数据存储、图画数据处理和图画显现等部分组成。图画收集部分运用TI公司的TVP5150专用图画收集器。TVP5150的首要作用是把输入的模仿视频信号转化成契合ITU-R BT.656规范的4:2:2 YUV全数字视频信号。运转人头检测和盯梢计数算法的处理器选用TI公司的高性价比媒体处理器TMS320DM6437。该处理器先从视频转化芯片TVP5150读取数字视频数据,然后运转人头检测和盯梢计数程序,最终在检测的人头上加框后显现核算的客流量。因为图画数据量大,TMS320DM6437处理器运转客流量核算程序时,不可避免会将运转的中心数据存储在片外高速RAM中(片外RAM选用256 MB的DDR2 DRAM存储器)。视频显现芯片选用Philips公司的视频编码芯片SAA7126H,完结视频显现。体系根本的硬件结构如图2所示。
2、 运用HOG特征完结人头检测
Dalal等人首要将HOG特征用于静态图画中的行人检测,其首要思维是运用部分区域的梯度方向直方图来描绘方针特征。本文用HOG特征结合支撑向量机SVM(Support Vector Machine)分类器进行头部检测,分为SVM分类器练习和人头检测两个阶段。
2.1 HOG特征提取
提取方针的HOG特征过程如下:首要依照式(1)和式(2)核算灰度图画的梯度幅值和梯度方向。
其间,Gx、Gy分别是(x,y)的水平缓竖直梯度,梯度的方向设定为0~?仔。本文梯度的方向反映该像素点周围的灰度改动的方向,梯度的起伏反映灰度改动的巨细。
然后进行子块单元的区分和方向直方图核算。如图3(a)所示,将图画区分为若干个图画块(BLOCK),每个块区分为若干个正方形图画单元(CELL),图画单元的边长记为CELLSIZE。图3(a)中CELL的巨细为8×8个像素,即CELLSIZE=8;一个BLOCK包括2×2个图画单元CELLNUM=4。以一个图画单元为单位,进行方向梯度直方图的核算。将梯度方向区分为BIN个区间,关于各个区间的梯度相加,构成一个BIN维的向量来描绘一个图画单元。最终生成图画的Hog描绘子,关于每一个BLOCK对应的BIN×CELLNUM维向量能够依据实际需求按式(3)进行规范化:
最终一切CELL对应的向量构成整个图画的Hog描绘子,如图3(b)所示,图画由16个CELL组成。
2.2 SVM分类器的练习和人头检测
人头检测的分类器挑选高斯内核的支撑向量机(SVM)。SVM分类器的练习分两次进行,榜首次是运用人头居中的正样本和从不包括人头方针的图画(源负样本)中取样得到的负样本中练习出根本分类器。第2次是选用根本分类器对一切源负样本进行密布扫面检测,将其间检测过错的子图画归为困难负样本,然后将之前的正样本和负样本与困难样本一同对根本分类器进行二次练习。在对源负样本进行密布扫描时,不只扫描步长要小,并且还要参加标准的改动(标准步长可设为 1.5 或许2),尽可能地获取源负样本的部分信息和大局信息。这样得到的负样本才够强健,对二次练习后检测器的作用也提升得愈加全面。
SVM分类器的练习阶段,练习用正样本和负样本的标准固定,巨细为32×24。在人头检测阶段,因为间隔等要素,导致方针(人头)巨细改动较大,本文选用练习模板巨细不变而只缩放待检测图画的办法完结方针的多标准检测,检测成果如图4(a)所示。
3、 Mean-shift盯梢计数
运用HOG特征,只能完结单幅图画中人头的检测。要完结人员计数,有必要运用多帧图画信息,既要检测出图画中新呈现的方针,又要运用方针盯梢技能,确认接连多帧图画中的同一个方针,完结人员核算计数。
运用Mean-shift完结人员盯梢计数具体过程如下:
(1)将人头检测的成果作为初始的查找窗口,确认窗口巨细和方位。
(2)核算查找窗口内的灰度概率散布函数,并用该散布函数反演下一帧的待查找图画。
(3)运用前一帧初始查找窗口的巨细和方位信息,确认当时帧的查找起点和规模,并在核算选取查找窗口中依照式(4)、式(5)核算零阶矩和一阶矩,并依照式(6)核算查找窗口的质心:
4 、实验成果
用图画巨细为384×307、30帧/s的实拍视频流进行测验实验,测验视频中行人只能从画面的上下两头进入。为减小核算量,人头检测只在图画的上下1/4区域进行检测,依据行人运动方向,在图画的中心1/2 区域进行查找盯梢技能,完结客流量核算。实验成果如图4(b)所示。在达芬奇系列处理器TMS320DM6437渠道上实测数据处理速度为28帧/s,客流量核算精度为97.8%。实验中测验发现,HOG特征检测人头耗费了体系70%的核算量。为进一步进步核算速度,对人头检测算法进行优化:运用积分图核算HOG特征,选用Cascade结构组合SVM分类器。优化后,在不影响客流量核算精度的情况下实测处理速度达到了38帧/s。
本文在达芬奇系列处理器TMS320DM6437渠道上,规划并完结了一个实时的嵌入式客流量核算模块,实测标明,客流量核算精度高,数据处理速度快。在不改动已有监控体系的结构,仅经过添加该模块就可完结客流量核算等智能监控功用,具有杰出的市场前景。
责任编辑:gt