王明全，胡芯畅，关怅然，李根旺
（东北大学计算机科学与工程学院，辽宁 沈阳 110819）
摘要：针对图画处理技能在食物加工范畴的运用，提出了一种依据ZYNQ渠道的流水线食物外观区别检测体系规划方案。该体系选用FPGA+ARM架构的ZYNQ-7000渠道完结，运用单目OV5640摄像头进行图画收集，并将收集后的视频图画进行预处理以及VDMA视频图画显现，之后选用对射式光电开关到达流水线上食物方针的检测意图，终究经过图画丈量办法提取食物特征。该体系处理了流水线上不规则食物外观检测区别问题，可运用于食物加工质量检测范畴。
要害词：ZYNQ；食物外观检测；计算机视觉；特征提取；OV5640
0 导言
跟着人们物质生活水平的进步，对食物质量要求也越来越高，而国家经济的快速开展促进食物出产速度随之提高，因而，如安在流水线上确保出产速度的一起检测食物质量已逐步成为研讨问题。
现在，市面上存在的图画传感器中，大多以模板匹配的办法对特定规范的产品进行检测，如车牌、饼干、门窗等，而关于许多不规则的食物如凤爪、鸭翅、虾仁等却无法对其包含产品尺度、传送方向等进行有用检测。本规划选用具有双核的ARM-Cortex TM -A9处理体系(PS)和Artix-7可编程逻辑(PL)的ZYNQ作为主操控和算法处理单元，经过图画丈量办法提取不规则食物外观一起特征，是进一步检测食物传送方向是否与流水线方向共同，以及食物残损问题的要害。
从我国食物开展职业趋势来看，市场上需求能够运用在流水线上的高精度、针对无特定性状食物检测处理的图画传感器，因而其具有非常宽广的市场前景。
1 体系的整体结构
整个体系由图画收集模块OV5640、图画处理模块、VGA显现模块、机械履行模块以及光电开关组成。如图1所示。
图画处理模块是整个体系的操控中心。图画收集单元经过单目摄像头OV5640对食物出产线上的食物制品进行收集，由光电开关检测当时图画收集区域是否有完好食物传入，将触发信号传送给ZYNQ渠道对实时收集到的图画数据进行灰度化、阈值切割、图画胀大、特征提取，以完结运动食物的检测，并对当时检测食物传送方向是否正确以及是否存在残损作出判别。经过操控分拣开关，将次品与合格品分类会集，便利下一步的产品出产包装工艺。
视频图画显现单元是在FPGA操控下对处理前后的视频图画进行显现 [1] 。其间图画丈量算法是依据布景色彩的图画切割算法，它是本文在灰度阈值切割算法根底上提出的一种合适本体系的算法。
2 图画收集及显现体系规划
图画收集体系渠道的规划首要包含以下几个部分：单目OV5640摄像头模组，用来完结图画的收集；ZNYQ-7000系列开发板用来完结摄像头收集、数据存储与传递以及完结图画处理算法；VGA显现器用来显现摄像头实时收集的图画以及经ZYNQ开发板处理后的成果。
2.1 OV5640摄像头模块
本模块规划中选用美国OmniVision公司的CMOS图画传感器OV5640。OV5640具有2590×1944的感光阵列，能够以15帧的500万像素的分辩率记载图画，而且可对输出数据格局、图画分辩率、输出帧率以及图画特性等进行装备，满意许多运用需求 [2] 。其摄像头模组经过DVP接口和FPGA衔接完结图画的传输,详细参数及首要特性如下：
(1)具有规范的SCCB接口；
(2)支撑多种视频输出格局：RAW RGB、RGB565/555/444、YCbCr422等；
(3)支撑VGA、QVGA以及1080P分辩率输出；
(4)支撑数字视频端口(DVP)并行输出接口和双车道MIPI输出接口。
OV5640图画数据收集模块是整个体系的输入模块，它首要担任将摄像头收集到的图画数据传送到FPGA例化的存储器中，运用DVP传输视频时，PCLK为像素时钟，HREF为行同步信号，VSYNC为场同步信号，数据线为8 bit，在FPGA中装备RGB565输出。
OV5640芯片收集的数据经过FPGA软核VDMA0、VDMA1别离用作视频的输入，将数据写入与PS端相连的DDR中，以及视频的输出。ARM核完结对存储数据的图画处理及剖析算法。使能的VDMA在DDR中读取相应的数据，数据经过图画丈量算法提取特征后再输出。VDMA获取的数据均为契合AXI4协议的32位数据，经过32位数据转24位RGB 888格局数据后，依据VGA输出协议，在相应的时序操控下，顺次转化为DVI数据输出到VGA显现器中 [3] 。
2.2 VDMA装备模块
VDMA是针对视频图画处理的一个特别的DMA。在ZYNQ-7000的PS中，包含处理器和DDR存储器操控器；而在PL中，完结AXI DMA和AXI数据FIFO。经过AXI-Lite总线，处理器与AXI DMA通讯，用于树立、初始化和监控数据传输。VDMA有一个AXI4 MemoryMap接口，用于对存储器进行读写视频数据，AXI4-Lite接口用于读取VDMA状况以及装备VDMA的参数；AXI4-Stream接口用于视频的输入和输出。VDMA体系结构原理如图2所示。
在该规划中，AXI_MM2S和AXI_S2MM是存储器映射的AXI4总线，供给了对DDR存储器的拜访。AXIS_MM2S和AXIS_2MM是AXI4 Stream总线，它能够接连的传输数据，而不需求供给地址信息 [4] 。
2.3 VGA显现规划
VGA显现模块分为：上电等候模块、寄存器装备模块、摄像头收集模块、SDRAM操控模块以及体系操控模块。其间FIFO操控模块原理机制如图3所示。
因为视频图画数据经过ZYNQ体系的高速AXI_HP0口输出，体系运用AXI_VDMA IP核来经过AXI_interconnect衔接ZYNQ体系的HP0口，AXI_subset_converter来进行数据格局的转化，转化为24位的视频图画数据，V_axi4s_vid_out IP将视频流装换成RGB888的视频格局信号。终究视频图画经过自界说IP核(rgb2dvi)转化成TMDS信号驱动VGA显现器显现图画。构架好的体系如图4所示。
2.4 光电开关检测规划
为削减图画数据处理量，并较精确确认视频图画流中哪一帧中食物进入到单目摄像头图画收集区域内，体系规划中选用对射式光电开关来检测方针，并将触发信号传送到ZYNQ中，在间隔必定时刻后处理当时帧图画，确保其收集食物图画的完好性。
选用对射式的光电开关可分辩不透明的反光物体，有用间隔大，不易受搅扰，灵敏度高，而且呼应时刻快，可将触发信号传送给ZYNQ渠道的I/O口作为进行图画丈量的起始信号。
3 体系软件规划
图画处理部分包含：图画预处理、图画胀大及依据图画丈量的特征提取。软件规划流程如图6。
3.1 图画预处理规划
针对不规则食物外观的检测，首要要对图画进行预处理，再进一步用图画丈量算法提取图画特征。本文提取的特征是依据灰度图画的，需将收集到的24位真彩色图转化为灰度图
因为光源和实践拍照的状况，收集到的图画或许含有噪声，为扫除噪声的影响，先对图画进行去噪的处理。依据项目需求，选用中值滤波的办法。这种非线性的图画滑润法对脉冲搅扰级的椒盐噪声按捺作用较好，能维护边际少受含糊的影响。
3.2 图画形态学处理
为了愈加显着区别布景与方针，需将灰度图进行二值化处理来区别凤爪与传送带。选用阈值切割的办法，依据阈值将图画中灰度级大于阈值的像素点和小于像素值的像素点分隔，然后完结图画切割 [5] 。
其间，T为预设的阈值，从0~255中取值，详细巨细由工业流水线实践环境决议，依据屡次实验可选取150作阈值切割，是方针为黑色，布景为白色。
根 据 图画 特 征 提 取算 法 识 别 的要 求 ， 需 经过遍历像素值所在区域经过是非像素值鸿沟的跳动次数来区别爪趾的数目及食物被放置方向与传送带方向是否共同，因而需求确保方针的连通性要完好，将得到的二值化图画进行一轮腐蚀胀大，以消除噪声点，使不接连的当地衔接起来，为下一步的图画辨认及特征提取做根底。
本体系中以凤爪为例，对二值化后的方针凤爪进行图画胀大，选用15×15巨细的方阵集合做胀大的结构元素。要害源代码如下(界说flag为记载结构元素区域内各像素值与运算后的成果)：
for(j=0;j<height;j++){
for(i=0;i<width;i++){ //对二值图遍历
flag=1; //赋初值
//选用15×15巨细结构元素作掩膜处理
for(m=j-1;m<j+15;m++){
for(n=i-1;n<i+15;n++){
if(image_in[j][i]==0||image_in[m][n]==0)
{flag=0;break;}
else{flag=1;}}
if(flag==0){break;}}
//依据flag值来输出胀大后成果
if(flag==0){image_out[j][i]=0;}
else{image_out[j][i]=255;}}}}
经过图画胀大后的成果如图7所示：可去除二值化成果中的不接连的噪声点及食物自身瑕疵的影响。
3.3 图画丈量算法规划
机器视觉定位的终究意图是运用工业相机收集运动食物的图画，再经过算法确认运动方针的特征点与特征边际，以便利进行机械分拣 [6] 。关于在高速流水线上收集到的视频图画流进行处理，首要，经过光电开关的触发信号在视频流中确认食物方针已悉数进入图画收集区域，对该帧图画作图画辨认，并在确认帧图画后，辨认方针送入方向是否正确及是否存在残损。
关于阈值化并经过图画胀大处理后，方针区域是完好的连通区域，可经过遍历查询提取该不规则图画边际特征。从凤爪这个研讨方针的特色来看具有以下特性：
(1)从形状上看，凤爪共有4个指头，其间一端较短，其他三个指头较长，中心者为最长。主干部分占整个长度的一半左右。
(2)从色彩上看，凤爪色泽绛红，深浅程度根本共同，掌心部分偏暗红。
以上剖析，作为待辨认的凤爪，虽然是不规则形状，但不管从色彩仍是形状上，都能坚持一个较安稳的特性，因而在编写算法程序中，可经过数组记载图画的每行像素值是非鸿沟跳动次数，以此提取流水线上加工食物特征，并依据不同食物特征要求经过遍历特征数组及丈量算法作判别，依照判别成果发动分拣开关将食物归入不同的箱中。
4 定论
本文针对食物流水线上的图画外观区别问题进行了剖析与处理方案的提出，运用图画丈量的办法对不规则食物进行特征提取，并选用ARM+FPGA结构的实时图画处理渠道以及光电开关的结合，使体系小型化，利于后期进一步开发、本钱下降，便于针对特定运用定制等优势、具有较高的工程运用参考价值，流水线食物区别体系具有宽广的运用空间。
参考文献
[1].杜文略，刘建梁，沈三民等.依据FPGA的运动方针检测体系规划[J].电子技能运用,2014,40(11):36-42.
[2].张震.依据FPGA的USB3.0高速图画收集体系规划与图画特征提取算法研讨[D].西安电子科技大学开发板的摄像头收集与处理体系实验规划与完结[J].计算机教育，2018(4):23-26.
[3].何宾，张艳辉.Xilinx Zynq-7000嵌入式体系规划与完结[M].北京：电子工业出版社.2016.
[4].吴长冶.食物(虾仁)分拣体系中的图画处理算法的研讨[D].南京理工大学.2012.
[5].李明.运动食物机器视觉的辨认与定位技能的研讨[D].哈尔滨商业大学.2014.
[6].胡健.依据Zynq的智能相机图画处理流水线程序优化与完结[J].通讯规划与运用.2017(10):3-4.
作者简介
王明全（1973-），男，博士，讲师，首要研讨方向：信号与信息处理.
本文来源于科技期刊《电子产品世界》2019年第6期第41页，欢迎您写论文时引证，并注明出处
