机器视觉(Machine Vision)是人工智能范畴中开展敏捷的一个重要分支,现在正处于不断打破、走向老练的阶段。一般以为机器视觉“是经过光学设备和非触摸传感器主动地承受和处理一个实在场景的图画,经过剖析图画取得所需信息或用于操控机器运动的设备”,能够看出智能图画处理技能在机器视觉中占有无足轻重的方位。
智能图画处理是指一类根据核算机的自适应于各种运用场合的图画处理和剖析技能,自身是一个独立的理论和技能范畴,但一起又是机器视觉中的一项十分重要的技能支撑。人工智能、机器视觉和智能图画处理技能之间的联系如图1所示。
图1智能图画处理的支撑作用
具有智能图画处理功用的机器视觉,相当于人们在赋予机器智能的一起为机器按上了眼睛,使机器能够“看得见”、“看得准”,可代替乃至胜过人眼做丈量和判别,使得机器视觉体系能够完结高分辨率和高速度的操控。并且,机器视觉体系与被检测方针无触摸,安全可靠。
1、机器视觉技能
机器视觉的来源可追溯到20世纪60年代美国学者L.R.罗伯兹对多面体积木国际的图画处理研讨,70年代麻省理工学院(MIT)人工智能实验室“机器视觉”课程的开设。到80年代,全球性机器视觉研讨热潮开端鼓起,呈现了一些根据机器视觉的运用体系。90年代往后,跟着核算机和半导体技能的飞速开展,机器视觉的理论和运用得到进一步开展。
进入21世纪后,机器视觉技能的开展速度更快,现已大规模地运用于多个范畴,如智能制作、智能交通、医疗卫生、安防监控等范畴。现在,跟着人工智能浪潮的鼓起,机器视觉技能正处于不断打破、走向老练的新阶段。
在我国,机器视觉的研讨和运用开端于20世纪90年代。从盯梢国外品牌产品起步,经过二十多年的尽力,国内的机器视觉从无到有,从弱到强,不只理论研讨进展敏捷,并且现已呈现一些颇具竞争力的公司和产品。估量跟着国内对机器视觉研讨、开发和推行的不断深入,赶上和逾越国际水平已不是遥不行及的作业了。
常见机器视觉体系首要可分为两类,一类是根据核算机的,如工控机或PC,另一类是愈加紧凑的嵌入式设备。典型的根据工控机的机器视觉体系首要包含:光学体系,摄像机和工控机(包含图画收集、图画处理和剖析、操控/通讯)等单元,如图2所示。机器视觉体系对中心的图画处理要求算法精确、便利和安稳,一起还要求体系的完结本钱低,升级换代便利。
图2 机器视觉体系示例
2、智能图画处理技能
机器视觉的图画处理体系对现场的数字图画信号依照详细的运用要求进行运算和剖析,根据取得的处理结果来操控现场设备的动作,其常见功用如下:
(1)图画收集
图画收集便是从作业现场获取场景图画的进程,是机器视觉的第一步,收集东西大多为CCD或CMOS照相机或摄像机。照相机收集的是单幅的图画,摄像机能够收集连续的现场图画。就一幅图画而言,它实践上是三维场景在二维图画平面上的投影,图画中某一点的五颜六色(亮度和色度)是场景中对应点五颜六色的反映。这便是咱们能够用收集图画来代替实在场景的底子根据地点。
假如相机是仿照信号输出,需求将仿照图画信号数字化后送给核算机(包含嵌入式体系)处理。现在大部分相机都可直接输出数字图画信号,能够革除模数转化这一过程。不只如此,现在相机的数字输出接口也是标准化的,如USB、VGA、1394、HDMI、WiFi、Blue Tooth接口等,能够直接送入核算机进行处理,以革除在图画输出和核算机之间加接一块图画收集卡的费事。后续的图画处理作业往往是由核算机或嵌入式体系以软件的办法进行。
(2)图画预处理
关于收集到的数字化的现场图画,因为遭到设备和环境要素的影响,往往会遭到不同程度的搅扰,如噪声、几许形变、五颜六色失调等,都会阻碍接下来的处理环节。为此,有必要对收集图画进行预处理。常见的预处理包含噪声消除、几许校正、直方图均衡等处理。
一般运用时域或频域滤波的办法来去除图画中的噪声;选用几许改换的办法来校正图画的几许失真;选用直方图均衡、同态滤波等办法来减轻图画的五颜六色违背。总归,经过这一系列的图画预处理技能,对收集图画进行“加工”,为体机器视觉运用供给“更好”、“更有用”的图画。
(3)图画切割
图画切割便是依照运用要求,把图画分红各具特征的区域,从中提取出感兴趣方针。在图画中常见的特征有灰度、五颜六色、纹路、边际、角点等。例如,对轿车装置流水线图画进行切割,分红布景区域和工件区域,供给给后续处理单元对工件装置部分的处理。
图画切割多年来一向是图画处理中的难题,至今已有品种繁复的切割算法,可是作用往往并不抱负。近来,人们运用根据神经网络的深度学习办法进行图画切割,其功能胜过传统算法。
(4)方针辨认和分类
在制作或安防等职业,机器视觉都离不开对输入图画的方针进行辨认和分类处理,以便在此基础上完结后续的判别和操作。辨认和分类技能有许多相同的当地,常常在方针辨认完结后,方针的类别也就清晰了。近来的图画辨认技能正在跨过传统办法,构成以神经网络为干流的智能化图画辨认办法,如卷积神经网络(CNN)、回归神经网络(RNN)等一类功能优越的办法。
(5)方针定位和丈量
在智能制作中,最常见的作业便是对方针工件进行装置,可是在装置前往往需求先对方针进行定位,装置后还需对方针进行丈量。装置和丈量都需求坚持较高的精度和速度,如毫米级精度(乃至更小),毫秒级速度。这种高精度、高速度的定位和丈量,依靠一般的机械或人工的办法是难以办到的。在机器视觉中,选用图画处理的办法,对装置现场图画进行处理,依照方针和图画之间的杂乱映射联系进行处理,然后快速精准地完结定位和丈量使命。
(6)方针检测和盯梢
图画处理中的运动方针检测和盯梢,便是实时检测摄像机捕获的场景图画中是否有运动方针,并猜测它下一步的运动方向和趋势,即盯梢。并及时将这些运动数据提交给后续的剖析和操控处理,构成相应的操控动作。图画收集一般运用单个摄像机,假如需求也能够运用两个摄像机,仿照人的双目视觉而取得场景的立体信息,这样愈加有利于方针检测和盯梢处理。
3、机器视觉的运用
如图3所示,机器视觉运用广泛,如安防、制作、教育、出书、医疗、交通、军事范畴等。在这些机器数额的运用中,智能图画处理都是不行或缺的,这儿仅扼要介绍其间几个方面的运用。
图3 常见机器视觉运用场合
(1)智能制作
为了完结我国智能制作2025这一宏伟方针,离不开机器视觉。例如,在智能图画处理一向处于领先地位的广东迅通科技股份有限公司(以下简称“迅通科技”)针对这一需求开宣布了机器视觉剖析仪渠道,见图4。其间,迅通科技为某闻名轿车厂商装置流水线开发的车门限位器主动定位、检测和辨认的体系,见图5。该体系经过智能图画辨认办法,主动检测类型是否正确,定位是否精确,彻底代替了人工操作,检测精确率到达100%。此前,每个工位需求4个工人用眼睛来查看、定位16品种型限位器,职工不只很简单疲惫,还常常呈现过失。
图4 迅通机器视觉剖析仪渠道
图5 工件辨认/定位检测体系(现场)
(2)教育考试
考试试卷常常发现因排版或印刷错误影响学生考试,运用智能图画处理技能,机器主动对印刷后的试卷和原版试卷进行比对,发现不一致之处,会主动提示并报警,彻底代替之前只能经过人工对试卷进行校验。
(3)出书印刷
和教育考试相似,专业出书印刷厂因为印刷的图书、报纸杂志,以及接受来自企业产品包装和宣扬材料的品种多,数量大,排版和印刷中常常犯错。为此,需组织不少专业人员进行校正,消耗很多的资金和时刻。经过运用智能图画处理技能进行主动校正,既提高了校正精确度,又缩短了校正时刻,降低了印刷本钱,缩短了出书物的交给周期。
(4)安防监控
这是当时备受机器视觉重视的一个范畴。机器视觉打破了传统视频监控体系的约束,增加了体系的智能,使得智能视频剖析得以逐渐完结。以公共场所的视频监控为例,经过运用机器视觉技能,能够完结对可疑人物的主动检测、人脸辨认、实时盯梢,必要时还能够完结多摄像机连续盯梢,一起宣布告警,存储现场信息。
(5)智能交通
机器视觉在交通范畴有着广泛的运用。例如,在高速公路上及卡口处,对交游车辆进行车型、车牌等辨认,乃至对行进车辆的违规行为进行辨认。在轿车上对驾驭员面部图画进行剖析,判别驾驭员是否处于疲惫驾驭状况。再如,无人驾驭轿车借助于机器视觉技能,运用摄像头、激光/毫米波/超声波雷达、GPS等感知路途环境信息,主动规划和操控车辆的安全行进。
有数据显现,2016年全球机器视觉体系的商场规模约46亿美元, 2017年约50亿美元,估计2018年到达55亿美元,年增加率为10%左右。我国机器视觉商场的增加是从2010年开端的,2017年商场规模约68亿元,估计到2020年或达780亿元,商场增加率将超越100%。
4、技能瓶颈及往后的开展
在机器视觉的智能图画处理技能的开展中,还存在不少技能瓶颈,如:
(1)安稳性:某种处理办法往往在研讨和开发中体现杰出,但在杂乱多变的运用环境中,却不时地呈现问题。例如人脸辨认体系,在方针配合时辨认率可高达95%以上,但在实践监控环境下,辨认率就会大大下降。
(2)实时性:假如图画的收集速度、处理速度较慢,再加上新近引进的深度学习类算法,加大了体系实时处理的难度,跟不上机器运行和操控的节奏。
(3)精确性:机器视觉体系要求图画辨认和丈量的精确性挨近100%,任何细小的差错都有或许带来不行猜测的结果。例如方针定位的差错会使装置出来的设备不符合要求。
(4)体系才能:现在的嵌入式图画处理体系,存在芯片的核算才能缺乏,存储空间有限等问题,常常不能满意运算量较大的图画处理运算,如神经网络的迭代运算,大规模矩阵运算等。
往后机器视觉中智能图画处理的开展首要体现在以下几个方面:
(1)算法:传统算法继续不断有所打破,新一波人工智能浪潮带来不少新的功能优秀的图画处理算法,如深度学习(DL),卷积神经网络(CNN),生成对立网络(GAN),等等。
(2)实时性:呈现更多结构新颖、资源足够、运算快速的硬件渠道支撑,例如根据多CPU、多GPU的并行处理结构的核算机,海量存储单元等。
(3)嵌入式:新的高速的信号处理器阵列,超大规模FPGA芯片。
(4)交融处理:从单图画传感器开展到多传感器(多角度)的交融处理,可愈加充分地获取现场信息。还可交融多类传感器,如图画传感器、声响传感器、温度传感器等一起完对现场方针定位、辨认和丈量。
总归,无论是“我国制作2025”仍是“工业4.0”都离不开人工智能,离不开核算机视觉,而智能图画处理是机器视觉的中心技能,跟着图画处理水平的不断提高,一定会有力地推进机器视觉的敏捷开展。