手写字符输入办法已广泛运用于移动电话、掌上电脑等移动设备,其意图在于增强用户体会、进步输入功率和减小设备体积。但该办法需要在显示屏上掩盖一个电容式或电阻式触摸屏才干进行触摸式输入,这无疑增加了设备本钱。现在,移动设备遍及都配有摄像头,假如用户运用发光笔在空中不触摸屏幕手写字符,运用核算机视觉的理论和办法完成输入,则可以下降设备本钱、延伸设备运用寿命。近几年已经有相关方面的研讨,参考文献[1]提出了一种虚拟手写字符的办法,经过检测指尖的运动轨道来康复字符图画,但该办法对手指书写的抬笔、落笔检测比较困难,使得手指暗影影响较大,康复出来的字符图画杂乱,正确辨认率低。
本文选用一般教育用的激光笔经过单色屏幕以正常速度写字,一起摄像头记载光斑的移动进程,运用一系列的光斑康复出一幅完好的字符图画,最终对该字符进行辨认。该办法简洁方便、辨认率高,且无机械磨损,体系全体流程框图如图1所示。其间,光斑是波长约为650 nm的赤色光斑,视频图画的收集速度为25 s/s,每帧图画为320×240的RGB图画。
1光斑检测与轨道康复
实践运用的移动设备和移动投影设备的布景不是白色或黑色,因而一般本文仅评论白色和黑色布景下的光斑检测及轨道康复,不需要树立杂乱的布景模型。
1.1光斑检测
光点或光斑检测近几年已有不同的办法呈现,参考文献[2]结合激光点的色彩特征、运动信息和形状特征来定位激光点的方位。参考文献[3]运用拟合算法精确认位光斑方位,但该办法还需要降维处理,算法杂乱度较高。本文选用依据激光笔宣布的赤色或是绿色来提取RGB图画的特定重量办法,将其转化成灰度图画,然后运用灰度重心法找出光斑的中心方位,最终以光斑的中心方位为根底康复出光斑。
本文运用赤色激光笔,激光投射在屏幕上后构成一个十分亮的赤色光斑。因而,提取图画的R重量,将RGB图画转化成灰度图画。试验发现,在白色布景和黑色布景中不同光照条件下,光斑的灰度值散布在255邻近。文中只对灰度级大于180的像素作了灰度散布描绘,其成果如图2、图3所示。
图2、图3中像素灰度值的份额在255邻近猛增,这是因为激光光斑的强度远高于自然光。而图中每个灰度级像素个数的份额也不相同。由此可以看出,同一种布景在不同光照条件下光斑像素灰度的散布是不同的,不同布景在同一种光照条件下光斑像素灰度散布也是不同的。
传统的重心法是先将图画二值化后再找光斑的中心,由此丢掉了光斑灰度散布细节。本文选用灰度重心法,可以以为是以灰度为权值的加权重心法[4]。灰度图画I(i,j)中方针S的灰度重心(x0,y0)为:
式中T为区散布景与光斑的阈值。
在不同布景下,依据图画灰度的散布状况确认阈值选取权值M(i,j)。图4所示为选取阈值T前后光斑图画灰度散布。
图4中横、纵坐标表明含有光斑图画的巨细,图4(a)中布景也参加灰度重心的核算,因为光斑像素个数较少,核算成果不行精确;图4(b)中取阈值T后,大部散布景灰度值都为零,大大进步了核算成果的精确度。
光斑的巨细对后续的轨道康复和字符辨认会发生影响,假如检测出来的光斑太小,则在康复轨道时会发生时断时续的不接连点;假如检测出来的光斑太大,康复出字符图画的笔迹比较粗,则不利于后续的字符辨认。以灰度重心为圆心,r为半径做圆,即为康复出来的光斑,为了确保字符的辨认率,再结合国家标准字符相关规定,试验中r选用10个像素的光斑半径。
1.2 轨道康复
本文运用的轨道办法是把每帧图画中确认的光斑迭在一起或连接起来组成一个字符,然后运用八连通区域符号办法去除噪声。首要,将得到的光斑图画转化为二维矩阵,然后把一切的二维矩阵中相对应的值进行“或”运算,得到字符图画的二维矩阵,再将该矩阵转化为二值图画,得到字符图画,其作用如图5所示。
在输入字符时,或许有噪声搅扰或许因为激光笔操作不妥发生相似于噪声的独自的点或短线。为了确保字符辨认的精确性,需要对康复出轨道的二值化图画进行八连通区域符号,并核算符号区域像素为1的个数。当像素为1的个数小于某个给定值n时,则以为该区域为噪声删去。当符号区域的像素个数大于给定值n时,则以为是字符区域。图6所示表明晰光斑半径与光斑区域像素个数的联系。
试验中选用的光斑半径为10个像素,在图6对应的光斑区域的像素个数n为300。试验进程中呈现的相似噪声的光斑区域往往不是一个独自的斑驳,而是一条短线或许几个光斑组成的区域,因而结合试验进程中呈现的噪声区域的巨细和图6中的联系曲线,本试验中取n的值为700。
运用二阶和三阶规范化中心矩导出的7个不变矩组,结合拓扑结构的8个特征,能比较精确地辨认出大写英文字符和阿拉伯数字,辨认率达98%。可见,本文所用的非触摸式手写字符输入办法是可行的。
相关于触摸屏输入法,非触摸手写字符输入法不只进步了输入功率,并且下降了设备的要求,一起到达无机械磨损,对一些移动设备和多媒体教育体系有较大的运用远景。本文的规划虽可以比较精确地辨认出手写字符,但仍需要做进一步地研讨和改善。本文只选了单色简略布景进行试验,关于杂乱改变布景还需进一步研讨;关于正常书写速度输入的字符有较高的辨认率,但关于快速输入或许输入比较马虎的字符辨认还存在必定的困难;文中运用了单色布景屏,假如用发光笔直接对着摄像头书写,其作用怎么还需进一步研讨和验证。