祝朝坤，魏伦胜 (郑州工商学院,河南 郑州450000)
摘 要：依据视觉的手势辨认与长途操控机械手相结合，经过摄像头收集用户的手势图画并提取手势指令，转化为机械手舵机的操控指令并经过无线蓝牙发送至机械手操控单元，完结视觉手势对机械手的长途操控，使操作简练化。机械手端则由两个STM32协同进行操控。契合低龄儿童启蒙期的学习智商，协助低龄儿童学习，文娱，启蒙教育。从小培育儿童的学习积极性。
要害词：OPENCV；STM32；无线传输；手势辨认；启蒙教育
0 导言
在国外，机器人教育一直是个热门：早在1994年麻省理工学院（MIT）就设立了 “规划和制作LEGO机器人”课程(Martin)，意图是前进工程规划专业学生的规划和发明才能。 跟着机器人技能的进一步开展，机器人除了智能程度在继续前进，其运用规模也从工业向各个职业浸透。现在市面上的早教机器人仍是传统的人机交互形式，在当今人工智能全球化布景下，这一类型的智能机器人现已逐步落后，无论是在先进性仍是智能性，都对传统的人机交互提出了更多的要求。本规划对早教机器人加以更新式的改善，使得人机交互愈加智能，愈加契合年代潮流。
1 启蒙教育机器人的规划框图
由图1可知：启蒙教育机器人首要分为两大体系，分别是手势辨认体系和机械手操控体系。手势辨认体系由PC端摄像头收集手势信息，然后经过OPENCV以及相应的算法进行图画预处理，然后得到手势所包括的操控指令;终究将手势指令信息经过无线蓝牙发送至机械手操控体系，依照设定程序，将运动指令转化为机械手各个舵机和语音模块的操控指令，经过各舵机的协同操作完结运动作用和不同功用然后完结愈加智能的早教机器人，协助孩子提高学习的爱好。
2 启蒙教育机器人的硬件规划
本规划选用以STM32F429ZI6为中心，加载超声波测距模块、语音辨认模块、蓝牙模块、TTS串口转语音播映模块、扩展SD卡模块、MP3播映器模块以及最中心的机械手舵机操控模块，经过各种硬件的合作然后完结了各种功用。其间STM32承载了悉数的核算使命，是整个规划的“大脑”，而机械手和各类传感器则是规划的手足和五官，然后进行运动和收发信息的功用，该规划的全体电路如图2所示。
2.1 语音辨认模块
语音处理技能是人机交互的中心技能之一，跟着智能化的提高，越来越多的场景需求用到语音处理技能，HBR740能够很简单地装备语音指令，完结语音辨认功用。其体系架构如图3：
在该规划中，运用语音辨认首要进行操控五大形式，为了使得辨认差错更低，则选用二级指令进行校准辨认。
2.2 无线蓝牙通讯模块
机器人在进行手势辨认时，用到的OpenCV手势辨认技能需求在PC端进行操作，在PC端与机械手操控体系的信息传输中将手势指令信息经过蓝牙发送至机械手接纳单元，故蓝牙模块的无线传输功用是两个体系交流的桥梁，有着极为重要的作用。
2.3 MP3播映器模块
VS1003是一个单片MP3/WMA/MIDI音频解码器和 ADPCM编码器。在本规划中，其接纳输入的MP3数据，经过VS1003内置的采样DAC转化为音频模拟量，终究经过Left﹑Right输出，该模块首要用于“儿歌播映形式”以及“讲故事形式”中进行音乐以及故事的播映。
2.4 TTS串口转语音播映模块
TTS串口转语音播映模块只需求用串口发送中文指令及能够实时输出语音，能够很便利地将文字转化为语音。本规划中运用该模块用来进行语音提示。例如总操控体系经过语音辨认进入到猜拳形式时，该模块会播报“已进入猜拳形式”，然后提示运用者机器人当时坐落哪种形式，完结愈加人性化的规划。
2.5 超声波模块
HC-SR04超声波测距模块可供给2cm至400cm的非触摸式距离感测功用，本规划选用超声波传感器感应是否有人坐落启蒙教育机器人的前方，然后判别是否触发自启动形式。
3 启蒙教育机器人的软件规划
3.1 软件规划概述
软件规划首要分为两大部分，榜首部分是PC端的OPENCV手势辨认算法，其合作USB摄像头进行实时的手势图画收集；第2部分是STM32端的程序规划。
3.2 OPENCV手势辨认
手势是一种人类的基本特征，手势辨认技能的开展，为人与机器或其他设备的交互供给了或许。依据手势在时刻和空间上的差异，手势可分为静态手势和动态手势，对静态手势的研讨首要考虑手势的方位信息，而研讨动态手势除了要考虑手势空间方位改变，还需求考虑手势在时序中的改变规则。
整个规划中具有决定性位置的便是OPENCV动态手势辨认算法，它是整个体系的中心。
3.2.1 手势辨认算法剖析
经过摄像头来完结对图画的捕获作业，摄像头相似人眼，对周围的环境和运动方针有着较强的感知才能。而摄像头获取的图画色彩信息非常丰富，直接用来进行辨认和检测，会下降盯梢和辨认作用，而经过色彩空间转化、降噪操作、二值化等办法处理之后，再用与辨认和检测，作用会大大提高，其进程被称为图画的预处理进程。
3.2.2 HSV色彩空间
HSV 是由色彩、饱和度、 亮度组合而成的，归于非线性色彩体系，如图4所示的圆锥体子集所组成的模型即为HSV模型:
HSV模型和RGB模型之间有着紧密联系，而且能够彼此转化，而经过这种转化，最大的优点便是不同的色彩有着不同的HSV参数值，若取值V=S=1,则从色彩开端，色彩空间会跟着是非两种色彩的改变而改变，当不断添加白色时，发现参数V的值会坚持不变，而参数S的值却会减小，正是因为这种特性，才便于对手势图画的预处理，有利于对动态手势的盯梢监测，且其受搅扰程度很低，更便利后续的形态学噪声处理。
3.2.3 OPENCV手势概括提取与指尖标定
将依据肤色切割的类肤色图画与依据运动远景切割的动态手势图画进行与操作，得到手势的二值图画。该图画已排除了大部分类肤色区域，但仍包括较多的斑驳噪声。因而，需求对该图画进行形态学处理消除这些区域，以削减后期手势辨认进程中的搅扰信息。选用OPENCV开源视觉库中的概括操作函数：概括查找( ovFindContours),概括制作( cvDrawContours),概括凸包查找(ovConvexHull2),凸缺点查找(cvConvexityDefects)。从图画中提取出能够描绘连通域的特征重量：概括、骨架、凸包和凸缺点，然后进行手势概括提取。
关于规划中的指尖标定，选用最大曲率法能够求取图画上各点处的曲率，设置相应的阈值，提取到指尖和指缝，再依据其他条件别离指尖和指缝，终究完结指尖定位。这种办法很好滴避免了手腕和手臂上的搅扰点对指尖定位的搅扰，且曲率巨细与手势朝向无关，这样添加了手势辨认的灵活性以及准确性。
3.2.4 手势辨认中心代码
int main(){
MyImage m(0);//图画收集初始化
HandGesture hg;//界说手势收集信息变量
usartinit();//串口初始化，用于蓝牙发送到
STM32端
init(&m);//初始化色彩空间
m.cap>>m.src;
n a m e d W i n d o w ( “ i m g 1 ” , W I N D O W _
KEEPRATIO);//输出手势概括提取的图画
out.open(“out.avi”, CAP_OPENCV_
MJPEG, 15, m.src.size(), true);//输出实时的摄像头图画
waitForPalmCover(&m);//手势切割
average(&m);// 图画二值化
destroyWindow(“img1”);//封闭图画输出
initWindows(m);//初始化窗口
initTrackbars();//初始化拖动条
for(;;){
hg.frameNumber++;
m.cap>>m.src;
flip(m.src,m.src,1);//图画回转
pyrDown(m.src,m.srcLR);// 对图画进行高斯平滑，然后再进行降采样
blur(m.srcLR,m.srcLR,Size(3,3));//均值滤波
cvtColor(m.srcLR,m.srcLR,ORIGCOL2COL);//色彩空间转化
produceBinaries(&m);// 生成二进制
cvtColor(m.srcLR,m.srcLR,COL2ORIGCOL);//色彩空间转化
makeContours(&m, &hg);\\计数
hg.getFingerNumber(&m);//输出手势辨认的数字
showWindows(m);//翻开窗口
out <<m.src;
if(cv::waitKey(30) == char(‘q’)) break;
}
destroyAllWindows();//封闭一切窗口
out.release();//向外开释内存空间
m.cap.release();
return 0;
}
手势辨认测验如图5：
3.3 STM32机械手程序功用规划
在规划组成的两大要害中，机械手操控是不可或缺的一部分，当上位机辨认手势辨认完结后，将辨认成果经过蓝牙传输发送至机械手操控体系。操控体系则进入相应的形式，完结各项指令使命，总程序分为若干部分，分隔履行,其大致流程图如图6所示。
4 总结
启蒙教育机器人其适用人群为儿童，当时市场上也有许多的儿童早前教育机器人。但是真正与手势辨认彻底结合在一起的却少之又少，与手势互动的更是几乎没有。因而，本文中的启蒙教育机器人在规划之初就为了能与儿童有更多的互动，添加其学习的爱好，完结手势辨认技能在人机交互中的立异含义。其关于启蒙教育而言则有了新的前进，能协助儿童进行前期学前启蒙，是处于全球人工智能布景下的规划，完结了人工智能技能在教育范畴的前沿探究。
5 参考文献
[1]张瑞,焦晓琼.依据OpenCV的图画处理技能在国画中的运用[J].主动化与仪器仪表,2019(09):226-229.
[2]杨帆,徐军.依据人脸辨认技能的电源开关操控体系[J/OL].传感器与微体系,2019(09):93-95,98[2019-10-09].
[3]李杰,刘子龙.依据核算机视觉的无人机物体辨认追寻[J/OL].软件导刊:1-5[2019-10-09].
[4]王禾生,梁维保.一种主动夹取及码垛的机械手设备规划[J].机电信息,2019(27):103-104.
[5]侯勇,毛润华,何献章,张晓宇,李金桐.CNC多工位主动上卸料机械臂规划[J].制造业主动化,2019(09):125-128,148.
[6]周挺,杨荣.多媒体网络语音腔调数据特征智能辨认办法[J].主动化与仪器仪表,2019(09):132-135.
[7]梁慧.嵌入式英语语音辨认体系差错主动检测办法研讨[J].主动化与仪器仪表,2019(09):55-58.
作者简介：
祝朝坤，男，硕士，首要研讨方向：嵌入式体系、形式辨认与图画处理
魏伦胜，男，本科，首要研讨方向：嵌入式体系、图画处理
本文来源于科技期刊《电子产品世界》2019年第11期第77页，欢迎您写论文时引证，并注明出处。
