1、导言
因为两路视频信号的发生来源于相同景象的不同区域且有交叠部分，在恣意拍照时间得到的两帧图画必定存在必定程度上的内容相关性，本算法将从图画堆叠区域内容相关性下手，判别并调整两路视频的同步联系。一起，关于嵌入式体系的算法完成上，数据运算量的简化也是很重要的问题，直接影响到体系的实时性。
2、算法规划
如图1.a、b所示，An和Bn是两路视频图画，且根据内容同步，白色箭头指向的是当时时间播映的图画帧。假如依照图1（a）的办法播映，两路视频是同步的；可是，因为播映器的独立性以及各种搅扰的存在，如图1（b）的帧错位状况会呈现。由此可见，需求处理的首要问题是：①判别当时播映是否同步；②若不同步，错位多少帧，怎么快速有用地找到同步帧。
图1（a） 图1（b）
A. 两帧图画同步判别
在恣意时间，两路边际堆叠的是非图画信号（亮度信号为8位）的堆叠区域图画对应两个矩阵。这两个矩阵的联系可是直接反应出两幅图画的同步联系。
1） 相关函数模型
2） 抽样处理
使用上述办法断定两帧图画同步时，严厉的核算相关算法的成果准确度是最高的，可是有必要支付极端大的运算量。因为核算相联系数需求将堆叠部分图画的每一点的亮度值归入核算规模；一起，矩阵A和B相联系数的核算是二维运算。以175×288点巨细图画核算（702×576隔行扫描的1/4堆叠部分），cov（A，B）需求进行50400次8位2进制乘法运算和50400次8位2进制加法，DA、DB也各需求50400次8位2进制乘法运算和50400次8位2进制加法。显着，这样的运算两使得运用嵌入式体系是难以满意实时性要求的。
因为大部分状况下图画中的一点是与周围像素具有较强相关性的，所以没有必要在相关函数的运算过程中代入一切象素点的亮度值，而可以以恰当的办法进行像素抽样。正是根据这种考虑， 假如咱们仅用对原图画采纳隔1 行、隔1列取一个像素的办法进行像素抽样， 构成1/4 巨细的新图画， 再用新图进行判别，则核算量就将减少了3/ 4。
在判别过程中，咱们持续选用像素抽样的办法。考虑到M×N的图画一般M≤N，所以考虑到选用隔6行、隔8列的办法抽样。假如每一行都从第1列开端选取如图2 （a）所示， 则未被挑选的点与最近邻采样点的距离为5p （p为两个相邻像素的距离）。假如选用图2 （b）所示偶数行从第5列开端挑选原点， 则未被挑选的点距最近邻抽样点的最大距离为3p （图中虚线点的方位距最近邻挑选点的距离为3p）。图画中像素越挨近， 类似性越强; 换言之， 抽样点与未选点距离越小， 图画保存下来的特征就越多， 为此在匹配点数目不变时咱们在偶数行向后移两个像素挑选抽样点的挑选办法如图2（b） 所示， 可以使抽样点最大极限保存图画的特征。
3） FPGA算法规划
B. 错位帧数检测
3、Matlab算法有用性仿真
1、 相关性模型有用性查验
图4 两路同步视频
如图4所示，第二路视频图画由榜首路视频图画通过零均值方差0.002的高斯噪声处理得到（这儿的图画格式为180×288）。两路同步的视频图画在进行相联系数运算后得到的成果如表1所示。可以看出在同步的状况下，即便有较强的搅扰存在，恣意检测两帧图画的相联系数都是很挨近于1的。
如图5所示，第二路视频图画由榜首路视频图画通过零均值方差0.002的高斯噪声处理并超前一帧得到。两路同步的视频图画在对应方位进行相联系数运算后得到的成果如表2所示。可以看到，在任何一组非同步帧的相联系数运算成果都远小于1。因而，相联系数用来判别两路视频是否同步。
若以榜首路视频图画的第四帧作为基准，与第二路视频图画作相关运算，得到的成果如表3所示。可以看到，榜首路视频图画的第四帧与第二路视频图画的第三帧的相联系数最近接1，可以据此得出榜首路视频的第四帧与第二路视频的第三帧的同步帧的定论。
2、 抽样计划比较查验
别离用两种办法进行抽样：①关于180×288的图画横向、纵向均作32点均匀抽样，且开始点均为抽样行的开始点；②关于180×288的图画横向、纵向均作32点均匀抽样，开始点在抽样的奇数行为开始点，偶数行为第三点，进行蜂窝抽样。
由抽样①、②得到的数据别离进行互相关运算得到的互相联系数ρ1、ρ2，与未抽样时的相联系数ρ相减得到的ρ1-ρ，ρ2-ρ，可以反映两种抽样办法的有用性。如图6所示，对20幅图画作ρ1-ρ，ρ2-ρ，绘出曲线，曲线①为ρ1-ρ，曲线②为ρ2-ρ，可以看到曲线①违背0的程度显着大于曲线②违背0的程度，证明了抽样②在相同抽样点数的状况下优于一般采样①。通过对多组图画进行曲线制作，得到了类似的定论。
定论
本算法可以进行两路视频图画同步判别，并在必定规模找到两路图画错位帧数以调整视频播映速度。为了可以植入FPGA，本算法还提出了用非等距离采样的办法来下降参加运算的数据量，从仿真的成果来看算法是正确的、有用的。
本文的立异点在于体系视频同步播映算法的开发与验证，而且针对嵌入式体系使用本算法选用了优化的抽样办法大幅度下降运算量。
责任编辑：gt
