体系原理和技能特色：
视频图画的拼接进程首要可分为图画配准和交融处理两个部分。本项目依据SIFT（Scale invariant feature transform规范不变特征改换）算法，提取视频帧图画中部分部分（边际部分）的特征值完结图片匹配，选用加权均匀办法办法对图画进行拼接。完结4路高清摄像头视频数据收集、SIFT算法特征提加权均匀办法图片拼接的SOC规划。因为视频数据处理量大，视频中帧图画拼接要求统筹高效性与精确性，选用可编程器材FPGA渠道，规划比较灵敏，经过硬件与软件再次分配完结SIFT算法的硬件，提取边际交汇部分的特征值精确匹配，完结视频实时处理的项目规划。
SIFT算法原理
SIFT是世界上最强壮的特征点检测算法之一。特征点检测确认了一切特征点的终究方位，决议了整个体系的精度和安稳性，这方面在适合于FPGA中硬件完结加快。经过合理的规划，能够完结实时的SIFT特征提取体系规划。
特称点检测一直是核算机视觉中备受重视指出，2004年，哥伦比亚大学的David Lowe提出SIFT算法，较好的处理了物体遮挡、旋转、视角改换引起的图画变形等问题。
SIFT算法获取图画特征点的首要思维：
(1)规范空间极值点的检测：该算法的第一步是经过对原始图画进行高斯滤波，树立高斯金字塔，取得高斯差分来找到那感兴趣的要害点，也就是在今后的图画匹配中或许发挥作用的特征点。
仅有或许的规范空间的中心是高斯函数。因而，图画的规范空间界说为一个函数L（X;Y;σ），从规范可变的高斯卷积出产G(X;Y;σ)，输入图画I(X;Y)
为有效地检测规范空间安稳要害点的方位，Lowe主张经过高斯差分获取图画的空间规范极值函数D(X;Y;σ)，能够经过一个乘法系数K分离出来的两个附近的规范进行核算。
在规范空间经过一个常量系数K，初始图画与高斯函数部分卷积。如下图左边
检测D(X;Y;σ)部分的最大值和最小值，每个采样点与其当时图画和9个规范相邻，找最小值与最大值。
(2)要害点的定位：在第(1)步中找到的点，需求经过安稳性的挑选才干成为真实的要害点。
在(1)中确认了要害点，在此过程进行挑选。
高斯函数中一个界说不情的峰值会有一个大的主曲率边际和一个小的在笔直方向。经过一个2×2的Hessian矩阵，在要害点的方位和规范上核算主曲率H。
依据H的特征值和D的主曲率份额关系，经过核算份额不必清晰核算特征值。
(3)方向指定：依据每一个要害点邻域内点的梯度方向，为要害点分配梯度方向和梯度的模。一切将来对图画数据的操作都被转化成为相关被分配的方向，规范和区域，因而对这些转化供给一个不变性。
在像素样本L(x;y)在规范上，梯度起伏m(x;y)和方向
(x;y)如下
其间方向直方图掩盖360度
经过梯度主导方向确认峰值，检测直方图中的最高峰值。不到80％的最峰值被用于创立一个同方向的要害点。
这样，经过方位，规范，方向就能够确认SIFT特征值
(4)要害点描绘符：在每个要害点周围区域被挑选的规范上，丈量部分图画的梯度，将特征点以多维向龄的方式描绘出来。
以特征点为中心取16*16的邻域作为采样窗口，将采样点与特征点的相对方向经过高斯加权后归入包括8个bin的方向直方图，终究取得4*4*8的128维特征描绘子。
终究，匹配要害点。
环视全景视频体系首要过程：
输入4路视频，在初始化阶段对边际部分方位进行SIFT特征提取、特征点初匹配、特征点精确匹配，在实时阶段经过加权均匀法交融视频，输出合成视频。
图 首要过程
首要技能特色
1.高分辨率宽视界
高分辨率的宽视界图画或视频在当今视频图画信号处理范畴越显重要。在全景企图的构建、全景视频监控体系的完结以及虚拟现实技能中虚拟环境的构建等等都极端要害。一般摄像头获取场景往往不能统筹高分辨率与宽视界，经过缩放镜头减小拍照视界以交换高分辨率的场景图片或许献身分辨率获取大场景。别的，有些大规范物体用一张相片无法拍照下来。所以，经过视频或许图画拼接处理高分辨率宽视界视频或许图画获取问题显得极端火急与必要。
2.边际交汇图画特侦提取
因为体系要求实时性切高精度拼接，对硬件要求较大。而因为硬件架构导致摄像头相对方位的固定，视频图画之间交汇部分也相对比较固定，所以没有必要对4幅图画悉数进行特侦提取。有算法研讨经过边际检测后进行特征点提取，证明了部分的特侦提取能够大大进步体系实时功用。针对本项目，咱们只需求对边际交汇部分区域进行部分的特征提取，这样能够大大进步体系功用，到达加快作用。
3.SIFT特征检测提取算法硬件完结
对SIFT算法进行的深入研讨，将其移植到FPGA芯片上，完结软件模块与硬件模块功用相互弥补，到达软件与硬件的最大优化，完结高速的图画特征提取作用。硬件加快SIFT算法为其在机器人定位，3D方针辨认与盯梢等嵌入式范畴的运用奠定了根底。
在图画匹配很多的算法中，SIFT算法对图画的光线亮度改变、规范缩放以及旋转都能坚持不变，对视角改变和噪声也坚持必定程度的安稳性。适用于在海量数据库中进行快速实时的匹配，极具有极端广泛的运用规模与可观的开展远景。
4.可编程器材FPGA完结算法硬件加快
可编程器材FPGA极具规划灵敏性，十分适合于高功用低成本的视频和图画体系规划及运用，视频特征提取的实时性对硬件要求很高，一般核算机CPU核算才能有限难以到达要求。依据FPGA渠道，规划者能够挑选怎么完结软件代码中的每个模块，能够经过对算法完结的软硬件区分，运用FPGA中现有硬件资源等来加快软件代码中的瓶颈问题，运用FPGA硬件规划模块来进步SIFT算法的时效性。
本项目算法选用抗干扰、高精确度、运用远景广泛但核算相对比较大的SIFT，对其进行硬件完结极具研讨价值。且有数据显现，100MHz处理一幅320×240巨细图画SIFT特征点提取只需0.8ms。
5.SOPC(Systems On Programmable Chip)规划
本项目以FPGA芯片为完结方针器材，完结多路视频数据的收集处理，研讨SIFT算法的硬件完结与加快，必定程度上提出有具有立异性的SOC体系结构。规划具有实时多路视频数据收集与杂乱算法运算的数据处理的片上体系，把算法和操控集成到当个芯片中，为该类体系的产业化做了很好的理论与实践根底。在单体系芯片中完结大连数据收集、杂乱数据处理是未来%&&&&&%的开展趋势。
体系框图（jpg/gif格局的图画文件）：
图1 体系框图
软件流程介绍（答应的格局doc，pdf，vsd，rar，zip）：
本项目体系规划首要分三大模块，分别为数据收集与根本处理、视频帧图画的拼接处理以及视频显现输出。依据科研实验室项目经历，多路高速CCD摄像头数据收集与根本色彩生成与纠正存储功用模块以及单路规范视频显现模块以根本完结，本项目可在之前项目规划的根底上加以衍生晋级运用。在此根底上，本项目更着重于完结SIFT算法的硬件完结与加快，完结实时视频的拼接。
数据处理有两大算法完结模块，为SIFT算法硬件模块与加权均匀法图画拼接模块。
经过对SIFT算法的研讨，在PC机上完结SIFT算法提取图画特征值，用加权均匀法拼接图画。加权均匀法在堆叠区域的交融作用一般，会呈现一些图画内容的含糊与重影，不过不是本项意图要点，多副图画的交融能够作为后续的开展及研讨。在了解SIFT算法的根底上，选用HDL描绘SIFT算法，完结硬件规划。
体系首要开发环境：Xilinx ISE Design Suite
拟选用的渠道：Atlys Spartan-6 FPGA开发套件
体系所需额外设备：4台高速CCD摄像头(MT9P001_MI5100_DS)
项目测验的规范：
本项目终究完结环视体系的视频的实时收集与显现。
完结四路视频的收集，分辨率到达标清。经过SIFT算法特征点检测和均匀加权法对帧图画拼接完结环视图画。4路视频帧图画之间联接连接，到达实时高效精确的视频拼接功用。
