电子摄像体系已广泛运用于军用及民用测绘体系中，可是作用遭到其载体不一起间姿势改变或轰动的影响。当作业环境比较恶劣，尤其是在航空或户外操作时，支撑摄像机渠道的轰动会引起图画画面的颤动，令观察者视觉疲惫，从面发生漏警和虚警。所以在运转中，怎么稳像成为非常重要的问题，特别是在长焦距、高分辨力的监督盯梢体系中愈加杰出。具璞蒿、实性性强、体积细巧等特色，得到更广泛的运用。
稳像体系的反应速度是电子稳像要处理的要害技能之一。传统的根据“摄像机-图画收集卡-核算机”形式的稳像体系、图画检测和匹配算法悉数由核算机以软件方法完结。尽管当今核算机的功用很高，能够部分满足单传感器电子稳体系的实时处理要求，但在以下几个方面有着难以处理的问题：首要，其固有的串行作业方法使得单核算机难以习惯其于多传感器视频处理体系的实时稳像，阻止了在实践中的运用adw欠，传统的图画收集卡中能将收集图画数据实时传输给核算机，而不能传输给规范接口的视频监督设备lk之许多运用场合对听要求很高。因而，研制专用的电子稳像渠道，既能实时地高速获取视频数据，又能将数据实时地传后续的图画处理体系，既有实践意义又有工程价值。
1 体系触及的要害技能
摄像头输入的PAL制式电视信号首要通过视频处理接口完结对其解码、同步和数字化的作业，数字化后的图画信息进入到由FPGA完结的帧存操控器中，完结数据的交流(数据的缓冲)，一起完结体系要求的去隔行和扩大的操作，最终处理好的数据通过VGA操控器，完结时序改变，经视频、A变为模仿信号送到VGA监督器上实时显现。
1.1 视频处理接口
因为在进行视频处理时，多为从摄像头输入模仿信号，如NTSC或PAL制式电视信号，除图画信号外，还包含行同步信号、行消隐信号、场同步信号、场消隐信号以及槽脉冲信号等。因而对视频信号进行A/D转化的电路也非常杂乱。Philips公司将这些转化电路集成到了一块芯片中，然后生产出功用强大的视频输入处理芯片SAA7111，为视频信号的数字化运用供给了极大的便利。
体系规划选用SAA7111对复合信号进行采样、同步发生、亮色别离并输出规范的数字化信号。SAA7111输出的数字化图画信息契合CCIR.601主张，PAL制式的模仿信号数字化后的图画分辨率为720×572，像素时钟13.5MHz。在本稳像体系中要求图画输出契合VGA(640×480，60Hz)规范，因而在收集数据时要对数据进行挑选，避开行、场消隐信号和部分有用像素信息，在较大的图画中截取所需求的巨细。SAA7111向帧存操控电路输出像素时钟(LCC2)、水平参数(HREF)、笔直参阅(VREF)、奇偶场标志信号(ODD)和16位像素信息(RGB565).其间LCC2用来同步整个收集体系;HREF高电平有用，对应一行720个有用像素;VREF高电平有用，对应一场信号中的286个有用行;ODD=1时，标志当前场为奇数场;ODD=0时，标志当前场为偶数场。选用16位RGB标明每个像素的五颜六色信息。图1(a)为数字化图画中的一行像素的时序图。其间两个HREF别离标明有用行的开端与完毕方位，实践为一个信号;能够清楚地看到一行中有用的720个像素与像素时钟LLC2的对应联系，在收集时通过帧存器操控电路挑选其间部的640个像素进行收集。图1(b)为一帧数字图画的输出时序图。能够看到在第*～22行时，VREF处于无效状况，因而在后续的收会集，这部分的信息不予处理并通过ODD的电平区别奇偶场数据。
1.2 去隔行支撑
PAL制电视信号选用隔行扫描机制，选用人眼的视觉暂留来完结两场1/50s扫描312.5行的图画构成625行(一帧)图画。而规范的VGA显现形式选用逐行扫描方法，在一个扫描周期内完结对图画的彻底扫描。因而需求对视频信号进行去隔行处理。视频信号在通过缓冲后，依照取样时钟把通过模数转化的数字信号送入存储器缓存，通过数据内插的方法进行数据扩展，即相邻行之间依照必定的算法进行加权，然后得到内插行的数据，再以恰当的速度读取处理后的数据，即可完结倍行频/倍场频的扫描。倍行频扫描能够消除行间的闪耀现象，倍场频扫描尽管行扫描频率不变，可是场频加倍，即能消除行间闪耀现象，还能够消除场间的大面积闪耀。去隔行问题的本质便是在每一场中添补被越过的那些行，其进程如图2所示。
实践上为完结去隔行现已提出了许多简略的滤波器。一种挑选是用同一场中的笔直内插值，这是个一维二倍上转化的问题。抱负的笔直滤波器是一个半带低通滤波器。可是，这个滤波器要求无限长度冲击响应是不行完结的。实践运用中运用的是短得多的滤波器。最简略的是行均匀，它用丢掉行的上一行和下一行的均匀来估量该丢掉行。在图2中，关于第t场，D=(C+E)/2。因为没有运用时域滤波，所以它沿时刻频率轴具有全通特性。为了改善功用，另一种挑选是运用更长的笔直内插滤波器，其频率响应更挨近抱负的半带低通滤波器。关于第t场的行，满足的内插方法是D=(A+7C+7E+G)/16。以上两种方法都是只用了笔直内插。一种代替方法是运用时刻内插。值得注意的是，关于一场中每个丢掉行，在同一帧的另一场中有一个对应行。一个简略的时刻内插计划是仿制此对应行，即D=K，J=C。这种方法称为场兼并。因为每一个去隔行帧都由兼并两场获得,可是这两场的时刻内插是相反的(关于某些特别图画或许会发生视觉人为失真)。因为只在时刻方向进步行了滤波，因而在笔直方向上是全通的。
为了改善功用，能够运用一种对称的滤波器，例如，对前一场和后一场中的对应行去均匀以获得当前场中丢掉的行，即D=(K+R)/2。这种方法称为场均匀。可是这种方法内插任何一场需求触及三个场，需求两帧存储器。与场兼并的方法比较，在存储器容量和延时上有不行忽视的添加。为了在时刻和空间人为失真方面到达折衷，较好的方法是既用笔直内插也用时刻内插。例如，通过对同一场中上一个和下一个像素以及前一场和后一场取均匀进行内插的方法得到一个丢掉的像素。综上所述，当成像的景象在相邻两场之间停止时，在奇数场中丢掉的偶行数应该与前一个和后一个偶场中对应的偶数行彻底相同。因而时刻内插将发生准确的估量。另一方面，当景象中存在运动时，相邻场中对应行或许不在同一个物体方位上，时刻内插将发生不行承受的人为失真。而一起运用空间和时刻均匀的方法将发生不太严峻的人为失真，但在存储器容量和反应时刻方面作出献身。
通过上述计划的对等到体系的详细要求，规划中选用了场兼并的方法，详细完结由帧存操控器完结。
1.3 帧存操控器
帧存储器是图画处理器与显现设备之间的通道，一切要显现的图形数据先存放到帧存储器中，然后再送到显现设备进行显现，因而帧存储器的规划是图形显现体系规划的一个要害。传统上，能够完结帧存储器的存储器材有多种，如DRAM、SDRAM及SRAM等。DRAM、SDRAM归于动态存储器，容量大、价格全家但速度较慢，且在运用中需求守时改写。关于根据FPGA的视频处理器，需求规划专用的改写电路，添加了体系规划的杂乱程度。SRAM速度高、接口简略、容量较小。跟着%&&&&&%技能的不断发展，容量不断增大，价格也不断下降。在需求高速实时显现的视频处理体系中的运用越来越遍及。
帧存操控器的规划关于完结两种不同视频体系之间的图画信号的存储、收集和显现显得非常重要。为了确保数据处理与收集的接连，规划中运用了两组帧存储器(FRAM1、FRAM2)，因为数字化的图画每帧巨细为640×480=307200(16bit)共300K×16bit的数据量，笔者运用每组512K×16bit的静态存储器，存储时刻为12ns，能够确保快速地读出和写入图画数据。图3为帧存操控器的逻辑框图。
因为输入信号为隔行扫描的图画数据，显现输出需求逐行扫描数据，因而数据存入帧存储器时需求进行处理。规划中选用场兼并行法，将两场的数据写入一个帧存中，构成一幅完好的逐行扫描图画，体系运用VREF信号对此进行操控，发生的帧切换操控信号操控数据在两个帧存中的切换。当VREF信号有用时，标明新的一场开端了，此刻无效行计数器开端作业，操控不需求收集的图画行，计数到阈值后，有用行计数器开端作业，操控所要收集的图画行，并宣布高位地十信号A[18..11];相同，当HREF有用后，无效像素计数器开端计数每行中的无效像素，然后有用像素计数器开端计数需求收集的行听有用像素;每次计满640个像素后，等候下一次有用行信号的到来，一起将有用行计数器加1。因为体系选用的帧存容量较大，因而运用ODD的反相信号作为帧存地址的A10，为每行图画供给了1024个存储空间(实践运用640个)，能够简化数据写入与读出的操控电路。隔行的视频信号就会被逐行地存储到帧存体中。总线阻隔与操控电路用来完结数据在帧存中的写入与读出的同步。因为选用SRAM作为帧存体，有用像素的写入与后续视频接口的读出不能在一个帧存体中一起进行，体系选用双帧存轮番操作的方法，体系选用双帧存轮番操作的方法：当数字化后的图画信息写入其间的一个帧存时，帧存操控器将另一个帧存中的像素次序读出，送到显现设备，反之亦然。
1.4 视频图画的扩大改换
运用栅格理论几许改换处理进程能够按下面方法进行描绘：给定一个界说于点阵Λ1上已采样信号，需求发生一个界说于另一个点阵Λ2上的信号。假如，Λ1中的每一个点也在Λ2中，那么此问题是上转化(或内插)问题，能够先将那些在Λ2中而不在Λ1中的点添零(即零填充)，然后用一个作用于Λ2上的内插滤波器估量这些点的值;若Λ1)Λ2，即为下转化(或抽取)问题，能够简略地从Λ1中取出那么也在Λ2中的点。可是，为防止下采样信号中呈现混叠，需求对信号进行预滤波，以将其带宽约束到Λ2*的沃格纳晶体。上转化和下转化的进程示于图4(a)、(b)中。更一般的状况，假如Λ1和Λ2相互不包含，就需求找到另一个即包含Λ1又包含Λ2的点阵Λ3，能够先将Λ1上采样到Λ3，然后再下采样到Λ2。此进程示于图4(c)。图4(c)中Λ3中的中心滤波器完结两个使命：首要，内插出Λ1中漏下的采样点;其次把Λ3中的信号频谱约束于Λ2*的沃格纳晶格。
因为体系中进行扩大改换选用FPGA完结，因而本文评论的要点在于怎么简化完结并进步转化速度，上转化中的上采样进程为：
(1)式中Ψs,1和Ψs,3别离为原理图画和上采样信号;U(.)为上采样运算;Λ2Λ1标明在Λ2而不在Λ1内的点的调集。插值滤波器的界说如下：
(2)式中，d(Λ)为栅格Λ的采样密度;v*标明栅格Λ的转逆栅格的Voronoi单元，即栅格Λ原点的单位元，它向一切栅格点平移将会无堆叠地掩盖整个接连空间。最简略的插值滤波为线性插值，也能够选用二加权滤波的方法。图画的缩放还能够选用3次样条插值和小波分化的方法，尽管这些方法在理论上能够获得很好的图画缩放作用，但核算杂乱，即便选用快速算法，也难以完结视频图画的实时显现。
针对视频信号数据量大、数据流速度的特色，选用FPGA规划，能够完结帧存操控、视频信号的实时扩大与叠加功用。根据运算速度与算法完结的难易程度剖析，对视频信号的扩大选用了简略的线性插值的方法，原理如图5所示。视频信号是以场或帧进行存储的，因为数据写入时存储地址与图画显现的空间方位有确认的对应联系，因而体系需求的扩大处理就变为对帧存储体的地址线的操控问题。
关于本体系详细的4倍扩大要求，将行同步信号先进行二倍行使能运算，并运用场同步信号对该寄存器进行复位，将生成后的二分频行同步信号操控行地址发生器，也便是发生帧存储器所需的高位地址;相似地运用像素时钟、行同步信号和场同步信号就能够得到所需的低位地址。因为在帧存操控器向帧存储器写入数据时选用了一行点1024个方位的方法，所以在低位地址后连接了一个比较器，当发生的低位地址小于640时，帧存储器的读信号有用，不然无效，以确保不会混叠入无效的数据。
1.5 VGA接口操控器
规范的VGA(640×480，60Hz)接口需求供给以下几组信号：3个RGB模仿信号、行同步信号HS和场同步信号VS。它的信号时序如图6所示。
图6中VS为场同步信号，场周期为16.683ms，每场有525行，其间480行为有用显现行，45行为场消隐区，场同步信号每场有一个脉冲，该脉冲的低电平宽度为63μs(2行)。行周期为31.78μs，每显现行包含800点，其间640点为有用显现区，160点为行消隐区(非显现区)。行同步信号HS每行有一个脉冲。该脉冲的低电平宽度为3.81μs(即96个脉冲)。因而，VGA操控器的使命便是按要求发生所需求的时序。
DISCLK为视频显现时钟，频率为25MHz，首要输入到模等于800的像素计数器中，输出的计数值与一个预先设好的比较器进行比较，当计数器的值大于160时，输出高电平，反之输出低电平，作为行同步信号;同理，运用一个模等于525的计数器对行同步信号进行计数和一个阈值为45的比较器能够发生所需求的场同步脉冲VS。
发生的行、场同步信号和像素显现时钟别离被送到两个地址发生器中，发生所需求的操控帧存储器的地址信号。因为前面介绍的帧存操控器中选用为每行数据供给1024个存储空间的方法，因而在数据读出时也要进行相应办理。低位地址发生器发生的地址数据与一个比较器进行比较。当地址小于640时，帧存储器的读信号MEMRD位低电平有用，不然无效，这样有用像素数据就被完好地提出。因为VGA是一个模仿的接口规范，RGB五颜六色信息需求输入模仿量，因而帧存储器输出的数字信息还要通过D/A改换。体系先用飞利浦公司出品的TDA8771AH，它内部集成了三个视频D/A转化器，根据电阻网络架构，转化速率最高可达35MHz。因为它专用于数字电视、视频处理等相关范畴，因而运用非常简略，只需求供给24bit数字信息和一个转化时钟即可。VGA操控器原理图如图7所示。
2 体系集成
综上所述，完好的电子稳像体系结构如图8所示。摄像头输入的信号选用PAL制式，通过视频处理接口后构成RGB565格局的数字视频信号和操控信息;帧存操控器作为整个渠道的中心，在将数据写入帧存储器的一起，对数字化的图画信息进行去隔行处理，再将数据读出送往VGA操控器时进行扩大改换。VGA操控器则担任将数据依照VGA规范时序送往显现器上。
在该渠道上完结了文献中K0等人提出的一种最简略的基本位平面的电子稳像算法，关于8位的灰度图画，能够标明为：运用第4层进行运算，其根据是在多帧图画进行BPM运算后发现，该层的差错成果较滑润。可是，K0的BMP-b4算法在不同的图画序列和信噪比的状况下，并不能总得到一个最优解;在某些状况下，b4、b5或b6会得到更好的成果。
现在材料显现电子稳像技能作为近年新式技能还处于实验研讨阶段，因其适用范围宽广而展示了达观的研制远景。
