1.导言
在视频监控范畴，进步监控图画质量和编码传输功率一直是咱们最为重要的寻求方针。进步视频质量意味着进步终究用户的观看满意度，进步编码功率则意味着在相同的码率约束下可以传输更高质量的视频。这涉及到监控体系中的多个环节，从上游的实践场景，到中心的传输网络，再到下流的用户终端，首要包括图画的收集、紧缩处理、传输或存储、解紧缩和显现等部分，其间任何一个上游环节出了问题，对图画质量的影响都不是下流环节可以纠正或弥补的。视频信号的预处理处在体系最上游，是针对主处理而言的，如图1所示。在视频监控中，主处理一般是指视频的紧缩编码和传输，此前的处理一般称之为预处理，常将它归并在视频收集部分。无疑，视频收会集的预处理是一个重要环节，处理的好坏将直接影响收集图画质量以及后续编码传输处理的功率。
有一个现象可以有力地阐明预处理在改进图画质量方面的作用：对相同场景、选用相同的码率，不同厂家的网络摄像机解码输出视频的质量往往存在较大的不同。尤其是在比较恶劣的环境下，其不同更为显着。产生这种不同的一个重要原因在于：在监控体系中，尽管咱们都选用规范化的视频紧缩办法，但终究解码输出图画的质量凹凸很大程度上取决于有无预处理、预处理的好坏，有时还包括恰当的后处理。
近来，跟着人们对预处理重要性知道的不断进步，跟着集成芯片和信号处理器才干的不断增强，业界对视频信号的预处理越来越注重，商场上高质量的监控产品必定离不开高质量的视频预处理办法。
2.预处理的作用
视频预处理的第一个作用是进步编码视频的质量。在实践的视频监控的运用中，不像文娱视频，往往有高质量的摄像机、杰出的演播室拍照环境和专业技能人员的不时人为干涉，因而可以确保得到的高质量的收集视频。而视频监控体系因为本钱、环境等要素影响，所获取的原始视频质量并不高，乃至很低。例如，因为环境、噪声、光照、运动等影响，往往所收集的图画常常呈现含糊、歪曲、噪点、太亮或太暗、五颜六色不显着、……。关于这样比较差的视频，再进行紧缩、传输、解码显现，用户所看到的监控视频常常不能令人满意的。如安在现有的条件下进步收集视频质量的问题就真实地放在咱们面前。对此，一个重要的应对办法便是在视频收集环节进行预处理(preprocessing)，以利于进步收集视频质量，有利于后续的视频处理，以利于用户提取视频中感兴趣的信息。
视频预处理的第二个作用是进步编码功率和有利于码率操控。咱们知道，无论是有线仍是无线视频传输，都是依据IP的包传输办法，信号的传输速率不安稳，速率会随用户的拥堵程度、信道的物理介质而不断改动。要在这样速率改动的信道上安稳、高效地传输紧缩视频图画，除了依靠编码器的码率操控之外，还可以运用预处理的办法来辅佐完结。在编码前对图画进行预处理，操控输入到编码器的视频数据量，然后来直接操控编码器输出的码率，其进程仍可参见图1。
由图1可见，不只经过缓冲区的满溢程度来操控量化步长，一起也加上了预处理对输入的视频数据进行操控。例如，当信道变窄时，咱们可以依据信道带宽信息对输入视频进行必定程度的滑润滤波，削减细节，乃至进行下采样处理、跳帧处理，使编码视频的码率能与信道带宽相匹配。当然，因为信道情况信息的取得比较费事，可以经计算学习树立信道带宽改动的近似模型，再依据这个模型来决议预处理的办法和程度。
最早的视频预处理是在模仿域进行的，包括对模仿视频信号的限带滤波、噪声按捺、主动增益操控、白平衡以及r校对等。跟着视频收集技能的数字化进程，这些简略的预处理办法大多现已集成到芯片中去了。现在，视频预处理都是在数字域进行的，即在视频数字化收集往后进行，充分发挥了数字信号处的便利、高效、灵敏和共同的优越性。现在，在视频监控中常见的预处理办法除了根本的图画滤波、图画去噪和多种图画增强处理外，还呈现了多种针对特别运用环境的预处理办法，如背光或暗光处理、雨雾烟处理、感兴趣区间的处理等。
3.常见的预处理办法
现在常见的作用显着的视频预处理首要包括下面的几个方面。
3.1 限带滤波和降采样
依据奈奎斯特定理，只要对图画进行高于两倍信号最高频率的采样才干确保从采样值彻底康恢复图画。可是假如该条件不满足，即欠采样时，高次谐波的频谱就会叠加到基波，呈现频谱混叠效应。跟着图画高明晰度的添加，因为采样率的约束，绝大多数成像体系都存在不同的混叠现象。怎样消除混叠效应成为了预处理中的一个令人注重的问题。
按捺或消除混叠效应常选用两项办法，一是限带滤波，二是下采样。限带滤波便是对高速采样的数字视频进行一次低通滤波，按捺奈奎斯特定理界说的通带以外的高频重量。因为这些带外重量在后续的处理中会引起混叠效应，产生无意义的高频重量，而编码器还得对它们进行编码，糟蹋不少名贵的编码比特。仅选用限带滤波只能滤除信号中少数的高频重量，假如信号带宽远高于奈奎斯特带宽，那么在限带滤波后还需进行一次下采样，进一步削减码字。
3.2 噪声去除
噪声关于任何实践的视频收集来说均是不可防止的，假如在编码前未将不必要的噪声去除，不只会影响解码视频质量，而且后边的编码部分还将为噪声编码，下降了功率。视频中常见的噪声首要有加性噪声、乘性噪声和量化噪声等。图画中的噪声往往和信号交错在一起，尤其是乘性噪声，假如滤波不妥，就会使图画自身的细节，如鸿沟概括、线条等，变得含糊不清。怎么既滑润掉噪声又尽量坚持图画细节，是图画去噪的难点地点。
图画去噪办法许多，它们大体上可以分为两类：空间域的去噪办法和改换域的去噪办法。这两类办法的最首要区别是前者直接对调查图画数据进行处理，而后者则是先对图画进行某种改换，然后再对改换后的系数进行处理。
改换域的去噪办法以为，在改换域图画往往是稀少表明的，即高频重量很少，大部份噪声处于高频部分，经过在改换域设置阈值或许切断高端频谱来去除噪声。这类办法的长处是在改换域进行处理比较简略。它的缺乏之处在于对阈值的设置比较困难;在去除噪声的一起不可防止地会滑润图画自身的纹路细节;图画在改换域丢掉了部分结构特征，特别是鸿沟信息等。这些都会影响去噪图画的质量。 空间域的去噪办法注重图画数据自身，如近年来盛行的依据块的去噪办法，其根本思想是为去噪图画的每一个块寻觅与它相似的块，相似块可以在同一帧内部寻觅，或许其它帧中寻觅，还可在其它图画中寻觅，终究经过加权平平等操作康复图画块。空间域的办法运用了更多的图画数据信息，保存图画的结构，有利于坚持图画细节，但也简略呈现过滑润现象。近年来针对图画的混合高斯噪声，呈现了一种将改换域和空间域办法相结合的自适应噪声去除办法。这种办法首要选用依据块和滤波的噪声参数估量，自适应的估量混合高斯噪声参数，然后运用估量得到的噪声参数进行图画去噪，将多幅去噪图画进行简略的数据交融，终究取得功用杰出的去噪图画，其进程如下图2所示。
3.3 图画增强
图画增强处理的使命是有目地杰出图画中的感兴趣部分，或方针的特征，按捺图画中某些不需要的特征，进步图画的明晰度，改进图画的欣赏质量。在图画增强进程中，一般不考虑图画降质的原因，增强后的图画也不必定要迫临原图画。图画增强中常见的几种详细处理办法为：
(1)直方图均衡
在图画处理中，图画直方图表明了图画中像素灰度值的散布情况。为使图画变得明晰，增大反差，凸显图画细节，一般期望图画灰度的散布从暗到亮大致均匀。直方图均衡便是把那些直方图散布不均匀的图画(如大部分像素灰度会集散布在某一段)经过一种函数改换，使之成一幅具有均匀灰度散布的新图画，其灰度直方图的动态规模扩展。用于直方均衡化的改换函数不是一致的，它是输入图画直方图的积分，即累积散布函数。
(2)灰度改换
灰度改换可使图画动态规模增大，对比度得到扩展，使图画明晰、特征显着，是图画增强的重要手法之一。它首要运用图画的点运算来批改像素灰度，由输入像素点的灰度值确认相应输出像素点的灰度值，可以看作是“从像素到像素”的改换操作，不改动图画内的空间联系。像素灰度级的改动是依据输入图画f(x, y)灰度值和输出图画g(x, y)灰度值之间的转化函数g(x，y)=T[f(x，y)]进行的。
灰度改换包括的办法许多，如逆反处理、阈值改换、灰度拉伸、灰度切分、灰度级批改、动态规模调整等。
(3)白平衡
白色是人眼对份额相同且具有必定亮度的蓝、绿、红三种色光所构成的视觉反响。在正常的情况下，视频收集体系对白光的输出为白色，简略地说这个体系处于白平衡情况。假如体系对白光不可以坚持白色输出，呈现偏色，如发红或发蓝等，就阐明收集体系对现场五颜六色的处理呈现了误差，即未抵达白平衡。因为场景的五颜六色情况非常杂乱，难以断定白平衡情况，所以在实践运用中，常常用白光来断定体系的白平衡情况。这是一种衡量体系的色彩份额是否恰当的一种便利、直观的办法。假如抵达了白平衡，那么输出的色彩也是白色，没有其它的偏色;假如有偏色，阐明没有抵达白平衡，需要在预处理时加以调整，使之成像后依然为白色。
(4)伽玛校对
在视频收集体系中，CCD、CMOS等光电转化的器材的特性都是非线性的。场景的亮度L和是传感器输出的电压E，之间的联系可用一个幂函数E(x, y)=kLr(x, y)来表明，其间k是份额常数，r是幂函数的指数，用它来衡量非线性器材的转化特性，称之为伽玛特性。在视频中因为伽玛特性的存在，会导致图画信号的亮度失真，影响图画质量。因而要对这个失真进行补偿，即伽玛校对。简略地说，便是对输出电压用一个负指数函数对其进行校对，使得校对后的光、电两个量之间坚持线性联系。
(5)图画滑润
在空间域中进行滑润滤波技能首要用于消除图画中的噪声，首要有邻域均匀法、中值滤波法等等。这种部分均匀的办法在削弱噪声的一起，常常会带来图画细节信息的丢失。
邻域均匀，也称均值滤波，关于给定的图画f(x,y)中的每个像素点(x,y)，它地点邻域S中一切M个像素灰度值均匀值为其滤波输出，即用一像素邻域内一切像素的灰度均匀值来替代该像素本来的灰度。
中值滤波，关于给定像素点(x,y)地点范畴S中的n个像素值数值{f1, f2,…,fn}，将它们按巨细进行有序摆放，坐落中心方位的那个像素数值称为这n个数值的中值。某像素点中值滤波后的输出等于该像素点邻域中一切像素灰度的中值。中值滤波是一种非线性滤波，运算简略，完结便利，而且能较好的维护鸿沟。
(6)图画锐化
收集图画变得含糊的原因往往是图画受到了均匀或许积分运算，因而，假如对其进行微分运算，就可以使边际等细节信息变得明晰。这便是在空间域中的图画锐化处理，其的根本办法是对图画进行微分处理，而且将运算成果与原图画叠加。从频域中来看，锐化或微分运算意味着对高频重量的进步。常见的连续变量的微分运算有一阶的梯度运算、二阶的拉普拉斯算子运算，它们别离对应离散变量的一阶差分和二阶差分运算。
(7)小波改换增强
对图画进行小波改换，可得到图画的不同频率重量的小波改换系数，假如对恰当的高频系数进行增强处理后，再进行小波逆改换之后，就可以抵达图画的细节或边际增强的意图。当然，小波改换还可以用来去除图画中的噪声。因为噪声大多归于高频信息，因而，当进行小波改换之后，噪声信息大多会集在高频子块之中，对这一部分系数进行按捺，则可以抵达必定的噪声去除作用。
4. 特别场合的预处理
视频监控的运用规模宽广，在图画收集时人为干涉的很少。因而，各种环境的影响，监控方针的影响以及人为要素的影响都不可防止。面临种种晦气的特别场合，依照规范履行的紧缩处理是力不从心的。为了进步品种期刊下监控视频的质量，选用视频预处理就显得分外重要。近年来在如下的几个方面的研讨和开发都取得了可喜的发展。
4.1 雨雾图画处理
在雾天、雨天或许烟霾不散的情况下，因为场景的能见度下降，图画中方针对比度和色彩等特征被衰减，致使室外视频体系的图画含糊不清，影响正常作业，因而需要在视频编码前消除雨水、雾霾对场景图画的影响。
以雾气消除为例，现在的图画处理办法首要分为两类：雾天图画增强和雾天图画恢复。雾天图画增强办法不考虑图画降质原因，办法简略，能有用地进步雾天图画的对比度，杰出图画的细节，改进图画的视觉作用，但可能会形成必定的信息丢失。 雾天图画恢复针对雾天图画质量退化的机理，树立雾气图画退化模型，然后用图画恢复的办法，对雾天退化图画进行恢复，补偿退化进程形成的失真，取得对无雾图画的最优估量，然后改进雾天图画质量。这种办法针对性强，得到的去雾作用天然，信息丢失小，处理的关键是模型中参数的估量。
4.2 暗光图画处理
在夜晚或光线缺乏的情况下，监控摄像很难捕获到明晰亮丽的图画，给道视频监控带来很大困难。因而，暗光图画增强的技能具有很强的现实意义。一般的图画增强算法对暗光图画处理仅仅作大局或部分的对比度拉伸，作用有限，不易完结图画的动态增强与色度坚持。近年来的Retinex 算法对暗光图画的处理取得了杰出的作用，增强了暗光图画的对比度，较好地坚持了图画的色度。
Retinex算法在研讨人的色彩视觉理论和视网膜皮层理论的基础上，提出一种关于人类视觉体系怎么调理感知到物体色彩和亮度的模型。在这一模型中，图画由两部分组成，一部分是场景中物体的光照亮度，对应于图画的低频部分，另一部分是场景中物体的反射亮度，对应于图画的高频部分，一般它们也被称为亮度图画和反射图画。因而Retinex算法从给定的图画中别离出亮度图画和反射图画，在五颜六色稳定的条件下，经过改动亮度图画和反射图画在原图画中的份额来抵达增强暗光图画的意图。
4.3 主动曝光和聚集
(1)主动曝光
CMOS之类的传感器只要取得正确的曝光量，才干得到高质量的图画。曝光过度，图画看起来太亮;曝光缺乏，则图画看起来太暗。抵达传感器的光通量的巨细首要由两方面要素决议：曝光时刻的长短以及光圈的巨细。运用光圈进行主动曝光，首要依据所拍照的场景来操控光圈巨细，使得进光量维持在必定规模内，本钱比较高。现在商场所见的中低端摄像头选用的干流技能经过调整曝光时刻来完结主动曝光。在研讨了很多不同光照条件的图画实例基础上，取得不同光照条件下的亮度与曝光值之间的联系，主动曝光的预处理正是依据这一联系来进行曝光操控的。
(2)主动聚集
聚集的好坏直接影响摄像机捕获的视频图画的明晰度，因而监控体系要求摄像机具有主动聚集的功用，调整镜头的焦距使其焦点坐落感光面上，然后取得明晰的图画。主动聚集的办法可以分为三大类：一类是依据镜头与被摄方针之间间隔丈量的测距办法，另一类是依据聚集屏上成像明晰的聚集检测办法，第三类是依据数字图画处理的主动聚集办法，这是最适适宜监控体系的一种办法。
依据数字图画处理的主动聚集办法对收集的每一帧图画进行实时处理，经过判别聚集是否精确、成像是否明晰给出反应信号操控镜头的运转，直到收集的图画契合运用要求，即完结主动聚集。这种办法的特点是聚集更加智能化、聚集判据更加灵敏，便利聚集操控的履行，然后避开杂乱的对焦电路和组织。
4.4 背光补偿
在视频收集进程中，假如场景中的方针遮挡住了光源，那么感兴趣方针外表不可以接收到满足光强，导致的感兴趣区域的亮度比较暗，看不清细节，这便是所谓的背光现象。很显着，背光补偿处理的意图在于进步感兴趣区域的亮度，恰当的对比度，一起确保整幅图画的天然性和滑润性。背光补偿的一实例如图4所示。关于视频序列，在确保单帧图画补偿作用的一起，还要确保补偿后视频序列亮度的连续性，防止闪耀现象的产生。
除了上面介绍的几种特别的预处理办法外，还有多种其它的预处理办法。例如感兴趣区域的处理，这种办法首要找出图画中感兴趣区域，对此处进行增强处理，以专心于进步感兴趣方针的图画质量。再如主动确定动态方针的处理，和感兴趣区域处理相似，首要检测出动态方针，对该方针进行盯梢和增析处理。
5. 小结
视频监控体系添加了预处理环节，一则可以进步解码图画质量，尤其是某些晦气条件下的视频质量;二则可以进步视频编码的功率，削减传输视频的质量动摇。其实，进步编码功率和改进码率操控，其成果依然是进步了解码视频的质量。近年来，业界对视频预处理更加注重，各种预处理的办法层出不穷，取得了显着的发展。可是，因为种种要素的约束，预处理的作用还不可以令人满意，还有许多的问题需要在往后的研讨和开发中逐渐处理。未来，怎么进步视频监控的图画作用，是否能找到除了预处理之外的有用图画处理办法，将是促进视频图画作用改进的一大要点，让咱们拭目而待。
