前语
智能视频监控归于第四代视频安防监控技能，它是新技能开展推进下的必然成果。在这一历史性的技能演进中，核算机视觉技能扮演着中心的人物。从内在上看，现代核算机视觉技能现已不再仅仅停留在光学几许(如2D和3D建模)和根据数字图画处理学的特征提取方面，它更树立在连同传统人工智能在内的建模、学习和推理等机器学习理论之上。从外延上看，传统的核算机视觉技能被称为机器视觉，首要运用在需求精细光学丈量定位的自动化生产线等工业范畴，而现代核算机视觉技能则已拓宽到了愈加宽广的运用范畴，智能视频监控便是一个典型的实例。
视频监控智能化的中心问题
2013年3月我国国内报导了吉林省长春市婴儿被偷车贼摧残的事例，有媒体质疑：“安全城市”这样的大规模安防监控项目为什么没有发挥应有的联动预警作用?相似的反思也针对同年4月在美国马萨诸塞州波士顿马拉松比赛中产生的爆炸案，犯罪嫌疑人不是被经过视频监控体系自动发现其反常行为确定的，而是警方根据犯罪现场证据的反向推演在监控录像中圈定的。这些例子都说明晰一个中心问题，即在进步智能视频监控的有用性方面，怎样让体系在广域规模内产生针对同一个视频场景事情或特定行为的自动感知，并树立起一条高度相关的逻辑推理链条。
根据核算机网络技能和人工智能技能的最新作用，咱们以为完全可以从技能上考虑完成一种有用的信息处理体系，用以满意上述来自实践运用范畴对智能视频监控体系的需求。体系全体的架构是：分区域树立散布式的视频监控中心，选用智能前端设备和监控中心联合对本地化的视频数据进行存储及智能剖析，这一层的功用首要是面向实时进程，发现部分和区域散布规模内全体的视频场景事情;在更广域的规模内(如市县级“才智城市”工程的监控规模)，由更高层的数据办理中心对来自散布式监控的视频数据进行存储、剖析和会集办理，这一层首要是面向信息服务，一起非实时地统筹单个没有智能视觉剖析功用布置的区域进程，统筹大局的视频场景事情。
从单点到区域规模的智能化
智能视觉监控体系的“单点智能化”指的是使监控点的前端设备(也或许包含高清一体化摄像机)具有智能视觉剖析和辨认的才干。各个前端设备(包含前端的智能终端，如DVR、NVR、IPC等)的智能化功用根据监控事务的不同或许会有不同，但总的归纳起来应该包含：移动方针的检测和盯梢、方针的分类、人脸检测、盯梢和辨认、车牌检测和商标辨认、场景事情检测、方针的特定行为辨认。智能前端设备剖析输出的成果是以元数据的方式存储和传递的。
当监控场景内的方针从一个视场中移出并进入别的一个部分堆叠的视场时，为了完成接连的方针盯梢，一般需求在摄像机之间进行接力。关于一个完好含义上的智能视觉监控体系来说，可以经过前端设备的单点智能化剖析单一场景内产生的事情和方针的行为是根本的要求，此外还必须在监控中心依托摄像机传感网络内附近的其他摄像机，从多通道、多区域中获取接连的视频序列，并对其进行视觉归纳剖析，这便是“区域规模的智能化”的含义。这是一种把单点智能经过元数据衔接在一起构成的体系智能的才干。
散布式智能视觉监控体系根据大规模摄像机传感网络，为了进步体系在全体功用上对事情检测和行为辨认的精确率，有必要把布置在监控中心的智能剖析体系与各个监控现场独立通道上的智能剖析成果进行集成，以构成一个自底向上和顶向下结构的反馈体系。体系在搜集和记载海量视频数据的一起，也在时刻传递着、核算着描绘场景内容特征的元数据。这种以元数据为中心的网络核算环境被称为“上下文环境”，简称上下文。
智能视觉监控体系中的元数据
元数据是一种特别的二次信息，用来描绘原始信息自身的内容、质量、状况和其它特性，一般用关于数据的自动检索和数据发掘。散布式智能视觉监控体系中的元数据由两个层次组成，即根本特色信息，以及描绘场景内容的信息。散布式智能视觉监控体系寻求的方针便是结构一个完好的W6(产生了什么事?产生在哪里?产生在什么时刻?产生时场景内都有谁?为什么会产生?怎样产生的?)体系，其间“时刻和地址”是在非智能化体系中就固有的功用。对这些问题的答复就蕴藏在描绘场景内容特征的元数据傍边。元数据在体系中传递和进一步深层运用的进程便是所谓“上下文感知”的进程。其意图是：经过对元数据进行分层交融的处理，完成一个有用的散布式智能视觉剖析体系。
元数据——根本的特色信息。根本层次的元数据无需经过智能视觉剖析算法的输出即可得到。为了对场景事情和方针的行为有一个齐备的特色记载，首要包含根本的特色信息，如：录像时刻、地址信息、摄像机的参数、设备制造商、安装者、用户信息。
元数据——描绘场景内容的信息。这部分元数据来自于对场景视频进行实时剖析的成果，依照其描绘的规模分类，首要有部分场景内的元数据(来自于智能前端设备的剖析输出)和大局场景内的元数据(由散布式视频监控中心的上下文感知算法产生)。
上下文感知环境的树立
为了完成散布式智能视觉剖析体系的“上下文感知”功用，首要需求构建一个强壮的视觉信息传感网络，此外还需求一个支撑元数据分层交融的逻辑路由。
视觉信息传感网络
在根据视觉信息传感网络的散布式视频监控体系中，监控摄像机获取满足明晰的视频输入可以进步监控体系对智能事情检测和行为辨认的牢靠性。视频数据(图画)的质量体现在如下三个方面的技能指标：图画的质量和高清作用;对视场环境中搅扰要素的按捺;对摄像机视觉功用反常的检测和紧迫处理。
摄像机成像的质量和高清作用一般经过摄像机前端镜头和传感器部分确保。对视场内搅扰要素的按捺也是衡量摄像机功用凹凸的重要条件，这些要素首要包含：低照度条件、宽动态呼应、景象色彩温度的改动和大气中的雾霾等。在这些要素条件下都需求摄像机对场景的视频质量进行增强。
在视觉监控体系中，摄像机的视觉功用反常一般意味着整个体系的原始视频输入遭到严峻搅扰。无论是人为故意仍是由设备或环境要素所造成的，视觉功用反常对体系的效能都有很大的影响，乃至隐含着对摄像机设备的安全要挟。产生所谓“摄像机视觉功用反常”的或许原因有：人用手至于摄像机前、在摄像机上喷漆或移动摄像机使其指向其他方向。这些行为一定会超越数秒，因此怎样判别实在的开麦拉反常而不是因为人群移动或是车辆轰动或其他正常的原因是实在技能地点。图1所示是为一种因人为歹意遮挡导致的摄像机视觉功用反常。
对摄像机视觉功用反常的检测一旦完成，便可立即在视觉信息传感网络内部触发“传感器安全要挟”紧迫事情办理，在监控中心端从头优化散布式体系的视觉盯梢进程图。
元数据的逻辑路由
在图2所示的散布式智能视频监控体系拓扑图中，黑色箭头表明元数据在体系网络上的活动状况。活动方向可以是双向的，即智能前端设备的元数据为监控中心供给大局场景剖析所用的部分描绘特征，而监控中心根据自己的核算成果弥补前端智能结点在观测信息上的局限性。
描绘本地场景特征的元数据在散布式智能视频监控体系的前端设备上核算生成后，需求先在视觉信息传感网络内部传递，然后在监控中心端被深度运用以生成描绘广域监控规模场景的元数据。元数据的逻辑路由一般选用与海量视频数据相对独立的信息层，依照 “数据的分层传输办法”，在TCP/IP协议会集完成。
作为传输和运用元数据的另一种计划，在新一代面向智能视频监控的视频编码规范中，描绘场景特征的元数据被封装在两个新式的信息层(方针层和剖析层)中，不只进一步在编码规范的根本层完成根据感兴趣区域的空域分辨率可调整编码，也为智能视觉剖析算法供给了一个完好的元数据逻辑路由。
上下文感知算法
散布式智能视频监控体系的有用性是以具有上下文感知才干的视觉剖析体系为条件的。上下文感知算法在散布式智能视频监控体系中扮演着重要人物，它重视的是对智能前端设备内产生的元数据的深度运用，而不关心部分场景的元数据在前端设备上怎样产生。
传感网络环境下的摄像机定标
摄像机所处理的原始视频(图画)数据都可看作是3D国际坐标系下的实在数据在以该摄像机焦点为中心的2D图画坐标系中的投影。因为每台摄像机都有各自的2D图画坐标系，因此要正确地相关和交融来自传感网络中不同摄像机的元数据，必须先对各个摄像机进行定标。因为不同的摄像机之间或许存在色彩敏感度和空间分辨率上的差异，或许作业在不同的光照条件下，因此定标作业应不仅仅针对空域进行，还应当包含时域和色彩空间。严格地说，摄像机的定标不归于上下文感知算法的一部分，可是它是十分必要的，可为上下文感知算法供给前置的预处理。
对摄像机进行空域定标后，将会导出两个改换矩阵和，别离用于把不同视场内的元数据改换到一致的国际坐标系中以及把国际坐标系下的数据投影到2D图画坐标系中，这实践上为元数据在更广监控规模内的深度运用供给了或许。对摄像机进行时域定标时，需求针对不同摄像机观测到的同一个运动方针进行轨道的匹配，以求出针对不同摄像机时钟的时刻弯折曲线，在实践运用中比较复杂。对摄像机进行色彩空间上的定标还要考虑不同光照条件下的试验数据搜集，运用操作起来愈加繁琐。
在实践工程项目中，假如定标不精确或是省略对摄像机在时域和色彩空间的定标，必然会下降不同的视觉信息通道向监控中心供给元数据的牢靠性，比如对场景内同一个方针的特征描绘呈现不一致乃至抵触的问题。这时为了得到牢靠的元数据以描绘大局监控场景的实时状况，可对元数据进行交融。有两种办法可以选用：其一，经过网络，在监控中心对元数据进行状况估量;其二，挑选适宜的场景事情模型，在监控中心对由元数据组成的事情进行推理。
大局场景的视觉盯梢
在根据摄像机传感网络的散布式视频监控体系中，监控中心收到来自各个前端设备的视频流及相关的元数据一般描绘的是有限时空规模的视觉信息，因为摄像机定标不精确(详见前述内容)、场景的噪声和方针被遮挡等原因，剖析得出的元数据存在不确定性的特色。为了完成在监控中心对大局区域内感兴趣方针牢靠的视觉盯梢，可以选用一种分层式点对点的多摄像机元数据交融算法。
该数据交融算法根据一种战略，以监控中心的国际坐标系为参阅，把来自不同智能摄像机或是智能视频剖析通道的元数据合并为一个大的向量，运用分层Kalman预测器对场景内被智能前端设备确定的多个视觉方针进行牢靠盯梢，并从这个大向量的重量重发现场景中的反常事情。算法的底层指的是各个智能前端设备的监控层，上层指的是监控中心层。
大局场景的事情交融
在不同范畴常识的布景下，元数据的组合可以构成事情;另一方面，事情具有多种由元数据表征的特色。元数据自身仅仅特色或特征的衡量，而事情才干表达场景内的语义，事情具有原子性，由它可进一步结构对场景语义的句法描绘。
多种原因，如：摄像机定标不精确(详见前述内容)、视频场景的噪声和方针被遮挡等，常会下降各个智能前端通道剖析得出的元数据牢靠性，这时为了仍然确保监控中心对大局场景事情检测的精确性，可以在事情模型中对其特色(元数据)进行交融，然后得出优化的推理成果。图3 所示为在根据多摄像机传感网络的环境下，大局场景事情的检测和辨认可以经过对多台摄像机传递的本地元数据进行交融而得到。
结语
本文提出了一种具有上下文感知功用的散布式智能视觉剖析体系。对上下文和上下文感知给出了详细的物理含义和完成手法。
以元数据为中心规划的散布式体系，可以确保场景反常事情或特定行为产生时，在多台摄像机构成的多通道传感器网络内完成元数据的传递和数据交融，然后进步在监控中心大局含义上对场景事情辨认的精确率。元数据的交融在监控中心进行，因此可在大局含义上得到所监控区域的场景视图。
一个典型的上下文感知智能视觉剖析体系可以在场景内事情触发时，把元数据送入监控中心的事情队列，然后根据上下文感知算法对元数据进行交融，使事情队列优化，终究得出高牢靠性的对大局事情的辨认。
