传感器
在咱们的国际阅历了快速的推行，事实上，传感器现在现已十分遍及，以至于咱们每个人日常所运用的手机里都有好几种不同类型的传感器。这些传感器能检测压力、温度、加快度和重力的简略改变，还有更高档的传感器，例如 GPS、RADAR、LIDAR 和图画传感器。
传感器交融是指从几种不同的传感器中提取数据，以生成靠单个传感器无法供应的信息。随后，可以对该信息做进一步处理和剖析。并依据终究运用，必要时还可用传感器来拟定决议计划。传感器交融分为两大类：
实时传感器交融 – 提取并交融传感器数据，并依据得到的信息实时拟定决议计划。
离线传感器交融 – 这种计划是提取并交融传感器数据，但在往后的某个时刻拟定决议计划。
就嵌入式视觉体系和传感器交融运用而言，大部分运用合适实时传感器交融。
嵌入式视觉运用
嵌入式视觉运用正在阅历迅猛添加，触及范畴广泛，从机器人、高档驾驭员辅佐体系 (ADAS) 到增强实际，不胜枚举。这些嵌入式视觉运用对终究运用的成功运转有很大协助。将嵌入式视觉体系供应的信息与来自不同传感器或多个传感器的信息进行交融，有助于更好了解环境，然后提高所选运用的功用。
许多嵌入式视觉运用只运用一个图画传感器来监控一个方向，例如只监测轿车的前方。运用这样的图画传感器可以检测、分类和盯梢物体。但是，因为只运用一个传感器，因而就无法丈量与图画中目标的间隔。也就是说，咱们可以检测和盯梢到另一个车辆或行人，但假如不凭借另一个传感器，咱们就无法确认是否存在磕碰危险。本例中，咱们还需求另一个能供应与检测到的目标的间隔的传感器，如 RADAR 或 LIDAR。因为这种办法可以将来自多个不同类型传感器的信息交融，因而称为异构传感器交融。
图 1- ADAS异构传感器交融实例
另一种计划是供应第二个图画传感器，以完成立体视觉。这种计划是让两个图画传感器朝着相同方向，但分隔一小段间隔，就像人的两个眼睛那样，经过视差确认目标在视场中的深度。像这样运用多个相同类型的图画传感器，称为同构传感器交融。
当然，本例中的运用针对所用的架构和所选的传感器类型确认驾驭要求。这包含深度感的规模、丈量精度、环境光和气候条件、完本钱钱以及完成杂乱程度。
嵌入式视觉不只可用于目标检测和轿车防撞，还可以作为导航体系的一部分，用来辨认交通标志信息。未来还可交融更多种不同图画，例如医用 X 光、MRI(核磁共振成像)和 CT，或许安防和调查运用的可见图画和红外图画。
咱们一般认为嵌入式视觉运用只运用可见电磁光谱，其实许多嵌入式视觉运用能交融来自可见电磁光谱以外的数据。
器材挑选
在嵌入式视觉体系中，一般运用 All Programmable Zynq-7000 或 Zynq UltraScale+ MPSoC 器材来完成图画处理流水线。假如这些器材能用于传统的嵌入式视觉运用，那么也适用于嵌入式视觉交融运用。处理器体系与可编程逻辑的严密结合能消除传统 CPU/GPU 完成计划中呈现的瓶颈、确认性下降和时延添加问题。可编程逻辑 IO 结构的灵活性支撑完成到高带宽接口(如图画传感器、RADAR 和 LIDAR 等)的恣意衔接。
图 2 – 传统 CPU/GPU 计划与 All Programmable Zynq-7000 / Zynq UltraScale+ MPSoC 的比照
关于嵌入式视觉传感器交融运用，咱们可进一步运用处理器体系供应衔接很多低带宽传感器的接口。例如，加快计、磁力仪、陀螺仪和 GPS 传感器都配有串行外设接口 (SPI) 和内部集成电路 (i2c) 接口，都得到 All Programmable Zynq-7000 和 Zynq UltraScale+ MPSoC 器材的支撑。这使软件可以快速、简洁地从多种不同类型的传感器中获取所需信息，并供应给可扩展架构。需求一种办法可以运用行业规范结构(如 OpenXV、OpenCV 和 Caffe)开发传感器交融运用，这时可运用 reVISION 仓库。
reVISION 仓库
reVISION 仓库使开发人员可以完成核算机视觉和机器学习技能。在这儿，针对 Zynq-7000 和 Zynq UltraScale+ MPSoC 的高档结构和库相同适用。为此，reVISION 将支撑渠道、运用和算法开发的多种资源完美结合在一起。该仓库分为三个不同等级：
1. 渠道开发 – 这是仓库的最底层，也是其他仓库层的构建根底。该层为 SDSoC 东西供应渠道界说。
2. 算法开发 – 仓库的中间层，为完成所需算法供应支撑。该层还可为在可编程逻辑完成图画处理和机器学习揣度引擎加快供应支撑。
3. 运用开发 – 仓库的最高层，为行业规范结构供应支撑。这样可以开宣布可运用渠道开发层和算法开发层的运用。
仓库的算法层和运用层旨在支撑传统图画处理流程和机器学习流程。在算法层，支撑运用 OpenCV 库开发图画处理算法。这包含：能将多种 OpenCV 功用(包含 OpenVX 内核子集)在可编程逻辑中完成加快。为支撑机器学习，算法开发层供应几种可以放在 PL 中用以完成机器学习揣度引擎的预界说硬件功用。然后，运用开发层拜访并运用这些图画处理算法和机器学习推理引擎，以创立终究运用并为高档结构(例如 OpenVX 和 Caffe)供应支撑。
图 3- reVISION 仓库
reVISION 仓库的功用供应一切必要元素，用以完成传感器交融运用所需的算法。
架构实例
开发之前介绍的目标检测和间隔算法时，运用 reVISION 仓库来演示同构和异构计划。这使传感器交融算法可以在高层面完成。然后，可找出算法的功用瓶颈，并在可编程逻辑中完成加快。
要想运用 reVISION 仓库，咱们首先要创立一个可供应接口和根底可编程逻辑规划的渠道界说，以便将图画和其他传感器数据发送到处理器体系的存储空间。
要完成同构目标检测体系需求运用相同的传感器类型，这儿是 CMOS 图画传感器。这样做的优势是只需求开发一条图画处理链。这个图画处理链可认为两个图画传感器在可编程逻辑架构中实例化两次。
同构架构完成立体视觉体系的条件之一是要求两个图画传感器同步。在可编程逻辑架构中并行完成两个图画处理链并运用具有恰当束缚的相一起钟，这样有助于满意这一严苛的要求。
因为视差核算需求进行很多处理，因而两次完成相同的图画处理链可以大幅节约开发本钱。
图 4- All Programmable FPGA 中的同构传感器交融
上图给出了同构计划的架构，其间两条图画处理链首要根据可用的 IP 模块。运用定制的传感器接口 IP 模块捕捉图画数据，并从并行格局转换为 AXI 数据流。这样能完成轻松可扩展的图画处理链;咱们可运用高功用 AXI 互连以及视频 DMA 将成果从图画处理链传送到处理器体系 DDR。
当咱们考虑选用不同传感器类型的异构实例时，可将以上介绍的图画传感器目标检测架构与 RADAR 间隔检测相结合。关于 RADAR 的完成，咱们有两个挑选：脉冲计划(多普勒)或接连波。详细挑选哪种计划取决于终究运用要求，不过，这两种办法迥然不同。
图 5- 异构传感器交融
RADAR 计划的架构可分红两部分：信号产生和信号接纳。信号产生端担任产生要传送的接连波信号或脉冲。两种计划都需求信号产生 IP 模块来衔接高速数模转换器。
信号接纳端需求运用高速模数转换器来捕捉接纳到的接连波或脉冲信号。提到信号处理，这两种计划都需求运用经过可编程逻辑架构完成的 FFT 剖析办法;相同，咱们可运用 DMA 将得到的数据集传送到 PS DDR。
不管挑选哪种完成架构，只需咱们创立了可由处理器体系拜访的传感器数据以及 reVISION 渠道，咱们就可以运用 reVISION 仓库更高档的算法层和运用层来开发传感器交融体系。
在这些更高层级上，咱们可运用高档语言和行业规范结构开发运用。reVISION 能为嵌入式视觉和机器学习运用供应可随时加快的库和预界说的宏，以完成运用加快。这儿选用渠道规划中未运用的资源，这要得益于将高层次归纳与衔接结构相结合的 SDSoC 体系优化编译器。
以选用两个图画传感器的异构计划为例，规范开发办法是创立用来确认深度信息的立体视差图。一般，这经过 OpenCV 的立体快匹配(Stereo Block Matching) 功用来完成。reVISION 供应一个能加快的立体快匹配(Stereo Block Matching) 功用，可在可编程逻辑中完成加快。该功用可将两个图画结合，以生成构成异构实例中心的视差和深度信息。
图 6- reVISION 加快的 StereoLBM 功用
定论
传感器交融现已扎根，一起,嵌入式视觉体系正在迅速添加，传感器快速推行和遍及。reVISION 答应运用行业规范结构在更高层面开发运用，因而一旦开宣布根底渠道，就能更快速地开发传感器交融。
