传感器
在咱们的国际阅历了快速的推行，事实上，传感器现在现已十分遍及，以至于咱们每个人日常所运用的手机里都有好几种不同类型的传感器。这些传感器有的能检测压力、温度、加快度和重力的简略改变，相同也有更为高档的传感器，例如 GPS、RADAR、LIDAR 和图画传感器。
传感器交融是指从几种不同的传感器中提取数据，以生成靠单个传感器无法供应的信息。随后，能够对该信息做进一步处理和剖析。并依据终究运用，必要时还可用传感器来拟定决议计划。传感器交融分为两大类 ：
·实时传感器交融——提取并交融传感器数据，并依据得到的信息实时拟定决议计划。
·离线传感器交融——这种计划是提取并交融传感器数据，但在往后的某个时刻拟定决议计划。
就嵌入式视觉体系和传感器交融运用而言，大部分运用合适实时传感器交融。
嵌入式视觉运用
嵌入式视觉运用正在阅历迅猛添加，触及范畴广泛，从机器人、高档驾驭员辅佐体系 (ADAS) 到增强实践，不胜枚举。这些嵌入式视觉运用对终究运用的成功运转有很大协助。将嵌入式视觉体系供应的信息与来自不同传感器或多个传感器的信息进行交融，有助于更好了解环境，然后提高所选运用的功用。
许多嵌入式视觉运用只运用一个图画传感器来监控一个方向，例如只监测轿车的前方。运用这样的图画传感器能够检测、分类和盯梢目标。但是，由于只运用一个传感器，因而就无法丈量与图画中目标的间隔。也就是说，咱们能够检测和盯梢到另一个车辆或行人，但假如不凭借另一个传感器，咱们就无法确认是否存在磕碰危险。本例中咱们需求另一个传感器，例如 RADAR 或 LIDAR，该传感器能供应与已检测到的目标的间隔。由于这种办法能够将来自多个不同类型传感器的信息交融，因而称为异构传感器交融。
ADAS 异构传感器交融实例
另一种计划是供应第二个图画传感器，以完成立体视觉。这种计划是让两个图画传感器朝着相同方向，但分隔一小段间隔，就像人的两个眼睛那样，经过视差确认目标在视场中的深度。像这样运用多个相同类型的图画传感器，称为同构传感器交融。
当然，这儿需求依据驾驭条件确认架构和传感器类型的挑选。这包含深度感的规模、丈量精度、环境光和气候条件、完本钱钱以及完成杂乱程度。
嵌入式视觉不只可用于目标检测和轿车防撞，还能够作为导航体系的一部分，用来搜集交通标志信息。别的，还可交融医用 X 光、MRI 和 CT 等多种不同图画，或许交融安防与监督设备中的可见光和红外图画。
咱们一般认为嵌入式视觉运用只运用可见电磁光谱，其实许多嵌入式视觉运用能交融来自可见电磁光谱以外的数据。
处理要求
假如不进行交融，处理图画时就需求相当大的核算才能，这是由于体系要履行一系列预处理功用。例如在运用五颜六色图画传感器时，这些处理使命包含颜色滤波插值、颜色空间转化/重采样以及图画校对。除此之外，咱们还要履行传感器交融算法自身的处理使命，在之前运用的目标检测实例中，咱们需求履行布景减法、阈值和概括检测，以运用最简略计划定位目标，或许或许需求更强的 HoG/SVM 分类器。
跟着帧率和图画尺度添加，预处理图画和提取信息所需的处理才能也会随之添加。
但是，从图画中提取所需的信息还仅仅使命的一部分，假如运用异构交融，咱们还需对来自第二个传感器的信息进行装备、驱动、接纳和提取。假如咱们挑选同构体系，则需求为第二个图画传感器再次履行与第一个传感器相同的图画处理流水线。
这样能供应两组数据，有必要对这两组数据进行处理以确认与目标的实践间隔，这才是真实的交融。
All Programmable SoC 或 FPGA 的优势
在嵌入式视觉体系中，一般运用 All Programmable FPGA 或 All Programmable SoC 来完成图画处理流水线。假如它们能用于传统嵌入式视觉运用，那么也适用于嵌入式视觉交融运用。
不管挑选 FPGA 仍是 SoC，嵌入式视觉运用一般运用处理器进行监督、操控和通讯。假如选用 All Programmable SoC，那么中心有一个硬核，并有许多支撑外设和接口标准。假如运用 All Programmable FPGA，就会运用一个软核，例如 MicroBlaze™，并选用愈加定制化的外设和接口支撑。
关于嵌入式视觉传感器交融运用，咱们可进一步运用处理器为所用的很多传感器供应简略接口。例如，加快计、压力计、陀螺仪和 GPS 传感器都配有串行外设接口 (SPI) 和内部%&&&&&%(I2C)接口，都得到 All Programmable Zynq®-7000 和 MicroBlaze 软核处理器的支撑。这使软件能够快速、方便地从不同类型的传感器取得所需信息，并供应给可扩展架构。
在可编程逻辑架构中可轻松完成用于从图画传感器提取信息的图画处理流水线，此外，可编程逻辑架构还可用来为其他异构传感器(例如 RADAR 和 LIDAR)或许同构体系中的多种状况完成处理流水线。
当运用 All Programmable Zynq-7000 或 All Programmable UltraScale+™ MPSoC 时，处理器存储器与可编程逻辑之间严密耦合的架构答应运用软件拜访所得到的数据集，以便进一步处理和拟定决议计划。独立传感器链可在可编程逻辑中完成，并且可并行运转，这关于立体视觉等需求同步操作的状况十分有利。
为了加快在可编程逻辑中完成的交融运用的交给进程，咱们可运用高层次归纳 (HLS) 开发可直接在可编程逻辑架构中完成的算法。
实例架构
开发前面介绍的目标检测和间隔算法，运用 All Programmable SoC 演示同构和异构计划。虽然两种计划运用的传感器类型不必，但这两种架构的终究目标都是将两个数据集放在处理体系的 DDR 内存，一起将可编程逻辑架构的功用最大化。
完成同构目标检测体系需求运用相同的传感器类型，这儿是 CMOS 成像传感器。这样做的优势是只需求开发一条图画处理链，这个图画处理链可认为两个图画传感器在可编程逻辑架构中实例化两次。
同构架构完成立体视觉体系的条件之一是要求两个图画传感器同步在可编程逻辑架构中并行完成两个图画处理链并运用具有恰当束缚的相一起钟，这样有助于满意这一严苛的要求。
虽然视差核算需求进行密布处理，但两次完成相同的图画处理链的才能可明显节约开发本钱。
上图给出了同构计划的架构，其间两条图画处理链首要根据可用的 IP 模块。图画数据选用定制的传感器接口 IP 模块捕获，并从并行格局转化为 AXI 流媒体。这样能完成轻松可扩展的图画处理链;咱们能够运用高功用 AXI 互连以及视频 DMA 将成果从图画处理链传送到 PS DDR。
考虑选用不同类型传感器的异构实例， 咱们可将上面介绍的图画传感器目标检测架构与 RADAR 间隔检测相结合。关于 RADAR 的完成，咱们有两个挑选：脉冲计划(多普勒)或许接连波。详细挑选哪种计划取决于终究运用要求，不过，这两种办法迥然不同。
RADAR 的架构可分红两部分：信号生成和信号接纳。信号生成部分担任生成接连波信号或许待传输的脉冲信号，不管哪种计划都需求运用信号生成 IP 模块与高速数模转化器进行接口衔接。
信号接纳部分也需求运用高速模数转化器来捕获接纳到的接连波或脉冲信号。提到信号处理，这两种计划都需求运用经过可编程逻辑架构完成的 FFT 剖析办法;相同，咱们可运用 DMA 将得到的数据集传送到 PS DDR。
不管挑选哪种完成架构,两个数据集的交融算法都是经过软件用 PS 来履行。别的，这些交融算法对处理带宽要求较高，完成更高功用的一种办法是运用现有东西集功用，尤其是规划环境 SDSoC™。
SDSoC 可运用 Vivado HLS 和衔接结构(二者对软件开发人员都是通明的)无缝地在处理器与 SoC 可编程逻辑之间传输软件功用。当然，咱们可运用高层次归纳为同构和异构完成方法的处理链开发功用。咱们还可进一步扩展，针对所选的完成计划创立定制 SDSoC 渠道，然后凭借 SDSoC 功用，运用未占用的逻辑资源进一步加快整个嵌入式视觉体系功用的提高。
定论
传感器交融现已扎根，一起,嵌入式视觉体系正在迅速添加，传感器快速推行和遍及。All Programmable FPGA 和 SoC 供应的功用使多种类型的传感器可并行运转并按要求完成同步;一起，运用 SoC 处理体系或软核处理器来履行数据交融和决议计划活动。
体系和高层次归纳东西(如 SDSoC 和 Vivado HLS)，为工程规划团队带来了多种优势，可保证按期进行运用开发。
