导言
跟着传感器、低本钱摄像头和显现屏在当今嵌入式规划中的运用量飞速增加，商场上出现了许多激动人心的全新智能和视觉运用。与此一起，嵌入式视觉运用的爆破式开展也让规划工程师对处理资源需求有了一个新的知道。包含丰厚数据的全新视频运用促进规划工程师从头考虑究竟选用哪种器材，是专用运用处理器(AP)、ASIC仍是ASSP?可是，在某些情况下，在现有运用处理器、ASIC或ASSP方面的许多软件投入以及全新器材的高发动本钱已然成为上述运用更新迭代的阻止。这一次，摆在眼前的问题推进规划工程师寻求一种协处理处理计划，不只要能够为包含丰厚数据的全新运用供给所需的额定功用，一起还要满意体系本钱和功耗的苛刻要求。
除此之外，商场上关于面向移动运用的低本钱MIPI外设的广泛选用也催生了从未有过的互连应战。规划工程师既期望运用最新一代MIPI摄像头和显现屏的量产本钱优势，一起又期望能够保有在传统设备上的投入。那么在这种快速开展的大环境中，规划工程师该怎么处理传感器、嵌入式显现屏和运用处理器之间不断涌现的接口不匹配问题呢?
规划工程师需求一种高度灵敏的处理计划，能够完成高功用、“业界最佳”的协处理器，满意视觉和智能运用关于逻辑资源和高度并行核算才干的需求，一起增加对各类I/O规范和协议的互连支撑。此外，这样的处理计划还应当具有高度可扩展的架构，并支撑运用干流高数据速率的低本钱外部DDR DRAM。终究，该处理计划还需求针对低功耗和低本钱运算进行优化，并为规划工程师供给业界抢先的超小尺度封装。
在本文中，咱们将为您介绍ECP5™和LatticeECP3™ FPGA怎么为嵌入式规划完成协处理和互连处理计划，并要点讨论这些处理计划在工业、消费电子、轿车和机器学习范畴的运用实例。
为视觉与智能运用完成高效的协处理处理计划
莱迪思半导体®推出的ECP5和LatticeECP3 FPGA系列可完成“业界最佳”的协处理器，并针对互连功用以及高功用和低功耗进行了优化。ECP5 FPGA系列供给业界最小尺度封装(10×10 mm)，并具有高达85K查找表(LUT)，功用密度比较竞品高出近2倍，一起本钱和功耗也大幅下降。ECP5 FPGA支撑与ASIC、ASSP和运用处理器完成互连，并具有优化的I/O和体系架构。增强的嵌入式DSP块和高度并行的FPGA逻辑架构为核算密布型协处理功用供给了所需的高功用支撑。ECP5 FPGA系列可供给高达4条SERDES互连通道，支撑PCI Express(Gen1，Gen2)、以太网(1GbE，SGMII，XAUI)、CPRI、嵌入式显现端口( eDP)和JESD204B，每条通道速率为250 Mbps至5 Gbps。一起，器材上的可编程I/O还支撑各类接口，包含DDR3、LPDDR3、LVCMOS、RGMII、XGMII、LVTTL、LVDS、Bus-LVDS、7:1 LVDS、LVPECL和MIPI D-PHY。
当协处理或互连运用需求超越85K LUT或超越4条SERDES通道时，规划工程师能够挑选LatticeECP3 FPGA。LatticeECP3 FPGA系列可供给最高150K LUT和6.8 Mbit SRAM，封装尺度小至10×10 mm。比较ECP5 FPGA系列，该产品系列最高支撑16个3.125 Gbps SERDES通道。此外，该产品系列中的器材均支撑800 Mbps DDR3和LVDS，并且能够供给超越500个可编程体系I/O缓冲器，支撑以太网(经过RGMII和XGMII)以及许多额定的I/O接口，而嵌入式SERDES则支撑PCIe、以太网(经过SGMII和XAUI)、HDMI、高速串行I/O(Serial Rapid I/O)、CPRI、JESD204A/B等。LatticeECP3 FPGA系列的功耗低至0.5 W。与ECP5 FPGA系列相同，运用LatticeECP3 FPGA的规划工程师能够运用高度并行的FPGA逻辑架构高效地履行核算密布型功用，并经过FPGA分管视觉和智能功用，如图画处理和剖析使命以下降处理器作业负载，然后完成更低的功耗和更高的功用。
为工业运用完成视觉处理处理计划
在工业范畴，依据ECP5 FPGA的协处理能够发挥重要效果，可用于下降视频摄像头、监控和机器视觉运用中运用处理器、ASIC或ASSP的核算负载。图1展现了一款典型的工业摄像头运用。在下方的图示中，FPGA坐落图画传感器和以太网PHY之间。图画传感器将图画数据撒播输到FPGA，然后FPGA依据H.264编码进行图画处理或图画紧缩。FPGA的片上嵌入式RAM块(Embedded Block RAM, EBR)和DSP块完成高功用宽动态规划(WDR)和图画信号处理(ISP)功用。终究，FPGA将图画数据经过以太网进行传输。
图1：经过完成图画处理或紧缩功用，ECP5 FPGA可下降工业摄像头运用中运用处理器的核算负载
除了进行图画处理和紧缩之外，假如运用处理器接口的类型或数量与摄像头或传感器的不匹配，FPGA还可用于完成它们之间的视频桥接。为了满意工业运用关于灵敏互连的需求，莱迪思推出了可编程ECP5 12K器材，能够连接到包含LVDS、MIPI和LPDDR3在内的常用接口。该器材能够以低本钱供给LED操控器、机器视觉体系和工业电机操控等运用中预处理和后处理功用所需的逻辑、存储器和DSP资源。
除了常见工业摄像头运用之外，机器视觉(工业范畴里更专业的摄像头运用)也可获益于ECP5 FPGA供给的互连和协处理才干。图2中的框图展现了FPGA可在常见的工业机器视觉体系中发挥的多种效果。在摄像头运用范畴，FPGA可用于完成传感器桥接、完好的摄像头ISP或定制功用来协助体系规划工程师完成差异化的终端产品。关于图画采集卡而言，像ECP5相同的FPGA还能够处理视频接口问题和完成图画处理功用。
机器视觉体系框图
图2：在常见的工业机器视觉处理计划中，FPGA可用于完成各种接口桥接和处理功用
为才智城市完成智能交通和监控摄像头运用
智能交通体系(ITS)包含交通流量监控、交通违章辨认、智能泊车和收费等运用，是才智城市的重要组成部分。上述体系一般需求智能交通摄像头，用于精确检测车辆多个方面的信息，例如车牌，即便在恶劣的环境中也要在网络边际进行视频剖析，不必将原始视频流发送回云端进行处理。独自的运用处理器一般不能一起满意体系功耗和实时处理的要求。低功耗、小尺度的ECP5 FPGA系列可用作运用处理器的协处理器，在网络边际完成体系所需的高效实时处理功用。
除了上文中说到的ISP外，ECP5 FPGA还能够完成视频剖析功用，进一步减轻运用处理器的核算密布型使命，然后下降体系功耗、完成更高的实时功用。FPGA可为智能摄像头运用完成方针侦测、图画处理和图画增强等处理计划。例如，侦测方针能够是监控摄像头实例中的人脸图画或是交通摄像头实例中的车牌。
图3：ECP5 FPGA为智能摄像头运用完成图画处理和视频剖析功用框图，分管运用处理器的核算密布型使命
在图3所示的智能交通摄像头实例中，FPGA依据传感器捕获的图画数据检测到车辆车牌，即便在低光照或强背光条件下亦能履行图画增强以生成明晰图画 – 针对方针(车牌)和布景(图画中的剩下部分)运用不同的曝光设置，然后交融方针和布景图画以生成更明晰的图画。然后，FPGA生成的方针侦测成果输入到运用处理器运转的剖析算法。运用ECP5 FPGA的并行处理器架构分管剖析算法中核算密布程度最高的过程，智能摄像头能够在坚持低功耗的一起进步功用。
为移动体系完成沉溺式增强实际(AR)和虚拟实际(VR)运用
跟着AR/VR商场需求不断增加，当时依据头戴式显现器(HMD)的体系面临着移动运用处理器运转内容时功用缺乏的问题。因而，要完成感同身受的AR/VR体会所需的依据视觉的方位追寻功用，关于处理器而言是颇具应战性的。在这种情况下，ECP5 FPGA的高效并行处理架构十分合适用于完成依据立体摄像头和LED符号的方位盯梢处理计划。与运用处理器比较，FPGA能够供给低推迟、低功耗的图画处理支撑。FPGA的可编程架构和I/O也使得体系规划工程师能够依据产品要求轻松挑选来自不同厂商的图画传感器。
在“outside-in”的方位追寻处理计划中，立体摄像头被放置在房间内(在室内摄像头看用户)，经过捕捉装置在用户头盔和手柄操控器上的LED符号来追寻用户的运动(比如身体运动和手部运动)，如下方图4所示。装置在三脚架上摄像头单元内部的FPGA依据立体摄像头捕获的数据来核算用户的方位、身体和手部动作，然后将数据经过无线办法发送到用户头盔中的移动运用处理器，终究经过AR/VR运用出实际际国际与虚拟国际的互动。立体摄像头为运转在FPGA上的算法供给了深度感知支撑，然后完成三坐标定位。
图4：运用立体摄像头(放置在房间内)的“outside-in”方位追寻处理计划，经过捕获装置在用户头盔和手柄操控器上的LED符号来盯梢用户的身体和手部动作
在“inside-out”的方位追寻处理计划中，装置在用户头盔上的立体摄像头(从用户地点方位经过“inside-out”的办法朝向室内环境)捕获装置在手柄操控器上的LED符号来盯梢用户手部动作，如图5所示。装置在用户头盔摄像头单元内的FPGA依据立体摄像头数据来核算用户的手部动作，然后将数据发送到头盔中的移动运用处理器，终究经过AR/VR运用出现出来。
图5：运用立体摄像头(装置在用户头盔上)的“inside-out”方位追寻，经过捕获装置在手柄操控器上的LED符号来盯梢用户手部动作
尽管“outside-in”和“inside-out”这两种追寻处理计划都能完成沉溺式体会，但“outside-in”体系能够供给更杰出的沉溺感，由于它还能够经过头盔上的LED符号盯梢身体运动(如步行、跑步、蹲、跳等) ，将实际国际中的身体运动映射到虚拟国际中。
在这两个体系中，用户的运动信息需求以极低的推迟马上出现在虚拟国际中，完成最为传神的用户体会。ECP5 FPGA的并行处理才干是完成低推迟传输的要害。此外，它的低功耗和小尺度封装特性也是完成畅行无阻的移动体会的要害之地点。
为轿车ADAS体系完成协处理和桥接处理计划
轿车商场对视觉处理和互连处理计划的需求正在大幅增加。商场研讨公司IC Insights的剖析师估计，跟着在新一代轿车规划中要求运用后置摄像头的新规则实施以及在轿车规划中引进摄像头以代替两边后视镜、完成盲点检测和车道盯梢功用的开展趋势，CMOS图画传感器将在2015年至2020年间跟着轿车范畴中全新运用的鼓起将以55%的复合年增加率完成增加。
在这个快速生长的商场中，轿车规划工程师所需的处理计划不只要能够完成预处理和后处理功用，还要能够为高档驾驭辅佐体系(ADAS)和信息文娱运用构建优化的互连处理计划。跟着轿车制作商开发的ADAS体系日趋杂乱，规划工程师面临着两大应战。第一个应战是怎么处理摄像头数量不断增加带来的接口问题?大多数现代处理器仅具有两个摄像头接口，而许多ADAS体系需求多达8个摄像头才干满意不断开展的自动驾驭技能要求。第二个应战是规划工程师要怎么依据来自上述摄像头的许多数据进行图画处理?
为了应对这些应战，规划工程师需求一种能够供给协处理资源的处理计划，可将来自多个摄像头的多路视频流拼接在一起，或对来自多个摄像头的输入进行图画处理(如白平衡、鱼眼校对、除雾)，然后将这些数据经过单个数据撒播输到运用处理器。轿车规划工程师还需求能够灵敏地操作仪表板、仪表盘以及后座信息文娱体系的的多个显现屏，以及在传统接口和新的MIPI接口之间完成桥接。
莱迪思轿车级ECP5 FPGA(AEC-Q100)可为这些运用供给用于加快图画处理流水线所需的并行处理才干，而许多的I/O则可用于连接到更大的摄像头阵列。能够反映这种趋势的一个实例便是现在越来越多的轿车都具有俯瞰功用。一般来说，俯瞰功用是指从轿车上方20英尺处向下看的实时视频图画。ADAS体系经过将来自4个或更多摄像头的数据拼接在一起完成宽视界(FoV)来完成上述功用。
一直以来，规划工程师都是运用单个处理器来处理来自单个摄像头的图画数据。现在，规划工程师能够运用单个ECP5 FPGA代替多个处理器，聚合来自多个摄像头的数据，并进行图画拼接、鱼眼去除、白平衡、HDR调整等操作以尽或许进步图画质量，然后将高质量图画发送到处理器进行下一个过程。运用这种办法的规划工程师能够在取得更高功用的一起下降本钱和功耗。
图6展现了莱迪思客户怎么构建上文中说到的处理计划。该俯瞰体系从装置在轿车四周的摄像头(前方、后方和两边)捕获视频图画。ECP5 FPGA用于对视频数据持续进行处理和拼接以供给360度视界。在这种情况下，一片FPGA即可代替多个ARM处理器。该体系终究出现的是明晰的1080p 60 fps视频。除ECP5 FPGA之外，该计划仅运用了一个低端ARM处理器用于初始校准和视频编码/记载功用。
图6：展现了开发工程师怎么运用单个ECP5 FPGA完成早年需求运用多个ARM处理器的俯瞰体系
图7：展现了ECP5 FPGA运用来自4个摄像头的图画输入完成的360度全景视界
FPGA可在轿车规划中扮演的另一个重要人物是构建传统接口与越来越盛行的MIPI摄像头和显现屏之间的低本钱桥接处理计划。
图8：在车载信息文娱体系中，ECP5 FPGA可用于预处理和后处理功用，并完成运用处理器和显现屏之间的视频桥接
例如，在图8的框图中，ECP5 FPGA坐落运用处理器或SoC与一个或多个轿车显现屏之间，用于预处理和后处理功用，并完成DSI或FPD-Link接口运用处理器与Open LDI、LVDS、FPD-Link或eDP接口显现屏之间的桥接。FPGA还可用于多种其他信息文娱运用，包含分别将单个视频输出到双后座显现屏，对图画进行裁剪和格式化以取得特定的视频分辨率。
ECP5的丰厚处理资源也为完成各种传感器桥接、聚合和协处理处理计划奠定了根底。如图9所示，ECP5 FPGA用于操控和聚合来自多种传感器数据的智能中心。经过对传感器数据进行预处理和后处理以及完成I2C办理功用和SPI接口，FPGA能够明显下降运用处理器的核算负载。
图9：ECP5 FPGA完成数据桥接和智能中心，用于操控和聚合多种类型的传感器
另一个桥接、聚合和协处理处理计划实例则运用莱迪思轿车级FPGA的3.2 Gbps SERDES功用聚合来自多个雷达或摄像头的数据，并经过BroadR-Reach或以太网等轿车内部网络传输。在图10中，来自多个传感器的数据经过LVDS接口传输到ECP5 FPGA，然后ECP5 FPGA对数据进行聚合和打包，经过依据SERDES的SGMII接口传输到轿车内部网络。
图10：轿车级ECP5 FPGA的LVDS和3.2 Gbps SERDES功用用于完成多个雷达或摄像头的桥接和聚合，并经过SGMII传输到车载网络
完成网络边际机器学习运用
展望未来，移动相关处理计划的影响力将不断增加，它们将持续运用移动处理器和MIPI传感器和显现屏的运用支撑和规划制作优势为网络边际完成智能功用。商场上关于布置人工智能(AI)、神经网络和机器学习来完成上述方针的需求在不断增加。
在机器学习运用范畴，用于进行图画辨认的神经网络经过练习之后能够辨认猫的图画，举个比如，经过向神经网络投喂数以千计的图画并分配输入图画的权重直至神经网络能够正确辨认猫的图画。开发数据架构和分配权重或许需求数TB的数据和许多的核算资源。因而，依据深度学习技能的机器学习运用的练习过程放在运用高端GPU和FPGA的数据中心，只要在数据中心海量的核算需求才干得以满意。
模型经过练习之后，它将被移植到网络边际运用中的嵌入式体系，然后为图画辨认或语音辨认等运用完成推理功用。在网络边际运用范畴，设备有必要经过核算更快速、更高效地做出决议。因而，规划工程师需求将神经网络在“练习”阶段学到的经验教训运用到新数据，进行“推理”得出成果。为了在网络边际运用范畴完成推理功用，抱负的处理计划要能够供给核算效率高的渠道，并且满意功耗、尺度和本钱的苛刻要求。
当今业界和学界的都以为机器学习需求高度专业化的硬件加快处理计划。可是，相关要求也会依据使命的不同而发生改变。例如，练习和推理或许需求不同的硬件。致力于练习运用的硬件规划工程师一般运用32位浮点运算来进行精度十分高的核算。而另一方面，致力于网络边际运用范畴推理功用的硬件规划工程师关于灵敏性的需求要大于精确度，以便取得更高的处理速度或更低的功耗。事实上，最近的研讨标明，关于许多运用来说定点与浮点处理计划在推理精度方面简直相同，并且前者功耗更低。
凭仗丰厚的嵌入式DSP资源、FPGA与生俱来的并行处理架构以及在功耗、尺度和本钱方面的明显抢先优势，ECP5 FPGA是满意新式AI商场上多元需求的抱负挑选。例如，ECP5 FPGA中的DSP能够以比较GPU浮点运算更低的功耗/MHz来进行定点运算。这些特性为功耗要求苛刻的网络边际智能处理计划开发者供给了极具吸引力的优势。图11展现了一个实例，其间ECP5 FPGA用于完成推理加快器，对来自摄像头的数据运转预先练习好的卷积神经网络(CNN)进行处理。运转在FPGA上的CNN引擎辨认物体或人脸，并将成果发送到体系CPU，然后完成快速、低功耗的物体/面部辨认功用。
图11：ECP5 FPGA为网络边际智能运用完成卷积神经网络(CNN)加快器，然后完成物体/人脸辨认功用
图12中的框图展现了实时人脸盯梢神经网络加快演示，在具有85K LUT的ECP5-85 FPGA上运转时功耗仅为0.85 W。
图12：摄像头捕获的实时图画数据被输入到FPGA，FPGA确认人脸图画并输出成果，终究人脸图画在显现屏上高亮显现
依据FPGA完成的规划使得规划工程师能够灵敏地完成向上或向下扩展，以满意终端体系中功耗与功用的平衡。在上面的实例中，依据更小尺度的85K LUT FPGA的规划能够经过平衡功用和其他参数(例如下降帧速率、减小输入图画的帧巨细或许削减用于神经网络的权重和激活值)来完成，然后进一步下降功耗。
此外，FPGA的可从头编程特性使得规划工程师能够满意快速改变的商场需求。跟着算法的开展，用户能够经过软件轻松快速地更新硬件。这是GPU或AS%&&&&&%无法企及的功用。
上述演示是依据嵌入式视觉开发套件(图13)完成的，该套件是莱迪思嵌入式视觉处理计划系列的一部分，为开发网络边际嵌入式视觉处理计划供给了一个模块化渠道。
图13：选用ECP5 FPGA、CrossLink FPGA和HDMI ASSP的莱迪思嵌入式视觉开发套件
总结
当今的规划工程师需求不断寻求新的途径来下降规划的本钱、功耗和尺度，一起为网络边际运用范畴完成更多智能功用。与此一起，他们要跟上网络边际运用范畴中新一代传感器和显现屏快速开展带来的功用和接口要求。莱迪思ECP5 FPGA系列能够为规划工程师供给一举两得的处理计划。ECP5 FPGA供给杰出的处理才干(高达85K LUT)和业界最小封装(10×10 mm)，并带有SERDES，能够为规划工程师供给所需的协处理和互连资源。一起该产品系列的本钱和功耗都比竞品更低，能够为开发工程师带来抢先优势。
