作者： Teledyne e2v 公司 Marie-Charlotte Leclerc
新的成像运用正在蓬勃开展，从工业 4.0 中的协作机器人，到无人机消防或用于农业，再到生物特征面部 辨认，再到家庭中的护理点手持医疗设备。呈现这些新运用程序的一个关键要素是，嵌入式视觉比以往任 何时分都更遍及。嵌入式视觉不是一个新概念；它仅仅界说了一个体系，其间包含一个视觉设置，在没有 外部核算机的情况下操控和处理数据。它已广泛运用于工业质量操控，最为人了解的比方比方“智能相机”。
近年源于消费类商场经济适用硬件器材的开发，相较于以往运用电脑的计划，这些器材大幅度减小了资料 清单（BOM）本钱和产品体积。举个比方，小型体系集成商或 OEM 现在能够小批量收购比如 NVIDIA Jetson 的单板机或模块体系；而较大型的 OEM 则能够直接取得如高通骁龙（Qualcomm Snapdragon）或英 特尔（Intel） Movidius Myriad 2 等图画信号处理器。在软件级方面，市道软件库能够加速专用视觉体系的开 发速度，减小装备难度，即便是针对小批量出产。
第二个推进嵌入式视觉体系开展的改变是机器学习的呈现，它使实验室中的神经网络能够承受训练，然后 直接上传到处理器中，以便它能够主动辨认特征，并实时做出决议。
能够供给适用于嵌入式视觉体系的处理计划，关于面向这些高增长运用的成像企业来说至关重要。图画传 感器由于能够直接影响嵌入式视觉体系的效能和规划，因此在大规模引入中有重要人物，而它的首要推进 要素可概括为：更小尺度、分量、功耗和本钱，英语简称为“SWaP-C”（decreasing Size， Weight， Power and Cost）。
1. 下降本钱至关重要
嵌入式视觉新运用的加速推进器是满意商场需求的价格，而视觉体系本钱正是完成这要求的一个首要制肘。
1.1. 节约光学本钱
减小视觉模块本钱的第一个途径是缩小产品尺度， 原因有两个：首要是图画传感器的像素尺度愈小，晶圆 便能够制作更多的芯片；另一方面传感器能够运用更小更低本钱的光学组件，二者都能够下降固有本钱。 例如 Teledyne e2v 的 Emerald 5M 传感器把像素尺度减小至 2.8μm，让 S 口（M12） 镜头能够用于五百万 像素大局快门传感器上，带来直接的本钱节约──入门级的 M12 镜头的价格约为 10 美元，而较大尺度的 C 口或 F 口镜头本钱是其 10 到 20 倍。所以减小尺度是下降嵌入式视觉体系本钱的有用办法。
关于图画传感器制作商来说，这种下降的光学本钱对规划有另一个影响，由于一般来说，光学本钱越低， 传感器的入射角越不抱负。因此，低本钱光学需求在像素上方规划特定的位移微透镜，以补偿来自广角的 畸变和聚集光。
1.2. 传感器低本钱接口
除了光学优化，传感器接口的挑选也直接影响视觉体系的本钱。MIPI CSI-2 接口是完成节约本钱的最适宜 挑选（它开端是由 MIPI 联盟为移动职业开发的）。它已被大多数 ISP 广泛选用，并已开端在工业商场采 用，由于它供给了一个从 NXP、Nvidia、高通公司或 Intel 等公司的低本钱的片上体系（SOC）或模块上 体系（SOM）的集成。规划一种具有 MIPI CSI-2 传感器接口的 CMOS 图画传感器，无需任何中心转化器 桥，直接将图画传感器的数据传输到嵌入式体系的主机 SOC 或 SOM，然后节约了本钱和 PCB 空间，当 然，在根据多传感器的嵌入式体系（如 360 度全景体系）中，这一优势更为杰出。
不过这些优点遭到一些约束，由于 MIPI 接口的衔接间隔约束为 20 cm，这在传感器间隔主机处理器较远 的长途设置中或许不是最佳的。在这些装备中，以献身小型化为价值，运用集成更长接口的相机板处理方 案是比较好的挑选。一些现成的处理计划能够集成，例如工业相机制作商（如 Flir、AVT、Basler 等）的 相机板一般可在 MIPI 或 USB3 接口中运用，后者能够到达的规模能够超越 3 米至 5 米。
1.3. 减小开发本钱
在出资新产品时，不断上升的开发本钱往往是一个应战；它或许会在一次性开发费上花费数百万美元，并 给上市时刻带来压力。关于嵌入式视觉，这种压力变得更大，由于模块化（即产品能否切换运用多种图画 传感器）是集成商的重要考虑。走运的是，经过在传感器之间供给必定程度的穿插兼容性，例如，经过定 义同享相同像素体系结构的组件系列以具有安稳的光电功用，经过具有共用光学中心来同享单个前端机制， 以及经过兼容的 PCB 组件来简化评价，集成和供应链，然后减小开发费用。
为简化相机板规划（即运用于多款传感器），有两种办法规划传感器封装。针脚对针脚兼容是相机板规划 人员的首选规划，由于它能使多种传感器同享同一电路和操控，使得拼装彻底不受 PCB 规划影响。另一 个挑选是选用尺度兼容的传感器，这样同一 PCB 能够运用多款传感器，可是这也意味着他们或许要敷衍 每一款传感器的接口和布线的差异情况。
图 1： 图画传感器可经规划供给针脚兼容 （ 图左 ） 或尺度兼容 （ 图右 ） 以完成专有 PCB布局规划
2. 能效供给更佳独自作业能力
微型电池驱动的设备是最显着的获益于嵌入式视觉的运用程序，由于外部核算机阻挠任何便携式运用程序 的产生。为了下降体系的能耗，图画传感器现在包含了多种功用，使体系规划者能够节约电力。
从传感器视点动身，有多种办法减小嵌入式视觉体系功耗而不损收集帧率。最简略的办法是经过尽或许长 时刻运用待机或搁置形式，在体系级最小化传感器自身的动态操作。待机形式经过封闭仿真电路，把传感 器的功耗下降到作业形式的 10%以下。而搁置形式则可把功耗折半，并让传感器在数微秒内重新启动获取 图画。
而在传感器规划集成节能的另一个办法是选用先进光刻节点技能。技能节点越小，转化晶体管所需的电压 便越小，由于功耗与电压成正比
，这样就能下降功耗。所以 10 年前运用 180nm 技能 出产的像素不单把晶体管缩小到 110nm，一起也把数字电路的电压从 1.9 伏降到 1.2 伏。下一代代的传感 器将运用 65nm 技能节点，使得嵌入式视觉运用更省能。
最终一点是，经过挑选适宜的图画传感器，能够在某些条件下下降 LED 灯的能耗。有一些体系有必要运用 主动照明，例如三维地图生成、动作中止、或是朴实运用次序脉冲指定波长来进步反差。在这些景象下， 减低图画传感器在低亮度环境下的噪声便能完成更低的功耗。减小了传感器噪声，工程人员便可决议减小 电流密度强度，或是减小集成进嵌入式视觉体系的 LED 灯数目。在其他情况下，当图画捕获和 LED 闪耀 由外部事情触发时，挑选恰当的传感器读出结构能够显着节约电能。运用传统卷帘快门传感器，帧全曝光 时 LED 灯必需全开，而大局快门传感器则答应只在帧的某部份开动 LED 灯。所以如运用像素内相关双采 样（CDS）运用下，以大局快门传感器代替卷帘快门传感器就能够节约照明本钱，一起仍坚持与显微镜中使 用的 CCD 传感器相同低的噪声。
3. 片上功用为运用程序规划的视觉体系铺平了路途
嵌入式视觉的一些偏锋延展概念，引导咱们对图画传感器进行全面定制，以 3D 堆叠方法集成一切处理功 能（芯片上的体系） 以完成优化功用和功耗。不过，开发这一类产品的本钱十分昂扬，能够到达这一集成 水平的全定制传感器久远来说并非彻底不或许，而现在咱们正处于一个过渡阶段，包含将某些功用直接嵌 入到传感器，以减省核算负载和加速处理时刻。
例如在条形码阅览运用， Teledyne e2v 公司已具有专利技能，将包含一个专有条形码辨认算法的嵌入式 功用加进传感器芯片，这算法能够找出每一帧幅内的条形码方位，让图画信号处理器只需聚集于这些规模， 进步数据处理功率。
图二： Teledyne e2v Snappy 五百万像素芯片，主动辨认条形码方位
另一个削减处理负载和优化“杰出”数据的功用是 Teledyne E2V 的专利快速曝光形式，该形式使传感器能 够主动校对曝光时刻，以防止照明条件改变时呈现饱满。这项功用优化了处理时刻，由于它习惯了单帧中 光照的动摇，而且这种快速反应最大极限地削减了处理器需求处理的“坏”图画的数量。
这些功用一般是特定的，需求很好地了解客户的运用程序。只需对运用程序有满足的了解，就能够规划多 种其他片上功用来优化嵌入式视觉体系。
4. 减小分量尺度以合作最小运用空间
嵌入式视觉体系的另一首要要求是能够合作狭小空间，或是分量要小，以便用于手持式设备/或延伸电池推 动产品的作业时刻。这便是现在大部份嵌入式视觉体系运用只要 1MP 到 5MP 的低分辨率小型光学格局传 感器的原因。
减小像素芯片的尺度仅仅减小图画传感器占位面积和分量的第一步。现在的 65nm 工艺让咱们能够把大局 快门像素尺度减小至 2.5μm 而不损光电功用。这种出产工艺使得比如全高清大局快门 CMOS 图画传感器 能够合作手机商场要求小于 1/3 英寸的规范。
减小传感器分量和占位面积的另一首要技能是缩小封装尺度。芯片级封装在曩昔数年在商场敏捷生长， 在移动、车载电子和医疗运用中特别显着。相较用工业商场常用的传统陶瓷 （Ceramic Land Grid Array， 简称 CLGA） 封装，芯片级扇出封装能够完成更高密度衔接，因此是嵌入式体系图画传感器轻量化小型化 应战的超卓处理计划。例如 Teledyne e2v 的 Emerald 2M 图画传感器芯片级封装，侧高仅仅陶瓷封装的 一半，而尺度则减小 30%。
图 3 ：同一芯片选用 CLGA 封装 （ 图左 ） 和晶圆级扇出有机封装 （ 图右 ） 的比较。后者能够削减占位、厚 度和本钱。 。
展望未来，咱们预期新的技能能进一步完成嵌入式视觉体系所需的更小传感器尺度。
三维仓库是让半导体器材出产的立异技能，它的原理是在不同晶圆上制作各种电路芯片，然后运用铜对铜 衔接和过硅冲孔（Through Silicon Vias，简称 TSV）技能进行仓库和互联。三维仓库由于是多层重迭芯片， 答应器材完成比传统传感器更小的占位尺度。而在三维仓库传感器中，读出和处理芯片能够置于像素芯片 和行译码器的下方。这样，传感器的占位尺度因缩小的读出和处理芯片而减小，而且能够在传感器中参加 更多处理资源以减小图画信号处理器的载荷。
图 4 ：三维芯片仓库技能有助于完成像素芯片、仿真和数字电路，乃至是用于专门运用的附加处理芯片组合重迭，减小传感器面积。
不过，要让三维仓库技能在图画传感器商场取得广泛运用，现在还面临着一些应战。首要这是一个新式的 技能，其次是它的本钱较高，由于需求附加的工艺过程，使得芯片本钱比运用传统技能的芯片高三倍以上。 由于三维埋迭将首要是高功用或十分小占位尺度的嵌入式视觉体系的挑选。
总结而言，嵌入式视觉体系能够概括为一种“轻量”视觉技能，能够用于包含 OEM、体系集成商和规范 相机厂商等不同类型企业。“嵌入式 “是一个可用于不同运用的概括性描绘，因此不能开出列表阐明它的特 征。不过优化嵌入式视觉体系有几个适用规律，便是一般来说，商场推进力并非来自超级快的速度或超高 的灵敏度，而是尺度、分量、功耗和本钱。图画传感器是这些条件的首要推手，所以需求当心挑选适宜的 图画传感器，以便于优化嵌入式视觉体系的整体功用。适宜的图画传感器能为嵌入式规划人员带来更多灵 活性，节约资料清单本钱，减小照明和光学组件的占位面积。它也让规划人员在无需面临更多复杂性的情 况下，挑选来自消费商场的很多经济适用并具有优化深度学习功用的图画信号处理器。
