工业机器视觉、机器人、人工智能技能的开展正配合着政府的智能制作计划向前推动,图画传感器是其间的要害技能,其在工业中的运用很广,包含智能交通、高端安防监控、电影拍照、医疗印象、生物辨认、地理相机,以及常见的机器视觉在工业主动化出产的运用,不同的运用对图画的分辨率、明晰度、噪声、以及相机的帧率、体系本钱等都有不同的要求,一起工业中人工智能运用的开展给图画传感器带来了更高的应战,包含推动了大局快门功用、高速拍照、大分辨率、运用不可见光谱区域和三维体积深度供给的信息进行要害揣度,以及神经网络处理的开展。安森美半导体是工业机器视觉的首领之一,具有全方位的产品阵型并不断开宣布抢先的技能,处理上述应战并推动立异。
高效的工业出产需求机器视觉给出快速又精准的决议计划
在出产线上用于丈量的相机要能快速判别液位、尺度,用来定位的相机体系要能快速精确的给出正确的物品方位,及时告诉机械手臂在哪里寻觅抓取物品,用作计件查验的相机体系要可以快速核算出数量,是否溢出,用作解码辨认的相机体系要可以快速精确辨认二维码,字符信息等。相机体系做出快速精准决议计划的要害便是图画可以明晰精确的供给这些信息,不同的检测运用对图画的分辨率、明晰度、噪声、以及相机的帧率、体系本钱等都有不同的要求。
跟着工业主动化的开展,检测品种的多样性,唆使图画传感器不断的更新换代,工艺一直在打破进步。这个开展从安森美半导体的几代CMOS产品系列中可见一斑:在2005年推出的LUPA系列开端有了高速输出接口,接下来2010年推出的VITA系列在大局快门功用上有了很大了进步,支撑卷帘快门和大局快门两种方法,在2014年推出的PYTHON系列添加了像素内图画纠正,有用的优化了大局快门传感器的噪声功用,2019年刚推出的XGS系列运用了削减节点的像素工艺对噪声和图画一致性更是有了腾跃般的进步,往后安森美半导体将会在工业级图画传感器运用背照式和仓库式工艺来推动图画传感器的进一步开展。
跟着工艺的进步,图画传感器的像元越来越小,但它却可以到达大尺度像元的图画作用,这就使传感器的分辨率可以越做越大,带宽也越来越高,也推动了全体相机体系的进步和开展,来满意工业出产快速精确的揣度和决议计划。
人工智能是新东西
快速精确的决议计划需求推动整个生态体系来完结高档数据搜集和揣度,供给了实在进入工业4.0的时机,人工智能(AI)正是需求的新东西,用来办理工业体系成像不断添加的数据集。AI可以经过自适应制作、主动质量操控、猜测性保护等计划有用地应对当今制作业面临的应战,如工厂中的PCB板检测、钣金缺点检测、食品卫生检测、零部件均匀度检测、平板检测的运用中,工厂操作员的疲惫会影响对产品质量的一致性评价,可是机器视觉相机和深度学习处理了这个问题。现在,AI已用于60%以上的核算机视觉运用中,而AI在制作运用中的添加已超越50%年复合添加率。
工业中AI运用的开展给图画传感器带来了更高的应战,包含推动了大局快门功用、高速拍照、高分辨率、运用不可见光谱区域和三维体积深度供给的信息进行要害揣度,以及神经网络处理的开展。
大局快门:完结高速视觉成像的要害
传统的卷帘快门图画传感器可为静态或慢速移动的物体成像供给超卓的灵敏度。但大局快门在检测快速移动物体的工业运用中至关重要。如高速装配线的机器视觉检测之类的使命需求精确的判别,大局快门图画传感器经过彻底一起同步曝光捕获一切像素,来消除运用卷帘快门传感器逐行曝光带来的空间失真变形的作用,正确复原了运动物体的实在姿态,接下来才干进行强壮的AI分类核算。如安森美半导体的大局快门图画传感器XGS 2000,以220 fps的速度捕获高质量、精确和快速移动的200万像素大局快门图画场景,可以为物流和工业扫描仪等不同场景下运用供给明晰、低噪声的图画。
高速也是快速移动物体检测的工业运用另一个至关重要点。高速装配线的机器视觉查看需求快速的帧率和较短的积分时刻,可以运用短曝光和快速读出消除图画含糊的作用。工厂的视觉检测根本都是对应高速移动的物体,特别是工厂高速工作的出产线上,传送带的速度特别快,那么在最短的时刻内成像读出数据,削减或消除拍照图画中的运动含糊,才干运用AI算法完结正确的智能判别和快速决议计划。
商场对高分辨率的需求不断添加
越来越多的运用对分辨率有了很高的需求,例如手机/电视/电脑显现器的LCD、OLED屏幕检测。在这检测运用中,运用相机检测显现器的输出,以查找显现亮度的均匀性、色彩精确性、线条缺点、颗粒缺点等。这就要求检测相机供给十分高的图画质量和高度均匀性,以保证相机中的质量问题不会被误解为显现器中的产品缺点。显现屏实际上都由红绿蓝等多个LED子像素组成,检测体系需求可以解析一切这些子像素,以便正确成像和显现并承认设备的质量,为进步检测的精度和牢靠性,职业中一般会运用图画传感器靶面的3×3,或许4×4, 乃至5×5个像元来辨认显现屏设备的一个LED子像素,这就需求用到更多的传感器像元个数,而且跟着显现器分辨率的不断进步-从传统高清到4k到8k乃至更高,检测相机所需的分辨率也在不断进步,才不会献身运用所需的高图画质量和均匀性,为AI算法的精度供给更牢靠的数据支撑。
又如另一个常见的工业成像运用是印刷电路板检测,以承认电路板组件上的集成元器件、电容器、电阻器等已正确装置并焊接到位。电路板的检测速度是受图画分辨率和帧率的组合影响,图画中可以捕获的电路板尺度面积越大,一次可以检测的电路板就越多,图画能捕获的越快,检测的功率就越高。尽管当时商场上供给的图画传感器可以每秒输出约500或1400个像素的数据,可是安森美半导体的XGS 45000可以以挨近1900个像素/秒的速度捕获更多的图画数据用于算法判别,比竞争对手快3倍以上,图画数据宽度可以达8000个像素。高分辨率和高带宽的结合使这种检测运用的AI算法可以更快,更有用地履行,然后进步了制作进程的出产率。
再如用于监控或播送的印象运用,图画需求结合了上述功用,该运用对图画质量的要求十分高,商场对分辨率的需求也不断添加,从高清到4K到现在的8k,高分辨率供给了更强壮的图画结构和细节可以看到宽视界的才能,还供给了用于AI分类的裁剪开窗的选项,来扩大感兴趣的内容。安森美半导体的XGS 45000图画传感器实际上具有比8k视频所需的分辨率更高,不只可以运用少数裁切来供给8k视频,还因为XGS 45000具有很高的带宽,它可以60帧每秒的速度供给8k视频以及完好的12位输出,满意了该运用所需的高分辨率、高带宽和高图画质量。
值得一提的是,安森美半导体也供给完好的参阅规划X-Cube,根据X-class图画传感器系列, 在1.1英寸光学格局供给1600万像素分辨率,供给用于机器视觉和ITS的 29 mm x 29 mm工业相机占位所需的成像细节和功用,且一个摄像机可支撑多种分辨率,协助规划人员加速开发。
图1:卷帘快门vs. 大局快门
从仅捕获RGB信息和X,Y二维信息到添加深度信息或多光谱区域信息
除了图画传感器的功用进步,别的更为丰厚的成像信息的集成也可以增强人工智能的功用,逐步成为工业客户做出正确决议计划的要害。
经过对多种方法和AI处理的出资,也使得安森美半导体具有共同的优势,从仅供给三种红绿蓝(RGB)组成的成像体系开展到添加具体的光谱特征,这样可以在检测中看到RGB无法辨认的当地。运用12比特位的图画数据,可以进步辨认图画的精度,从仅供给x、y二维定位信息到运用结合了深度像元技能或毫米波雷达、激光雷达技能和图画交融后带来深度信息,可更深化地了解检测方针的悉数体积巨细高度等的信息,也便是深度学习。
所以现在图画传感器的开发正在从仅捕获RGB信息转移到新的方法,增强的数据集供给的信息将不只仅是色彩和二维方位。图画传感器的厂家都在开发新技能以获取更牢靠的深度信息或许多光谱区域信息。比方开发经过交融内部不同数据流的Super Depth像元技能,开发经过有规则的结构,调制入射光振幅或相位的衍射光栅技能,开发根据单光子雪崩二极管(SPAD)和硅光电倍增管(SiPM)的传感器等方法来完结为图画供给更多的深度信息。
或许开发根据等离子体波导滤波片,或以法布里-珀罗(F-P)结构原理为根底的多通道分光滤光片制作技能完结在更多的光谱区域成像的超多光谱技能。
图2:XGS 45000的演示作用
神经网络处理
跟着人工智能的开展,分类体系规划需求功用强壮的图画处理单元(GPU)或张量处理单元(TPU)神经网络处理器,因为练习和推理都需求很多核算,人工智能界正在面临史无前例的算力应战,网络拓扑需求数亿个乘法和加法逻辑核算(MAC),需求数百万个卷积神经网络参数,就比方能完结分类/方针检测/语义切割等多方针使命的MobileNetV2结构就具有3亿个MAC核算和420万个参数,但这相对于ResNet微结构,已经是削减了9倍的核算量。
练习进程因为触及海量的大数据和杂乱的深度神经网络结构,需求的核算规划十分巨大,一般需求GPU或云去完结,揣度布置环节的核算量比较练习环节会少一些,但仍然触及很多的矩阵运算,一般在边际的高功率GPU / TPU上履行以完结低推迟。面临深度学习的练习和揣度的算力需求,商场上大部分运用的是NVIDIA的GPU或google的TPU来完结。
图3:高分辨率X-Cube 体系用于29 mm x 29 mm 相机规划
AI的开展
要实在完结快速决议计划,AI也需求开展。 现在,用于成像的AI决议计划已从云过渡到边际再迁移到与成像体系自身。 比方把AI的练习环节保留在GPU或云端,运用仓库工艺可以将决议计划或乃至与之相关的一些预处理集成到图画传感器上,比方在传感器上集成用于图画辨认的底层或许轻算力的卷积神经网络层,集成具有内存的数字矩阵乘法核算单元体系结构。这些AI功用集成在图画传感器中都将会完结,也已经有公司发布了内置人工智能引擎的图画传感器芯片。
如安森美半导体的交融了AI的生果新鲜度分类体系的演示,整个ECOsystem是根据安森美半导体的AR1335的相机和NVIDIA Xavier edge GPU, 运用了TensorRT版别的MobileNetV2结构来处理分类新鲜和腐朽的苹果、橘子、香蕉等6类多达上万个CNN练习参数,可以辨认三种生果及其新鲜度,这个体系的精确率到达97%以上。
图4:AI用于机器视觉,辨认生果新鲜度
总结
图画传感器的开发正在从仅供给RGB和二维坐标信息转移到新的更丰厚的方法。 图画传感器可供给更多类型的数据,无论是深度数据仍是添加的光谱信息,以及AI兼并这些数据集并完结高档决议计划,然后使体系可以经过新的丈量和决议计划时机供给更快、更精确的成果。安森美半导体是工业机器视觉的首领之一,以全方位的智能感知产品阵型和抢先的技能,应对工业AI运用应战并推动智能制作的立异。
