图画传感器能够说是在数字视频或停止相机中视频或停止图画处理流水线的最重要部分。假如没有传感器,就没有图画信号可进行处理。众所周知传感器对错标准化的。在选用的计划中,它们有以下的不同之处:
转化可见光或红外光为电信号的方法;尤其是在该信号脱离这块芯片之前,对这个信号选用的编码和紧缩(有时)的方法。
对传感器内部的寄存器进行编程的方法,以调整增益、曝光时刻、传感器形式(如线性、HDR),传感器图画坐标等。
完成特别功用的方法,如高(或宽)动态规模(HDR/WDR);例如经过在同一封装中的多个传感器,关于同一图画帧屡次曝光等。
这些传感器厂商选用的接口,以使这些电子图画信号脱离传感器,并进入下流的处理逻辑。
FPGA供给一个具本钱效益的,尺度十分小的可编程逻辑渠道,能够轻松地将信号从不同的图画传感器接口转化到数字信号,以供下流的逻辑进行处理。FPGA供给具有本钱效益的可编程机制,以习惯各种信号编码计划、寄存器办理计划和传感器接口,然后为不同类型的传感器供给可编程支撑。
图画传感器技能
依据用于将可见光转化成电信号的根本技能,图画传感器可分为两大类。它们是CCD(电荷耦合器材)传感器和CMOS(互补金属氧化物半导体)传感器。到目前为止,出货量最多的图画传感器是CMOS传感器。本文只重视CMOS传感器接口。
在视频处理链中典型的图画传感器的运用如图1所示。
现在有几个闻名的图画传感器制造商,它们是Aptina、OmniVision Technologies、索尼、三星、松下、东芝和Altasens。
如前所述,传感器制造商装备了一系列接口,用于将脱离其芯片的图画信号传至下流逻辑进行处理。十分遍及的是,同一传感器制造商依据需求从芯片中提取的数据量运用不同的接口。例如,具有兆像素分辨率的现代传感器需求在给定的周期时刻传出比仅具有VGA级分辨率的传感器多得多的数据。像高动态规模(HDR)这样的要求还增加了数据量,需求从每个图画帧的图画传感器读取数据,而为支撑滑润、低推迟高品质的视频,需求在给定的时刻内从传感器芯片提取帧数,这也影响了传感器接口的挑选。
图画传感器接口的演进
到目前为止,一切传感器都可衔接到并行LVCMOS接口,如图2所示。传感器分辨率和帧速率现已提高到一个水平,此刻曾经的干流CMOS并行接口已不能处理所要求的带宽。
因为兆像素传感器的面世,对更高速度的需求激增,HDR和对支撑更高帧速率、新式、更高速度传感器的需求正运用不同的接口来战胜并行LVCMOS的局限性。例如,索尼和松下运用并行的子LVDS接口,OmniVision运用MIPI或串行LVDS。另一个比如是,为支撑更高带宽的需求,Aptina Imaging现已推出了称为HiSPi(高速串行像素接口)的高速串行接口。HiSPi接口能够作业在1-4个串行数据通道,加上1个时钟通道。每个信号是子LVDS差分信号,以 0.9V的共模电压为中心。每个通道能够运转在高达700Mbps下。
HiSPi与并行传感器接口桥接的需求
多个传感器接口给标准化下流视频处理逻辑的制造商提出了一个问题,因为用一个ASSP支撑许多不同的传感器接口十分困难。
大多数ISP(图画信号处理)器材支撑传统的CMOS并行传感器接口,但一般缺少对高速串行接口的支撑。许多ISP并行接口的运转速度远远超过了传感器的并行接口。可是,因为传感器已迁移到不同串行接口,ISP器材需求逻辑以转化到并行接口。因而FPGA桥接器材需求将高速串行数据转化到并行格局。关于视频信号处理ASSP的制造商(他们具有支撑更快的并行CMOS传感器接口的现成产品),FPGA处理了衔接至高速串行传感器的问题。FPGA供给在高速传感器和传统图画信号处理ASSP之间的简略、具有本钱效益的可编程桥接。这个概念如图3所示。
根据FPGA的串行传感器桥接参阅规划示例
一个实践比如是,针对Aptina Imaging的HiSPi串行接口至TI DSP并行接口的桥接,LatticeXP2-5非易失性FPGA供给了高效、具有本钱效益的处理计划,如图4所示。
该参阅规划在输入端用HiSPi串行接口,在输出端用TI TMS320DM3X5衔接至Aptina传感器。评价硬件已测试了Aptina的A-1000传感器MT9M034/MTM024和MT9J003。该参阅规划支撑分组(Packetized)和Streaming SP HiSPi格局:1-4通道运转速度高达每通道700Mbps。它还模仿并行传感器输出,输出总线宽度为8、10、12、14或16位。并行接口可装备为1.8V、2.5V或3.3V LVCMOS电平。参阅规划的模块图如图5所示。
FPGA在传感器接口桥接上的应战
可编程逻辑作为图画传感器和ASSP之间的桥接面对三个方面的应战。首要,FPGA有必要为接口信号供给电信号支撑。第二,FPGA的I/O有必要有满足的gearing逻辑来支撑快速串行传感器接口。第三,FPGA有必要供给契合本钱效益的十分小的外形尺度,以习惯现代摄像机关于紧凑外形的要求。
具有齐备子LVDS文档支撑的LatticeXP2非易失FPGA系列已被证明处理了图画传感器桥接的电气需求。集成PLL、专用时钟沿和I/O gearing逻辑处理了高速串行传感器接口。最终,莱迪思半导体(Lattice)的 XP2供给了具有本钱效益的8×8mm面积。此外,因为其非易失的特性,LatticeXP2系列器材无需外部引导PROM,然后进一步节省了电路板空间,这使得他们成为传感器接口的具有吸引力的可编程逻辑渠道。图画信号处理(ISP)IP的可用性也使更大型的LatticeXP2器材可供给各种功用,如传感器数据线