典型图画传感器的中心是CCD单元(charge-coupled device，电荷耦合器材)或规范CMOS单元(complementary
meta-oxide
semiconductor，互补金属氧化物半导体)。CCD和CMOS传感器具有相似的特性，它们被广泛运用于商业摄像机上。不过，现代大都传感器均运用CMOS单元，这首要是出于制作方面的考虑。传感器和光学器材常常整合在一同用于制作晶片级摄像机，这种摄像机被用在相似于生物学或显微镜学等范畴，如图1所示。
图1：整合了光学器材和色彩过滤器的图画传感器的常用摆放
图画传感器是为满意不同运用的特别方针而规划的，它供给了不平等级的灵敏度和质量。想要了解各种传感器，可查阅其厂商信息。例如，为了在硅基模和动态呼应(用于完成光强度和色彩检测)之间有一个最好的折中，对一个特定的半导体制作进程，需优化每个光电二极管传感器单位的巨细和组成成分。
对计算机视觉而言，采样理论的作用具有重要意义，如方针场景的像素规模就会用到Nyquist频率。传感器分辨率和光学器材能一同为每个像素供给满意的分辨率，以便对感爱好特征进行成像，因而有这样的定论：爱好特征的采样(或成像)频率应该是重要像素(对感爱好的特征而言)中最小像素巨细的两倍。当然，对成像精度而言，两倍的过采样只是是一个最低方针，在实践运用中，并不简略决议单像素宽度的特征。
关于给定的运用，要取得最好的成果，需校准摄像机体系，以便在不同光照和间隔条件下确认像素位深度(bit
depth)的传感器噪声以及动态规模。为了能处理传感器对任何色彩通道所发生的噪声和非线性呼应，而且检测和校对像素坏点、处理几许失真的建模，需开展适宜的传感器处理办法。假如运用测验办法来规划一个简略标定办法，这种办法在灰度、色彩、特征像素巨细等方面具有由细到粗的突变，就会看到成果。
1、传感器资料
硅制图画传感器运用最广，当然也会运用其他资料，比方在工业和军事运用中会用镓(Ga)来掩盖比硅更长的红外波长。不同的摄像机，其图画传感器的分辨率会有所不同。从单像素光电晶体管摄像机(它经过一维直线扫描阵列用于工业运用)，到一般摄像机上的二维长方形阵列(一切到球形整列的途径均用于高分辨率成像)，都有或许用到。(本章最后会介绍传感器装备和摄像机装备)。
一般成像传感器选用CCD、CMOS、BSI和Foveon办法进行制作。硅制图画传感器具有一个非线性的光谱呼应曲线，这会很好地感知光谱的近红外部分，但对蓝色、紫色和近紫外部分就感知得欠好(如图2所示)。
图2：几种硅光电二极管的典型光谱呼应。能够留意到，光电二极管在900纳米附近的近红外规模内
具有高的灵敏度，而在横跨400纳米～700纳米的可见光规模内具有非线性的灵敏度。
由于规范的硅呼应的原因，从摄像机中去掉IR滤波器会添加近红外的灵敏度。(光谱数据图画的运用已取得OSI光电股份有限公司的答应)
留意，当读入原始数据，并将该数据离散化成数字像素时，会导致硅光谱呼应。传感器制作商在这个区域做了规划补偿，可是，当依据运用标定摄像机体系并规划传感器处理办法时，应该考虑传感器的色彩呼应。
2、传感器光电二极管元件
图画传感器的关键在于光电二极管的巨细或元件的巨细。运用小光电二极管的传感器元件所捕获的光子数量没有运用大的光电二极管多。假如元件尺度小于可捕获的可见光波长(如长度为400纳米的蓝光)，那么为了校对图画色彩，在传感器规划中有必要战胜其他问题。传感器厂商花费很多精力来规划优化元件巨细，以保证一切的色彩能平等成像(如图3所示)。在极点的情况下，由于缺少累积的光子和传感器读出噪声，小的传感器或许对噪声愈加灵敏。假如二极发光管传感器元件太大，那么硅资料的颗粒巨细和费用会添加，这没有任何优势可言。一般商业传感器设备具有的传感器元件巨细至少为1平方微米，每个出产厂商会不同，但为了满意某些特别的需求会有一些折中。
图3：根本色彩的波长分配。留意，根本色彩区域彼此堆叠， 对一切的色彩而言，绿色是一个很好的单色替代品
3、传感器装备：马赛克、Faveon和BSI
图4显现了多光谱传感器规划的不同片内装备，包含马赛克和堆叠办法。在马赛克办法中，色彩过滤器被装在每个元件的马赛克办法上。Faveon传感器堆叠办法依赖于色彩波长深度浸透到半导体资料的物理成分，其间每种色彩对硅资料进行不同程度的浸透，然后对各自的色彩进行成像。整个元件巨细可适用于一切色彩，所以不需求为每种色彩别离装备元件。
图4：(左图)堆叠RGB元件的Foveon办法：在每个元件方位都有RGB色彩，
并在不同的深度吸收不同的波长;(右图)规范的马赛克元件：在每个光电二极管上面放置一个RGB滤波器，每个滤波器只答应特定的波长穿过每个光电二极管
反向照明(back-side
illuminated，BSI)传感器结构具有更大的元件区域，而且每个元件要集合更多的光子，因而在晶粒上从头安置了传感器接线。
传感器元件的安置也影响到色彩呼应。例如，图5显现了根本色彩(R、G、B)传感器以及白色传感器的不同摆放，其间白色传感器(W)有一个十分明晰或非五颜六色的色彩滤波器。传感器的摆放考虑到了必定规模的像素处理，如在传感器对一个像素信息的处理进程中，会组合在附近元件的不同装备中所选取的像素，这些像素信息会优化色彩呼应或空间色彩分辨率。实践上，某些运用只是运用原始的传感器数据并履行一般的处理进程来增强分辨率或许结构其他色彩混合物。
图5：元件色彩的几个不同马赛克装备，包含白色、根本RGB色彩和非有必要CYM元件。
每种装备为传感器处理进程优化色彩或空间分辨率供给了不同的办法(图画来自于《Building Intelligent
Systems》一书，并得到Intel出版社的运用答应)。
整个传感器的巨细也决议了镜头的巨细。一般来说，镜头越大经过的光越多，因而，对拍摄运用而言，较大的传感器能更好地适用于数字摄像机。别的，元件在颗粒上摆放的纵横比(aspect
ratio)决议了像素的几许形状，如，4：3和3:2的纵横比别离用于数字摄像机和35毫米的胶片。传感器装备的细节值得读者去了解，这样才能够规划出最好的传感器处理进程和图画预处理程序。
4、动态规模和噪声
当时，最先进的传感器每个色彩单元能供给至少8个比特位，一般是12～14个比特位。传感器元件需求花费空间和时间来集合光子，所以较小的元件有必要经过精心规划，以防止发生一些问题。噪声或许来自于所用的光学元件、色彩滤波器、传感器元件、增益和A/D转化器、后期处理进程或许紧缩办法等。传感器的读出噪声也会影响到实践的分辨率，由于每个像素单元从传感器中读出再传到A/D转化器中，然后组成数字办法的行和列，以便用于像素转化。越好的传感器会发生越少的噪声，一起会得到更高效的比特分辨率。Ibenthal
的作业是降噪方面的好文献。
别的，传感器光子吸收对每种色彩会有所不同，对蓝色有或许有些问题，即关于较小的传感器成像而言这是最难的一种色彩。在某些情况下，出产商会企图在传感器中为每种色彩内建一个简略的伽马曲线批改办法，但这种办法并不值得发起。在对五颜六色有需求的运用中，能够考虑色度设备模型和色彩办理，乃至让传感器的每种色彩通道具有非线性特征并树立一系列简略的校对查找表(Lookup
Table, LUT)转化。
5、传感器处理
传感器处理用于从传感器阵列中去马赛克并集合像素，也用于校对感知瑕疵。在这一节咱们会评论传感器处理根底。
一般在每个成像体系中都有一个专有的传感器处理器，包含一个快速HW传感器接口、优化的超长指令集(very long instruction
word,VLIW)、单指令大都据流(single instruction multiple data,
SIMD)指令以及具有固定功用的硬件模块，这些功用是为了处理大规模并行像素处理所形成的作业负载。一般，传感器处理进程通明且自动化，并由成像体系的出产厂商设置，来自传感器的一切图画均以相同的办法处理。也存在用于供给原始数据的其他办法，这些数据答应针对运用来定制传感器处理进程，就像数字拍摄那样。
6、去马赛克
依据不同的传感器元件装备(如图5所示)，可使用各种去马赛克算法将原始传感器数据生成终究的RGB像素。Losson
&Yang还有Li等人别离给出了两篇十分好的总述文献，这些文献介绍了各种办法以及所面对的应战等。
去马赛克的一个首要应战之一是像素插值，其作用是将附近单元的色彩通道组合成单个像素。在给定传感器元件摆放的几许形状以及单元摆放的纵横比的条件下，这是一个重要的问题。一个与之相关的问题是色彩单元的加权问题，如在每个RGB像素中每种色彩应该占多少份额。由于在马赛克传感器中，空间元件分辨率大于终究组合的RGB像素分辨率，某些运用需求原始传感器数据，以便尽或许使用一切的精度和分辨率，或许有些处理要么需求增强有用的像素分辨率，要么需求更好地完成空间准确的色彩处理和去马赛克处理。
7、坏像素的校对
像LCD显现器相同，传感器也或许会有坏像素。经过在摄像机模块或驱动程序中供给需求校对的坏像素坐标，供货商能够在工厂校对传感器，并为已知的缺点供给一个传感器缺点图。在某些情况下，自适应的缺点校对办法会用在传感器上，以便监控附近像素点来发现缺点，然后校对必定规模内的缺点类型，比方单像素缺点、列或行缺点以及相似2×2或3×3的块状缺点。为了实时寻觅瑕疵，摄像机驱动也可供给自适应的缺点剖析，在摄像机的发动菜单中或许会供给一个特别的补偿操控。
8、色彩和照明校对
有必要进行色彩校对以便平衡总的色彩准确度和白平衡。如图1-2所示，硅传感器上对赤色和绿色这两种色彩一般很灵敏，可是对蓝色却不灵敏，因而，了解和标定传感器是得到最准确色彩的根本作业。
大大都图画传感器的处理器包含了用于光晕校对的几许处理器，这在图画的边际表现为光照更暗。校对根据几许歪曲函数，可考虑可编程的光照功用来添加朝向边际的光照，这需求在出厂前进行标定，以便与光学的光晕办法相匹配。
9、几许校对
镜头或许会有几许相差或朝边际发生歪曲，发生径向失真的图画。为了处理镜头畸变，大大都成像体系具有专用的传感器处理器，它有一个硬件加速的数字歪曲元件，相似于GPU上的纹路采样器。在工厂就会针对光学器材的几许校对进行校准并编程。
