导言
众所周知,实践国际是一个三维空间,除掉时间这一维度,实践国际是由长度、宽度和高度三个维度组成,咱们每天就日子在这个三维国际中,而现有的显现设备大多数都只能显现二维信息,并不能带给人实在的三维感觉。为了使显现的物体和场景具有深度感(也便是3D),人们纷繁对3D显现技能打开研讨,阅历了二十几年的开展,现在已取得了十分丰盛的作用。
裸眼3D显现器被广泛运用于广告、传媒、演示教育、展览展现以及影视等各个不同范畴。差异于传统的双目3D显现技能,裸眼3D显现因为具有其裸眼的共同特性,即不需求观众佩带眼镜或头盔便可欣赏3D作用,且其传神的景深及立体感,又极大提高了观众在观看体会时的视觉冲击力和沉溺感,成为产品推行、大众宣扬及印象播映的最佳显现产品。
但是,观众不佩带任何设备又是怎么感知3D的呢?
1、裸眼怎么感知3D
实践国际是三维国际,人眼观看物体时看到的图画具有位差,两幅图画之间的误差咱们称之为视差(disparity/parallax)。正是这种视差,使人们能差异物体的远近,并取得立体感。依据视差值的不同,视差又可分为正视差(positive parallax),负视差(negativeparallax)和零视差(zero parallax)。当观众在观看时,正视差使人发生物体深化屏幕的感觉;负视差使人发生物体悬浮于屏幕外的感觉;零视差是正视差和负视差的分界,物体刚好被投射到屏幕上,即咱们常说的零平面。夏天夜晚的星星离咱们很远,咱们观看星星的视野几乎是平行的,这时视差挨近于零,人眼难以区别星星的间隔,因而咱们觉得星星间隔咱们相同远,繁星似乎在一个平面上没有立体感。
人的大脑是一个极端杂乱的神经体系,它能够将映入双眼的两幅具有视差的图画,经视神经中枢的交融反射,以及视觉心思反响便可发生三维立体感觉。运用这个原理,咱们能够将两幅具有视差的左右图画经过显现器显现,将其别离送给左右眼,然后取得3D感。
裸眼3D显现的原理一般是经过光栅或透镜将显现器显现的图画进行分光,然后使人眼接收到不同的图画,这样便完成了3D显现。狭缝光栅显现器经过在显现面板前方放置一个参数适宜的狭缝,对显现的内容进行遮挡,在经过必定间隔后,到达人眼的光线便可被分隔,双眼接收到两幅含有视差的图画。图 1 中人眼就能别离看到蓝色和绿色,这样就能发生立体作用。
图 1 狭缝光栅显现原理
Fig. 1 Principle of parallax barriers display
柱状透镜式选用了相同的原理,仅仅完成的办法由狭缝换成了透镜,透镜经过对光的折射作用,将不同的显现内容折射到空间中不同的当地,到达人眼时显现的内容被分隔,人眼接收到两幅含有视差的图画,这样便发生了立体作用,如图 2 所示。
图 2 柱状透镜显现原理
Fig. 2 Principle of lenticular lenses display
因而,裸眼立体显现仍依据立体视觉原理,仅仅经过改善立体显现器,以特定光学遮挡和光路传达操控的办法,完成将含有视差的图画别离传送到咱们的左右眼睛,从而观看到立体印象。
2、3D视频源格局
现在3D视频源格局有多种,不同的视频格局具有不同的优缺陷,本节将对几种常见的3D视频源格局做扼要的剖析与介绍。
2.1 左右视图
左右视图格局选用左视图和右视图并排传输的办法,如图 3 所示。传统的立体电影或立体电视一般选用依据左右角度两路 2D 视频的表达办法,这是因为左右视图格局尽管水平分辨率丢失了一半,但完好的保存了原左右视图的笔直分辨率。
MPEG-2 MVP(Multi-view Profile)运用时域弹性东西,供给了对双目立体视频的编码支撑。将一路视频(左视)作为根本层,另一路视频(右视)作为增强层。MPEG-4经过运用MAC(Multiple Auxiliary Component)寄存视差信息,支撑双目立体视频的编码。选用左右视图格局的3D视频源,解码重建原始角度的核算比较简略,但在制作其它虚拟角度时需求做立体匹配,因而核算较杂乱,且跟着制作视图的视差值增大,组成的视图质量将随之下降。因而,左右视图格局较合适双目立体显现,在多角度自在立体显现中运用较少。
图 3 左右视图3D格局
Fig.3 Side-by-side3Dformat
2.2 上下视图
上下视图格局选用左视图和右视图上下摆放的办法传输,如图 4 所示,这种格局与左右视图格局相似,仅仅它完好的保存了原左右视图的水平分辨率,而笔直分辨率丢失了一半。
图 4 上下视图3D格局
Fig. 4 Top-and-bottom3Dformat
2.3 视频+深度图(video plus depth, V+D)
“V+D”格局包含了一幅五颜六色图和相应的深度图,如图 5 所示,其间深度图表达了 2D 图画中的像素点与3D场景中实在点之间的间隔,即空间信息,深度信息是十分重要的几许信息,对3D场景的编码和重构具有重要的含义。选用 DIBR(Depth-Image Based Rendering)算法能够便利的制作出恣意角度。欧洲的 ATTEST 项目选用了“V+D”格局,其间 2D 五颜六色视频选用MPEG-2 编码,深度选用 MPEG-2、MPEG-4或H.264 进行编码,“V+D”的3D格局已标准化为 MPEG-C Part3,即 ISO/IEC 23002-3。Philips已发布了依据“V+D”格局的3D显现器接口标准白皮书,而且推出了相应的显现器产品。本文选用的3D输入视频源格局即为“V+D”,作为DIBR体系的视频输入,经过 DIBR 体系制作得到多个角度视图,生成裸眼3D内容。
图 5 “V+D”3D格局
Fig. 5 Video plus depth3Dformat
2.4 多路视频+深度(multi-view video plus depth, MVD)
因为多路角度视频需求传输多路数据,因而传输数据量太大,在实践中难以完成,选用 MVD 格局能够有用的处理这个问题。与“V+D”格局相似,MVD 格局传输 2D 视频序列和相应的深度图序列,经过 DIBR 制作得到虚拟角度,而与“V+D”格局不同的是,MVD 格局需求传输多路 2D 视频和深度序列,多路视频中的信息互补能够有用地处理遮挡、空泛问题,扩展视角规模,然后使制作的虚拟角度质量得到了大大提高。图 6 显现了ballet 序列 MVD 格局。
(a) 第一个摄像机在时间 1~4 拍照的 ballet 五颜六色图以及对应的深度图
(b) 第二个摄像机在时间 1~4 拍照的 ballet 五颜六色图以及对应的深度图
图 6 MVD3D格局
Fig. 6 Multi-view video plus depth3Dformat
2.5 分层深度视频(layered depth video, LDV)
分层深度视频格局即消除遮挡格局,是由 Philips 在“V+D”格局的基础上提出的,即 LDI(layered depth image),经过再添加一层“V+D”,描绘布景中被遮挡区域的视频及深度,将3D场景分解为远景和布景,用两层“V+D”来描绘。图 7别离为“V+D”“全布景消除遮挡”格局和“V+D”“去冗余消除遮挡”格局,全布景消除遮挡格局包含悉数的布景信息及其深度图,去冗余消除遮挡格局包含布景中被遮挡的 2D 图画及其深度图。此种格局较适用于深度滑润的布景上叠加虚拟组成的动画目标的场景,关于深度层次丰厚的天然场景,特别是对法线与光轴方向挨近笔直的物体外表的信息,仍是不能很好地表达。
图 7 LDV3D格局
Fig. 7 Layered depth video3Dformat
3、裸眼3D显现技能
依据显现原理和光学结构的不同,裸眼3D显现技能首要有光屏障式(parallaxbarrier)、柱状透镜技能(lenticular arrays)以及集成成像技能(integral imaging)。
下面扼要介绍这几种技能。
3.1 光屏障式技能
夏普公司欧洲实验室的工程师们经过 10 年的研讨,开发了光屏障式技能,依据该技能的自在立体显现能够在三维/二维形式间进行切换,凭仗该技能夏普在2002 年末成功的向商场推出了主动立体液晶显现器。如图 8 所示,光屏障式技能由高分子液晶层、LCD 面板、开关液晶屏及偏振膜等组成,视差障壁是经过运用液晶层和偏振膜发生方向为 90°的一系列笔直条纹构成的,这些笔直条纹宽几十微米,当光经过期就构成了笔直的细条栅形式。
视差障壁是该技能完成裸眼3D显现的关键所在,在3D显现形式下,安顿在 LCD面板及背光模块间的视差障壁,完成了左眼和右眼别离接收到不同的视图,然后使观众感受到3D作用。
长处:兼容现有的 LCD 液晶制作工艺,因而在本钱和量产上较具优势。
缺陷:显现分辨率与角度数成反比,画面显现亮度较低。
图 8 光屏障式技能示意图
Fig. 8 Illustration of parallax barrier
3.2 柱状透镜技能
菲利普公司依据传统的微柱透镜办法对裸眼3D显现技能打开研讨,其开发的裸眼3D显现器是在液晶显现屏的前面加上一层微柱透镜,每个柱透镜下面的图画像素被分红 R、G、B 子像素,每个子像素经过透镜以不同的方向投影,观众便可从不同的方向观看到不同的视图,如图 9 所示。该技能的缺陷是扩大了像素间的间隔,所以简略的叠加子像素是一种难以取得好的显现作用的做法,一种更好的办法是使一组子像素穿插摆放,且让柱透镜与像素列呈必定的歪斜角度。
长处:显现亮度高,3D沉溺感更好。
缺陷:与现有 LCD 液晶制作工艺不兼容,需求更高的本钱。
图 9 柱状透镜技能示意图
Fig. 9 Illustration of lenticular lenses
3.3 集成成像技能
集成成像(开始被称为集成拍照)已有 100 多年的前史,集成成像运用一组球形、方形或六角形的透镜发生三维图画,它能够一起供给水平缓笔直视差,归于真三维显现。最早提出集成成像显现技能的实时拍照办法是 NHK(日本广播公司)科学与技能研讨实验室。在拍照收集进程中,每个镜头或针孔将记载收集到的目标,这些目标被称为元素图画,很多小型和并排的元素图画将在透镜阵列后方的录制设备上成像,图 10 显现了集成成像收集和显现的原理。
长处:归于真三维立体显现,在视角规模内能够供给近乎接连改变的视差。
缺陷:技能尚不老练,图画显现分辨率低,视角较小。
(a) 收集与显现原理
(b) 收集与显现进程
图 10 集成成像技能示意图
Fig. 10 Illustration of integral imaging
立体显现还包含多种完成办法,比方:全息技能(holographicdisplay technology)、裸眼3D投影技能、头部盯梢技能(head tracking technology)等。
全息技能能完成真实的三维立体显现,观众能够在不同的角度裸眼观看印象,全息技能触及杂乱的光学技能,其显现的图画漂浮在空中,显现作用十分震慑。现在首要有全像式、透射式、反射式等全息显现技能,这些技能仍处于研讨阶段。
裸眼3D投影技能也称修建3D立体投影,分为修建外巨幅墙面投影和修建内巨幅墙面投影两种,现在国外运用较多的巨幅墙面投影是修建外巨幅墙面投影。巨幅墙面投影具有科技感浓郁、3D画面巨大、显现作用震慑,能够招引社会中的不同人群驻足观看,具有十分高的重视度,因而在产品宣扬、主题传达上能够取得很好的作用。
头部盯梢技能能够在只供给单角度的条件下,完成具有运动视差的立体显现。
在很多的自在立体显现体系中,依据光栅的 LCD 自在立体显现设备因其易于加工、多角度立体作用好,因而成为了市面上最早呈现的裸眼立体显现器,包含任天堂公司的3DS,都选用了狭缝光栅式结构,关于显现器和电视机这种像素点距固定的设备,一般柱镜光栅欠好匹配,因而运用狭缝能够有用的处理匹配问题。
用于自在立体显现器的光栅能够分为三大类:狭缝光栅、棱柱镜光栅、点阵式光栅。其间,点阵式光栅很少见,本文办法首要依据狭缝光栅和棱柱镜光栅。