跟着数字多媒体的运用日渐广泛,视频解码 在嵌入式体系规划中变成一个根本要素。视频规范有多种,依赖于产品可施行其间的一个或许多个规范。当然这不是悉数,视频仅仅是多媒体码流的一部分,别的还 有音频或许语音需求并行处理。因而,一个准确的处理存储或数据流的同步层是必需的。此外,视频解码自身对功用要求较高,需求不同于从前依据语音和信息运用 的体系架构;这就对便携体系提出了特别应战,而桌面运用相同面对这些问题。
通用视频规范和编解码器
联合视频组(Joint Video Team, JVT)由 ITU的视频编码专家组(Video Coding Experts Group, VCEG)和ISO/IEC运动图画专家组(Moving Picture Experts Group, MPEG)组成。VCEG开发自愿性规范,用于会话和非会话类音/视频运用的先进移动图画编码。 MPEG开发国际规范,用于移动图画、音频及两者组合的压 缩、编码、解压缩、处理等,以满意各种运用。总归,JVT现已开发了包括ITU H.262/MPEG2和H.264/MPEG-4 AVC在内的最盛行的视频规范。
MPEG-2 Video/H.262:MPEG2(ISO/IEC 13818-2),也被称为ITU-T H.262,是现在消费类电子视频设备中运用最广泛的视频编码规范。MPE2视频用于数字电视播送:包括地上、电缆和直接卫星播送。它能在25fps (Pal)或许30fps(NTSC)的固定帧率下到达720×576象素成像。此外,它也是DVD视频中必需的编解码器。
MPEG-4-SP/ASP: ISO/IEC 14496-2描绘了 MPEG4简略类(Simple Profile, SP)/高档简略类(Advanced Simple Profile, ASP)。其间,SP用于下一代便携式终端和窄带互联网。而ASP添加若干东西,编码功率进步了1.5到2倍。他们两个均在市场上取得越来越多的承受
MPEG-4-AVC/ITU-T H.264:先进视频编码(AVC)是由ISO/MPEG和ITU-T联合技能委员会开发的多媒体规范。AVC供给更高的压缩率,更好的视频质量和比MPEG2更高的容错性,有望用于互联网播送和移动通讯。
Windows Media Video(WVM)/SMPTE VC-1:WMV9是微软的多媒体规范,其特性包括支撑流处理,可变比特率,以及与MPEG-4-AVC/H.264相媲美的容错东西。除了用于家庭电 脑,WMV9现在也在电影院用于数字投影。电影中运用的编码可所以7~12Mbps的稳定比特率CBR或可变比特率VBR,并到达DVE解析度 (720×480)。
运用计划
特定的方针运用决议了体系要求,因而带动了体系规划的挑选。
个人媒体播映器(PMP):个人媒体播映器是带大容量存储器的便携式设备,经过对存储的文件进行解码,可以观看视频、听音乐或许阅读数码照片。由所以便携式播 放器,因而功耗至关重要。已然编码和流处理功用都不需求,并且屏幕尺度一般是比较小的QVGA或许CIF格局,其可经过依据DSP的 计划很好的处理。选用DSP的优势还在于可轻松支撑多种视频和音频规范。例如:LSI针对高功用嵌入式体系的可授权DSP核ZSP500,可为此类运用提 供足够的视频处理才能。此外,ZSP500还可以供给出色的音频解码才能,使DSP可在较低的频率下运转;从而使音频/视频子体系功耗很低。而存储器、键 盘、显现和文件体系可经过微操控器履行。
图:规范视频编解码器的时间表。
当然,某些PMP具有把播映器衔接到一般电视机的视频输出功用。尽管PMP集成的显现屏幕相对较小,但现在的视频解码尺度一般到达D1格局。依据播映器的功 能列表要求,设备需求集成1个或许多个视频解码规范;关于在电视帧率(25-30帧/秒)下D1格局视频解码,硬件视频解码器是最佳挑选。多个视频解码标 准或许需求多个硬件模块。实施多个解码规范会进步体系本钱,但不会进步功耗,由于同一时间只要一个模块会被激活。多规范音频解码可在小而高效的嵌入式 DSP核中完结,而无需添加额定的硬件本钱(存储解码器的空间在外)。而微操控器将用于操控DSP和视频硬件解码器。
当仅用于播映音频时— 如典型的MP3播映器,也可运用单DSP处理计划。此体系中DSP进行音频解码、文件/流数据处理,还一起操控键盘、显现屏和存储器等。由于DSP处理音 频解码更为高效,因而运用如ZSP400 DSP而非微操控器可以明显下降功耗。此外,依据DSP的处理计划可进行软件晋级,以支撑运算更为密布的音频规范(比方aac Plus),此刻微操控器或许无法处理额定添加的负荷。
视频移动电话:该类运用的视频尺度是QCIF或许CIF,帧率从10到30帧每秒。 是否需求支撑多种视频/音频解码规范取决于电话的功用要求。视频将是流视频或许短的视频序列回放。经过软件解码而无需额定硬件,既可满意这些设备的功用要 求。并且大多数的电话集成了微操控器和DSP,因而视频解码可经过DSP完结,这也使得低功耗精巧体系成为或许。别的一些电话或许包括PMP或许数码摄像 机的一些功用,单纯的DSP规划计划无法满意要求,这就需求额定的硬件加速。
视频桌面电话:该设备供给视频会议功用,需求在强实时约束下完 成编解码。假如帧尺度和帧率有限,单DSP处理计划依然可行。可是,大部分桌面电话具有QVGA或许更大的显现屏;此外,用户一般希望有比无线移动设备更 佳的语音/视频质量。这意味帧率应当更高,掉帧率/卡帧率应当尽或许低,此刻或许需求选用硬件处理计划完结视频编解码。语音编解码可经过低本钱的DSP (如ZSPneo)或许体系中的微操控器完结。
移动数码摄像机(DVR):关于该类设备,多规范编解码没有必要,大多数仅运用单一视频编解码规范。由于大尺度,高帧率和低功耗的严苛要求,纯硬件处理计划一般是首选。而不需求DSP,此刻体系微操控器用于驱动视频和音频硬件模块。
机顶盒:机顶盒需求完结高质量视频流的处理和已录制的视频文件的解码。同DVR相同,视频质量的要求(帧尺度,帧率,比特率和容错才能)使其简直只能经过硬 件解码来进行。当然,由于不像移动设备对功耗要求那样严苛,也可选用多DSP核合作一些根本的硬件加速的计划来规划可处理各种视频编解码器的体系。依据功 能要求,机顶盒或许需求必定的灵敏性:尤其是将其用于媒体播映器、数字VCR或网络流媒体范畴。这时可用DSP中的软件处理音频。为了完结这种灵敏性,要 挑选不同的编解码器完结回放、编码、译码等功用,此刻用于音频处理的DSP将会是如ZSP500这样的高功用处理器,以完结投合家庭影院最新潮流的盘绕 声、声响处理等功用要求。
根本规划装备
针对本文主旨,咱们可以考虑以下4种根本规划装备:第一种规划包括1个 微操控器和1个DSP(MC+DSP);第二种规划包括1个微操控器和1个DSP,可是DSP一起也操控1个视频编码/解码硬件模块(MC+[DSP+ VHW]);第三种规划运用1个微操控器,DSP和视频编码/解码硬件模块(MC+DSP+VHW),在该规划中微操控器操控DSP和视频硬件模块;最终 一种规划包括1个微操控器,1个视频编码/解码硬件模块,1个音频编码/解码硬件模块(MC+VHW+AHW)。在上述各类规划中,微操控器担任典型的嵌 入式操控使命:包括用户操控衔接(如操纵杆操控),USB/UART/以太网驱动,协议层(如TCP/IP, HTTP)等。
表:各种视频格局的典型带宽。
MC+DSP-微操控器和DSP用于低视频解析度(CIF),软件可晋级,支撑多种音、视频规范的体系。DSP用于音频解码,视频解码和音/视频同步。尽管功用有限,但体系十分灵敏,此渠道可轻松完结多种音频和视频解码格局支撑。
MC +[DSP+VHW]—该视频硬件模块用于高解析度视频编/解码。DSP办理音频编/解码,也担任音/视频同步,一起也能用于画中画或许其他视频叠加功 能。该体系的一个优势是音频/视频子体系可规划为一个规范的多媒体编/解码器,可轻松植入体系而不会添加太多的杂乱性。DSP是体系多媒体部分的操控器。 由于多媒体编/解码体系与微操控体系的衔接很松懈,因而其可以被轻松整合进许多现有微操控器体系中,从而使这个计划具有适当吸引力。该编/解码体系可被当 作一个具有规范本地总线接口的ASSP产品。
MC+DSP+VHW-在该装备中,DSP用于音频编/解码,而微操控器用于完结音/视频同 步。这就需求更杂乱的微操控器规划,但可选用与MC+[DSP+VHW]体系比较功耗、本钱都更低的DSP。由于微操控器有必要和谐DSP和VHW,一起还 要履行其它的操控使命以及一切的和谐操作,因而该计划完结困难许多。
该装备的一个变种是由DSP履行视频解码、音频编/解码,而视频编码依然由硬件履行,这需求一个功用强壮的DSP,但会使体系灵敏性更强,并支撑多种视频解码规范。
MC +VHW+AHW-在该装备中,微操控器履行除音、视频编/解码外的一切使命。音/视频同步也由微操控器履行。该处理计划除音频子体系灵敏性较差(仅能执 行原始规划中的音频编解码器而不能软件晋级)外,和MC+DSP+VHW很相象。其优点在于它能与特定运用合作,与各种前述计划比较具有最佳的功耗。
视频移动电话:该类运用的视频尺度是QCIF或许CIF,帧率从10到30帧每秒。 是否需求支撑多种视频/音频解码规范取决于电话的功用要求。视频将是流视频或许短的视频序列回放。经过软件解码而无需额定硬件,既可满意这些设备的功用要 求。并且大多数的电话集成了微操控器和DSP,因而视频解码可经过DSP完结,这也使得低功耗精巧体系成为或许。别的一些电话或许包括PMP或许数码摄像 机的一些功用,单纯的DSP规划计划无法满意要求,这就需求额定的硬件加速。
视频桌面电话:该设备供给视频会议功用,需求在强实时约束下完 成编解码。假如帧尺度和帧率有限,单DSP处理计划依然可行。可是,大部分桌面电话具有QVGA或许更大的显现屏;此外,用户一般希望有比无线移动设备更 佳的语音/视频质量。这意味帧率应当更高,掉帧率/卡帧率应当尽或许低,此刻或许需求选用硬件处理计划完结视频编解码。语音编解码可经过低本钱的DSP (如ZSPneo)或许体系中的微操控器完结。
移动数码摄像机(DVR):关于该类设备,多规范编解码没有必要,大多数仅运用单一视频编解码规范。由于大尺度,高帧率和低功耗的严苛要求 ,纯硬件处理计划一般是首选。而不需求DSP,此刻体系微操控器用于驱动视频和音频硬件模块。
机顶盒:机顶盒需求完结高质量视频流的处理和已录制的视频文件的解码。同DVR相同,视频质量的要求(帧尺度,帧率,比特率和容错才能)使其简直只能经过硬 件解码来进行。当然,由于不像移动设备对功耗要求那样严苛,也可选用多DSP核合作一些根本的硬件加速的计划来规划可处理各种视频编解码器的体系。依据功 能要求,机顶盒或许需求必定的灵敏性:尤其是将其用于媒体播映器、数字VCR或网络流媒体范畴。这时可用DSP中的软件处理音频。为了完结这种灵敏性,要 挑选不同的编解码器完结回放、编码、译码等功用,此刻用于音频处理的DSP将会是如ZSP500这样的高功用处理器,以完结投合家庭影院最新潮流的盘绕 声、声响处理等功用要求。