H.324规范的可视电话体系完结办法,一般有如下同种方法:软件方法、通用DSP方法及专用处理器和专用芯片方法。
以PC机为渠道,运用现有的声卡、视频要集卡和调制解调器作为输入和输出设备,采和依据WINDOWS的多线程技能软件完结H.263视频器、解码/发送、接纳、显现等多个使命。在实践运用体系时需求考虑到PC的处理才能、与接纳端的衔接和相应的图画格局等问题,能够在编码模块中选用汇编语言,进步履行速度,并引进MMX技能,进一步进步履行速度。它的特色是成本低、装备少,便于移植和晋级,但对核算机的处理才能、编解码的算法速率的要求比较高,一般难于抵达实时要求。
专用处理器和专用芯片是别的一种硬件处理方法,它的长处是集成度高,价格低,但扩展性差。
通用DSP方法是一种硬件完结方法。选用通用DSP的原因是因为它可通过编程完结多种功用,当针对硬件的软件功用晋级和新的规范算法出现时,只需求部分改动DPS的微码就能够习惯不同的运用。用DSP完结H.263时,首要需求估量编码、解码等处理进程所需的核算量,并且这些核算量与详细视频编码进程有关,挑选时应该选用高速DSP。
从以上三种完结方法来看,DSP具有开发灵敏、习惯面较宽和扩展性强等优越性,且现在现已能实时处理H.263算法的高速超强处理才能的DSP芯片有AD21065L、TMS320C55x、TMS320C6x等,所以选用DSP完结可视电话等视频图画处理体系成为开发者的首选。
1 H.324可视电话根本结构
H.324是ITU的适用于公共电话交流网(PSTN)的低比特率多媒体通讯终端的结构规范。它运用V.34调制解调器,能够实时传送语音、数据、视频图画或三者的组合。H.324包含甚低码率视频编码的H.263主张、音频编码G.723主张、操控协议H.245和复接与复用协议H.223等。
PSTN的视频H.324可视电话框图如图1所示。
在H.324编解码体系框图中,视频编码H.263供给低于64kbps的传输速率,是H.324的技能中心。视频编码器首要完结对源图画序列的紧缩,先按块的方法选用DCT改换,后对改换的DCT系数进行量化,然后进入视频复接编码器。在编码进程中,要求对编码形式的挑选和码率的巨细进行必要的操控;视频复接编码首要完结将每帧图画数据编成四个层次的数据结构,以便在各层次中刺进必要的辅佐数据信息。一起对沟通DCT系数(AC)进行VLC编码,对直流系数进行固定长度(FLC)的编码,并对紧缩的编码数据与操控信息复接。因为H.263的输出码率一般非稳定的,所以在实践运用中,受传输网络带宽的约束,有必要要在发送端和接纳端设置缓冲区,使得编码率的码流改换为固定码率码流,避免数据的丢失和损坏。缓冲区的信息传给编码操控器,由编码操控器来操控编码器中量化器化步长,一起将步辅佐信息送到视频复接编码中的各层次,以供解码器运用。解码部分能够看作为编码的逆进程,但并非彻底对称。编码进程的运算量和复杂度要远大于解码进程。
2 可视电话体系的性能需求
在可视电话规划之前,先分别对可视电话的图画格局、视音频的编解码运算量和存储量进行剖析。
PSTN上的可视电话,因为信道带宽较窄(传输速率最大不超越64kbits/s),故图画不宜过大。图画格局上选用QCIF(176×144)格局,帧率为15fps(帧每秒)。以下视音频编解码核算和存储量均在上述条件下估量。
H.263视频编码核算量首要会集在:运动估量与猜测编码、离散余弦改换(DCT)、可变长编码(VLC),这部分的运算量估量为90MIPS(兆个指令/每秒)。相同,解码核算量首要会集在:运动补偿(MC)、离散余弦逆改换(IDCT)、可变长解码(VLD),这部分运算量估量为40MIPS。G.723.1音频编码的运算量比视频的运算量小得多,大约为30MIPS。
再加上其它一些操作如音视频混合、数据的传输、外部器材的操控等,估量大约为60MIPS。因而DSP的核算量共为220MIPS左右。
存储器包含程序存储器和数据存储器。程序存储器和一些常数(DCT系数、VLC系数等)开端存于ROM,运转之后引导至RAM中,这部分估量为400Kbytes。
数据存储器首要寄存采样得来的视频数据以及待解码的数据流,也便是视音频信号的缓冲。QCIF格局的每帧采样数据约为50Kbytes,RAM中至少要存4~5帧,这部分需250Kbytes。为使视音频同步,音频数据缓冲为50Kbytes左右。
3 依据DSP的可视电话体系的完结
依据资源剖析,为完结上述以PSTN为传输线路的可视电话,首要挑选适宜的视音频编解码DSP芯片,再构建可视电话硬件流图,分配存储资源,然后编写与移植相关的协议软件,使之合适DSP芯片的高效运转。
3.1 视音频解码DSP芯片的挑选
视频编解码芯片选用AD公司的ADSP-21065L。ADSP-21065L是超级哈佛结构(SHARC)ADSP系列中功用强大的32bit DSP,高性能的核加上集成的外围器材,使其性价比很高、运用规模很广,它的首要特性有:
·198 MFLOPS(32bit浮点运算);
·180 MOPS(32bit定点运算);
·16K 32bit双端口片内存储器;
·64M 32bit字长的外部扩展地址空间;
·2个支撑32个时分复用(FDM)通道的串口;
·10个DMA通道;
·2个时钟;
·与32bit字长SDRAM的无缝口等。
ADSP-21065L的快速运算才能(198MFLOPS)和大的外部存储空间(64M),使其能完结H.324中的运算量大、存储容量大的部分,如视频编解码H.263、视音频混合H.223和操控H.245。
ADSP-21065L选用多总线使DPS核、I/O端口、内部双口存储器、外部同步DRAM之间数据能够高速传输。这关于视频数据的编码和传输很重要,因为视频数据有量大、传输快等特色,ADSP-21065L的多总线结构能很好地处理这些问题。并且32bit字长的核算,能够进步视音频的信噪比。
音频编解码芯片选用ADSP-2189M,其首要特性有:
·片内存储器高达1.5Mbit,可装备成32K字的程序存储器和48K字节的数据存储器;
·运算才能为70MIPS,13ns的指令周期;
·3个总线结构答应在每指令周期进行两个取数操作,并作运算;
·4M的外部扩展存储器;
·2个串口,能够主动缓冲数据;
·6个外部中止;
·丰厚的指令,低功耗等。
监于ADSP-2189M特色,以及由前评论的音频编解码G.723.1运算量和存储容量的需求,能够让ADSP-2189M进行音频编解码G.723.1。此外,ADSP-2189M的多功用串口,能够完结V.34调制解调器的使命。
3.2 可视电话体系的硬件结构
DSP可视电话硬件结构如图2所示。
图2中ADSP-21065L是可视电话的中心,其首要效果是完结视频编码H.263、多媒体通讯的复用协议H.223和传输操控协议H.245功用。H.263中心技能为依据块DCT和运动估量与猜测技能,前者是通过正交改换消除图画8×8子块数据中存在的空间冗余,而得到必定的数据紧缩;对后者而言,首要对输入的每一图画进行层次的区分,直到分为8×8块作为运动估量算法的根本处理单元,然后进行运动估量与猜测,消除图画序列间的时刻冗余,抵达运动图画紧缩的意图。
H.223低位率多媒体通讯的复用协议,首要由AL和MUX两部分组成。AL担任将从用户层和I/O层获取的不同数据流(AL-SDU)转化成AL-PDU。MUX担任将AL层数据送到物理层。AL与MUX层交流的逻辑单元称为MUX-SDU,每个MUX-SDU实践上便是AL-PDU。AL依据接纳媒体不同,分3成种:AL1、AL2、AL3。AL1担任传送一般数据和操控信息,AL2担任音频,AL3担任视频。因为可能有多个AL-PDU(MUX-SDU)一起抵达复用层,复用层依据一个预先界说的描述符表将不同的AL-PDU复合到一个数据流中。该描述符表有16项,每个表项界说不同的AL-PDU组合方法。
H.245传输操控协议规则了操控H.324终端正确操作的端端信令。它界说了终端间通讯开端时进行带内洽谈的操控进程、音讯的语法和语义,并界说了各种不同的服务。一些适于一切终端,一些只适于特别终端。它界说了各种进程以答应音视与数据才能的交流;恳求特定的音视与数据形式的传送;办理传输音视与数据信息的信道;为办理双向信道确认主终端与从终端;带着各种操控与指示信息;操控独立信道或整个复用层的位率;测验往复时延等。
ADSP-2189M是起到音频编码协议G.723和调制解调器V.34的效果。G.723音频编码协议有5.3kbps与6.3kbps两种速率,其主题是“5.3&6.3kbps多媒体传输对称速率音频编码器”。G.723编码器通过优化增加了有限的复杂度,获得了高质量的对话。它将语音或其它音频信号帧用线形猜测归纳剖析编码办法编码,6.3kbps的鼓励信号为MP-MLQ(多脉冲最大类似量化),5.3kbps选用ACELP(算术码书鼓励线性猜测);帧长30ms,外加一探头7.5ms,算法推迟共37.5ms,附加推迟则取决于完结时的处理推迟、通讯链路的传输推迟及复用协议的缓冲推迟等。V.34协议把数据流进行调制和解调,使之适用于电话线的传输。
3.3 存储资源的分配和软件的编写移植问题
依据运用特色,合理分配资源特别是存储资源,一直是DSP规划的重要之处。在本体系中,频频运用的DCT系数、VLC系数等放置于ADSP-21065L的片内RAM,而其他数据放置了外部RAM中。按详细功用要求,参考资料,开宣布相应的C语言下的H.324程序,编译链接生成履行文件履行并进行功用评价,进行详细的算法优化。评价程序履行的功率,详细剖析出DCT和运动估量与猜测等耗时大的模块,依据ADSP-21065的指令特色和硬件结构,选用高效的汇编语言编写这部分汇编程序,进一步进步程序的履行功率和充分运用ADSP的体系硬件资源,终究按要求在ADSP实时完结H.324程序。
为了确保芯片之间接口的一致,依据PSTN上的可视电话,中心芯片如视音频编解码芯片、视音频数模转化芯片等,都选用AD公司的产品。依据DSP的可视电话体系,其软件具有可晋级性,易于完结功用的扩展及与其他遵照ITU规范和ISO规范的网络视频终端的互通。当今电话线上的ADSL通讯发展迅速。因为依据DSP可视电话体系的灵敏性,所以只需在其上增加ADSL终端设备,在软件上更改码率操控,进步视音频质量,就可展开宽带视音频事务了。