多媒体将选定的所有元素(包括文字、音频、静态图像、视频和图形)集成到单一媒体对象中。流技术(Streaming technology)可在媒体对象被读取、收听或者观看的同时实时传输这些对象。在RealAudio公司1995年提供首个商用流媒体产品之前，绝大部分的互联网媒体文件需要完整下载后才能播放。而现在，不必等到流音频剪片(clip)下载完成才能播放，而是在传输的过程中就可以回放。

流媒体数据由服务器端发送，并由客户端接收和实时显示。当接收缓冲器包含足以避免数据遗失的足够多信息时，客户端就可以开始播放音频/视频，以避免信息遗失。专用的多媒体服务器通常用于实施基于网络的流传输。多媒体服务器可以连续地传输数据，而不会出现爆发式传输和长时间的停滞，所以在回放开始之前，客户端只需要很少的缓冲数据。

业已出现在嵌入式DSP上的音频/视频压缩算法是提供流传输所需实时性能的关键。由于它们具有对数字数据进行编码和解码的能力，此类算法被称为编解码器。

虽然流传输通常与分布式计算机网络的关系最为密切，但是其它形式的数字通讯同样需要流传输。数字音频广播(如DRM、XMSR、Sirius Satellite Radio)、数字广播电视(如Direct TV、韩国的T-DMB)、3GPP手机和蓝牙手机等均需要使用编解码器，以满足流传输要求。此外，编解码器在存储压缩等非流传输应用中也是非常有用的。

图1：aacPlus系列编解码器。

标准化的编解码器提供最高度的互通性。流传输音频标准有：MPEG1/2、Layer 3(MP3)、数字杜比AC-3、MPEG2 AAC、WMA和Ogg Vorbis。通用的视频压缩标准包括MPEG2、MPEG4 SP/ASP、MPEG4 AVC/H.264和WMV。

标准音频编解码器

图2：标准视频编解码器的发展时间表。

MP3：MP3原本用于表述MPEG1 Layer 3，但是日常应用中已经发展至包含Layer 1, Layer 2以及Fraunhofer Institute所扩展的MPEG 2.5。MP3是得到最高认知度的编解码器之一，在互联网编解码器中具有最大的用户群。但是为达到近CD品质音频，对某些难应付的内容需要高于192kbps速率。

MPEG1、Part 3 (ISO/IEC 11172-3)：定义了双声道，采样率为32、44.1或者48KHz，编码率从32 到 384kbps的编解码方法。此标准描述了三个相关方法：Layers I、II、和 III。Layer III提供最高的压缩率，但是复杂度也最高。

MPEG2、Part 3 (ISO/IEC 13818-3)：对MPEG1标准提供了两个重要的改进。首先，低比特率需求通过使“低采样率(LSF)”扩展标准化而得到满足。该编解码器提供了16、22.05、和24kHz采样率编码方法；其次，MPEG1模式被扩展为支持上至12声道的音频数据。Fraunhofer的低频率扩展，即MPEG2.5，提供了MPEG2一半的采样频率选择：8、11.025和12kHz。

数字杜比(AC-3)：目前，数字杜比具有最大的多声道编解码用户群。通过将多声道整合至单一编码对象中，数字杜比实现了高品质、低复杂度音频压缩。尽管该算法与编码声道的数量无关，目前的实现方案已经接受了SMPTE的建议，即采用了由5个全带宽音频声道和1个用于低音的分带宽声道组成5.1声道：分别为左、中、右、左环绕、右环绕和低频扩展(LFE)。

数字杜比支持灵活的播放方式：1声道到5.1声道，32、44.1或者48KHz采样率，比特率从32 到640kbps。解码后的音频可自动匹配播放系统以提供与音响配置无关的最佳品质的音效。

aacPlus系列编解码器：Coding Technologies公司已经开发了一系列得到国际标准组织广泛采用的编解码器。MPEG2采用了AAC，以128kbps提供接近CD的品质，即使对于特别复杂的内容也如此。aacPlus v1被DVD论坛、DVB、Digital Radio Mondiale、3GPP2和ISMA等组织定为标准。aacPlus v2在2004年末开始商用，已被指定为3GPP中的高品质音频编解码器，aacPlus v 2的所有组件都是MPEG-4音频规范的组成部分。

AAC：aacPlus系列编解码器均是围绕MPEG2、Part 7(ISO/IEC 13818-7)所描述的AAC核心而建立。AAC提供8、11、12、16、22、24、32、44、 48、63、88或者96kHz的采样率，以及高达48声道的音频，每个声道比特率可高达288kbps。其定义了三个紧密相关的方案：低复杂度(Low Complexity)、Main和可伸缩采样率(SSR)。低复杂度的AAC-LC需要非常少的处理器资源，因此通常用于嵌入式应用中。

MPEG4、Part 3(ISO/IEC 14496-3)：为MPEG2 AAC增加了知觉噪音替代(PNS)工具，因此定义为MPEG4 AAC。PNS通过对类噪声信号的参数化编码，从而简化这些信号的表达方法。不能将PNS与MPEG2、MPEG4中的时域噪声整形(TNS)相混淆。

aacPlus V1：该编解码器有时被称为“高效AAC”(HE-AAC)。它整合了基本的AAC编解码器和频带复制(SBR)技术。SBR是一种频带扩展技术，可使几乎任何音频编解码器在比特率下降30％时仍能保证音质。SBR通过使用频带低半部分信息加上一些编码参数来表达频带的高半部分信息。SBR技术也可用于其他编解码器，例如结合带MP3的SBR构成了MP3Pro编解码器。

aacPlus V2：在aacPlus V1中增加参数化立体声(PS)技术，形成了aacPlus V2编解码器。PS技术使用左声道和一些额外的编码参数，生成右声道，进一步降低了比特率。aacPlus V2在160 Kbps下可达到DVD5.1声道品质，在48Kbps可达到近CD立体声品质，在32 Kbps下可达到极佳立体声效果，在24Kbps下可达到娱乐品质立体声效果，在低于16Kbps时可达到高品质单声道效果。aacPlus V2的效率使移动数字广播新应用成为可能。

WMA：WMA是微软授权的Windows Media Series中一系列广泛使用的音频编解码器。此系列中最新版本是WMA9、WMA9 Professional、WMA9 Lossless、WMA9 Voice 和WMA9 Variable Bit Rate(VBR)。在嵌入式应用中，WMA9是此系列中最常见的编解码器；提供16位/320kbps双通道，采样率高达48KHz。“Professional”支持24位、96KHz采样率和高达128到768kbps的7.1声道。与数字杜比相同，解码后的音频可自动匹配播放系统，以提供和音响配置无关最佳品质的音效。“Lossless”用于CD存档，压缩率在2:1和3:1之间。“Voice”用于压缩语音至20kbps。尽管VBR对于大部分的流应用并不理想，但WMA9和“Professional”都能以可变比特率编码。“Lossless”则总是使用VBR功能。

图3：各种视频呈现格式的典型带宽。

Ogg Vorbis：为无需专利费用的开放资源，具有近似于MP3的音质。“ogg”是容器格式，而“Vorbis”为音频编解码器。由于它免除了与MP3游戏音乐相关的按每游戏收取的许可费用，因此Ogg Vorbis在电脑游戏厂商中使用率日益上升。

标准视频编解码器

联合视频组(JVT)由ITU的视频编码专家组(VCEG)和ISO/IEC运动图像专家组(MPEG)组成。VCEG开发自愿性标准，用于会话和非会话类音/视频应用的先进移动图像编码。MPEG开发国际标准，用于移动图像、音频及两者组合内容的压缩、编码、解压缩、处理和编码表达等，以满足各种应用。总之，JVT已经开发了包括ITU H.262/MPEG2和H.264/MPEG4 AVC在内的最流行的视频标准。

PEG2 Video/H.262：MPEG2(ISO/IEC 13818-2)，也被称为ITU-T H.262，是目前消费类电子视频设备中使用最广泛的视频编码标准。MPE2视频用于数字电视广播：包括陆地，海底电缆和直接卫星广播。它能在25fps(PAL)或者30fps(NTSC)的固定帧率下达到720x576像素成像。此外，它也是DVD-V中必需的编解码器。

MPEG4-SP/ASP：ISO/IEC 14496-2描述了MPEG4 Simple Profile(SP)/Advanced Simple Profile(ASP)。其中，SP用于下一代便携式终端和窄带互联网。而ASP增加若干工具，编码效率提高了1.5到2倍。他们两个均在市场上获得越来越多的接受。

MPEG4-AVC/ITU-T H.264：AVC是由ISO/MPEG和ITU-T联合技术委员会开发的多媒体标准。AVC提供更高的压缩率、更好的视频质量和比MPEG2更高的容错性，有望用于互联网广播和移动通讯。

WVM/SMPTE VC-1：WMV9是微软的多媒体标准，其特性包括支持流处理、变比特率以及与MPEG4-AVC/H.264相媲美的容错工具。除了用于家庭电脑，WMV9目前也在电影院用于数字投影。电影中使用的编码可以是7-12Mbps的恒定比特率CBR或变比特率VBR，并达到DVE分辨率(720x480)

嵌入式DSP流媒体解决方案

由于一系列原因，DSP成为流媒体编解码器的理想选择。首先，各种不同的编解码器和不断变革的标准要求解决方案必须是可编程的；其次，大部分的编解码器是运算密集型，而DSP就是设计用于高效数学运算；另外，功耗和成本是移动流传输中的重要考虑，而DSP内核提供了低功耗、低成本的最佳组合。

典型的音频/视频流媒体系统通常同时使用内部存储器和外部存储器。内部存储器是以DSP内核时钟速度运行的快速存储器；外部存储器比较慢，价格也较便宜。编解码指令存储于外部存储器，但下载到内部存储器中执行。由于视频流数据量巨大，除非必须，其通常放在片外，而音频流数据则可片内外任意放置，还可以根据需要将一些IP模块挂在系统SoC总线上。

图4：ZSP流媒体解决方案。

前后兼容的DSP平台

目前的趋势是每两年就会发布新的编解码标准，每个新标准会需要更多的DSP周期。因此，选择可按兼容性发展蓝图来演变的DSP平台非常重要，这样通过系统升级而不是重新设计即可满足未来的系统要求。ZSP则提供了适应多媒体标准不断变革所必需的灵活性和性能。

LSI逻辑公司的ZSP产品部门提供全系列可综合的软件兼容DSP内核，并提供广泛的音/视频标准代码，产品发展蓝图内的内核是代码兼容的。广泛的第三方合作伙伴网络确保新的标准将迅速可用。基于ZSP的音/视频系统可轻松地与新兴的音/视频标准相适应。

各代(G1/G2/G3)的ZSP都基于易编程的架构。ZSP内核专门为低功耗应用优化，是个人音/视频播放器等移动应用的理想选择。ZSP具有16/32位数据通道，支持高质量音频处理和视频处理所需的控制性能。

G2内核具有强大的协处理器接口，支持嵌入到内核执行流水线的硬件加速器。硬件加速器可以松散或者紧密地耦合于ZSP执行流水线。紧耦合加速器可视为ZSP的指令集扩展，这使它们易于编程和使用，即使是基于C代码。

ZSP内核拥有卓越的编译器，不仅支持汇编代码的高效开发，还支持C代码的高效编译；再加上现成可用的标准代码，保证了最快速的系统设计和实现。

作者：Danny Wilson, Ramon Trombetta

首席解决方案架构师

Ramon Trombetta

DSP解决方案架构师

DSP解决方案工程部(DES)

LSI逻辑公司