雷運(yùn)發(fā)第5章視頻信息處理課件

《雷運(yùn)發(fā)第5章視頻信息處理課件》由會(huì)員分享，可在線閱讀，更多相關(guān)《雷運(yùn)發(fā)第5章視頻信息處理課件（139頁珍藏版）》請(qǐng)?jiān)谘b配圖網(wǎng)上搜索。

1、雷運(yùn)發(fā)第5章視頻信息處理課件第第5章章 視頻信息處理視頻信息處理 學(xué)習(xí)目標(biāo) 掌握模擬視頻信號(hào)的特點(diǎn)及數(shù)字化的基本方法; 理解運(yùn)動(dòng)圖像壓縮的國際標(biāo)準(zhǔn)MPEG-1和MPEG-2; 了解視頻信息獲取的基本原理和方法; 掌握視頻編輯的基本步驟和方法 。雷運(yùn)發(fā)第5章視頻信息處理課件5.1 數(shù)字視頻原理 l5.1.1 模擬電視信號(hào)模擬電視信號(hào)l1黑白電視信號(hào)黑白電視信號(hào) 模擬視頻圖像掃描方式有隔行掃描和非隔行掃描之分。 黑白電視和彩色電視都用隔行掃描，而計(jì)算機(jī)顯示圖像時(shí)一般都采用非隔行掃描 （逐行掃描 ）。 雷運(yùn)發(fā)第5章視頻信息處理課件非隔行掃描：非隔行掃描：電子束從顯示屏的左上角一行接一行的掃到右下角，

2、在顯示屏上掃一遍就顯示一幅完整的圖像。隔行掃描：隔行掃描：電子束掃完第1行后回到第3行開始的位置接著掃，然后在第5、7、行上掃，直到最后一行；奇數(shù)行掃完后接著掃偶數(shù)行，這樣就完成了一幀（frame）的掃描。 l隔行掃描的一幀圖像由兩部分組成：一部分是由奇數(shù)行組成，稱奇數(shù)場(chǎng)；另一部分是由偶數(shù)行組成，稱為偶數(shù)場(chǎng)，兩場(chǎng)合起來組成一幀。 雷運(yùn)發(fā)第5章視頻信息處理課件l 每秒鐘掃描多少行稱為行頻行頻fH；每秒鐘掃描多少場(chǎng)稱為場(chǎng)頻場(chǎng)頻ff；每秒掃描多少幀稱幀頻幀頻fF。 l采用隔行掃描 的優(yōu)點(diǎn)：所占用的信號(hào)傳輸帶寬要減少一半 ；l我國的電視畫面?zhèn)鬏斅适敲棵?5幀、50場(chǎng)。25Hz的幀頻能以最少的信號(hào)容量有

3、效地滿足人眼的視覺殘留特性；隔行掃描使人眼不易覺察出閃爍，同時(shí)也解決了信號(hào)帶寬的問題。l 由于我國的電網(wǎng)頻率是50Hz，采用50Hz的場(chǎng)刷新率可以有效的去掉電網(wǎng)信號(hào)的干擾。 雷運(yùn)發(fā)第5章視頻信息處理課件全電視信號(hào)主要由圖像信號(hào)（視頻信號(hào)）、復(fù)合消隱信號(hào)和復(fù)合同步信號(hào)組成。這兩種信號(hào)加在一起稱為全電視信號(hào) 雷運(yùn)發(fā)第5章視頻信息處理課件l一個(gè)行周期的黑白電視信號(hào)中圖像信號(hào)占52.2s，其余11.8s是掃描的逆程時(shí)間。逆程時(shí)間很短，而且逆程信號(hào)不能在屏幕上顯示出來，因此逆程電平不能高于黑電平。 雷運(yùn)發(fā)第5章視頻信息處理課件對(duì)于一張黑白圖像，我們可以畫出一行的黑白電視信號(hào)示意圖，如下圖所示： 雷運(yùn)發(fā)第

4、5章視頻信息處理課件在全電視信號(hào)中，把奇數(shù)場(chǎng)同步信號(hào)的前沿作為一場(chǎng)的起點(diǎn)，第1、2、3行是場(chǎng)同步信號(hào)，第4、5、6行是后均衡脈沖，722行還是場(chǎng)消隱信號(hào)，該場(chǎng)消隱信號(hào)從前場(chǎng)623行開始，因此，整個(gè)消隱信號(hào)是25行加一個(gè)行消隱時(shí)間。圖像信號(hào)從23行起到309.5行止，共287.5行，這就是第一場(chǎng)或稱奇數(shù)場(chǎng)。從309.5行開始又是下一場(chǎng)的場(chǎng)消隱信號(hào)及前均衡脈沖，在312.5行出現(xiàn)下一個(gè)偶數(shù)場(chǎng)的場(chǎng)同步脈沖，奇數(shù)場(chǎng)到此結(jié)束。偶數(shù)場(chǎng)開始，圖像信號(hào)及偶數(shù)場(chǎng)結(jié)束，如圖2.7所示。奇數(shù)場(chǎng)加上偶數(shù)場(chǎng)稱為一幀。雷運(yùn)發(fā)第5章視頻信息處理課件雷運(yùn)發(fā)第5章視頻信息處理課件l電視的清晰度電視的清晰度 一般用垂直方向和水平

5、方向的分解率來表示。我國電視圖像的垂直分解率為575行或稱575線。這是一個(gè)理論值。 影響水平分解率的主要因素是電視系統(tǒng)的掃描電子束。一般認(rèn)為應(yīng)使水平方向與垂直方向的分解率相當(dāng)時(shí)清晰度效果最好。由于電視屏幕的水平與垂直方向比例為4:3，故實(shí)際水平分解率設(shè)計(jì)成約540線。水平方向的分解率或像素?cái)?shù)決定電視信號(hào)的上限頻率。電視信號(hào)逐行掃描時(shí)的信號(hào)帶寬約為10MHz，而隔行掃描時(shí)的信號(hào)帶寬約為5MHz。我國目前規(guī)定的電視圖像信號(hào)的標(biāo)稱頻帶寬度為6MHz。雷運(yùn)發(fā)第5章視頻信息處理課件l伴音信號(hào)伴音信號(hào)l音頻信號(hào)的頻率范圍一般為20Hz20kHz，其頻帶比圖像信號(hào)窄得多。電視的伴音要求與圖像同步，而且不能

6、混迭。因此一般把伴音信號(hào)放置在圖像頻帶以外，放置的頻率點(diǎn)稱為聲音載頻。我國電視信號(hào)的聲音載頻為6.5MHz，伴音質(zhì)量為單聲道調(diào)頻廣播。 雷運(yùn)發(fā)第5章視頻信息處理課件2彩色電視信號(hào)彩色電視信號(hào) 黑白電視只傳送一個(gè)反映景物亮度的電信號(hào)就行了，而彩色電視除了傳送亮度信號(hào)以外還要傳送色度信號(hào)。為使電視臺(tái)發(fā)射一種彩色電視信號(hào)，黑白和彩色電視都能正常工作，黑白電視與彩色電視的兼容是個(gè)重要問題。實(shí)現(xiàn)實(shí)現(xiàn)黑白和彩色信號(hào)兼容：兼容：l1.必須使亮度和色度信號(hào)分開傳送，以便使黑白電視和彩色電視能夠分別重現(xiàn)黑白和彩色圖像；l2.應(yīng)盡量壓縮彩色電視信號(hào)的頻帶寬度，使其與黑白電視信號(hào)的帶寬相同；l3.除了新設(shè)置的色同步

7、信號(hào)以外，應(yīng)采用與黑白電視信號(hào)完全一致的行、場(chǎng)掃描以及消隱、同步等控制信號(hào)。雷運(yùn)發(fā)第5章視頻信息處理課件采用YUV空間還可以充分利用人眼對(duì)亮度細(xì)節(jié)敏感而對(duì)彩色細(xì)節(jié)遲鈍的視覺特性，大大壓縮色度信號(hào)的帶寬。我國規(guī)定的亮度信號(hào)帶寬為6MHz，而色度信號(hào)U、V的帶寬分別僅為1.3MHz。 在現(xiàn)代彩色電視系統(tǒng)中，通常采用YUV彩色空間或YIQ彩色空間，Y為亮度信號(hào)，它可以與黑白全電視信號(hào)兼容，而U、V是色差信號(hào)。 雷運(yùn)發(fā)第5章視頻信息處理課件l為了解決信號(hào)頻帶的兼容問題，還必須采用間插的方法把兩個(gè)1.3MHz的色度信號(hào)頻譜插在亮度信號(hào)頻譜的高端，這是因?yàn)榱炼刃盘?hào)的頻譜高端信號(hào)較弱，而且間隔較大。這樣既不

8、增加6MHz的帶寬，又不會(huì)引起亮度和色度信號(hào)的混亂。這種方式稱為頻譜的交錯(cuò)。l為了與聲音載頻相區(qū)分，一般稱色信號(hào)在亮度信號(hào)頻譜高端的中心位置為彩色副載波或簡稱為副載波。l我國彩色電視的副載波頻率為4.43MHz。色度C信號(hào)的總帶寬為2.6MHz，可以保證色度信號(hào)頻譜都落在亮度帶寬之內(nèi)，如圖。 雷運(yùn)發(fā)第5章視頻信息處理課件5.1.2 模擬視頻制式標(biāo)準(zhǔn) l1NTSC彩色電視制式 l具有如下的掃描特性：l（1）525行/幀，30幀/秒（29.97fps,33.37ms/frame）。l（2）高寬比：電視畫面的長寬比（電視為4:3；電影為3:2；高清晰度電視為16:9）。l（3）隔行掃描：一幀分成2場(chǎng)

9、（field），262.5線/場(chǎng)。l（4）在每場(chǎng)的開始部分保留20掃描線作為控制信息，因此只有485條線的可視數(shù)據(jù)。Laser disc約420線，S-VHS約320線。l（5）每行63.5微秒，水平回掃時(shí)間10微秒（包含5微秒的水平同步脈沖），所以顯示時(shí)間是53.5微秒。l（6）顏色模型：YIQ。雷運(yùn)發(fā)第5章視頻信息處理課件2PAL彩色電視制式 l掃描特性：l（1）625行（掃描線）/幀，25幀/秒（40ms/幀）。l（2）高寬比（aspect ratio）：4:3。l（3）隔行掃描，2場(chǎng)/幀，312.5行/場(chǎng)。l（4）顏色模型：YUV。 雷運(yùn)發(fā)第5章視頻信息處理課件3SECAM彩色電視制式

10、 l有如下的掃描特性：l（1）625行（掃描線）/幀，25幀/秒（40ms/幀）。l（2）高寬比：4:3。l（3）隔行掃描，2場(chǎng)/幀，312.5行/場(chǎng)。l（4）顏色模型：YUV。雷運(yùn)發(fā)第5章視頻信息處理課件5.1.3 電視機(jī)和錄像機(jī)的輸入輸出信號(hào) l1電視機(jī)的輸入輸出信號(hào) l電視信號(hào)主要包括5種成分：亮度信號(hào)、色度信號(hào)、色同步信號(hào)、復(fù)合同步信號(hào)和伴音信號(hào)。l根據(jù)不同的信號(hào)源，電視接收機(jī)的輸入、輸出信號(hào)有以下3種類型： l（1）高頻或射頻信號(hào)。雷運(yùn)發(fā)第5章視頻信息處理課件l電視機(jī)從有線或天線（RF In）接收到微弱的射頻電視信號(hào)后，首先要通過調(diào)諧器對(duì)它進(jìn)行解調(diào)，經(jīng)過放大、混頻和檢波，濾掉高頻載波

11、分量，得到PAL、NTSC或SECAM制式的復(fù)合全電視信號(hào)，并從全電視信號(hào)中分離伴音信號(hào)和視頻信號(hào)。音頻信號(hào)經(jīng)音頻電路處理后送揚(yáng)聲器輸出；視頻信號(hào)經(jīng)視頻放大，并把亮度、色度信號(hào)分離開，得到Y(jié)C分量信號(hào)。最后，把YC分量信號(hào)轉(zhuǎn)換成YUV，進(jìn)而轉(zhuǎn)換成RGB分量信號(hào)并送顯像管顯示 雷運(yùn)發(fā)第5章視頻信息處理課件（2）復(fù)合視頻信號(hào)）復(fù)合視頻信號(hào) :復(fù)合視頻信號(hào)，即從全電視信號(hào)中分離出伴音后的視頻信號(hào)，這時(shí)的色度信號(hào)還是間插在亮度信號(hào)的高端。由于復(fù)合視頻的亮度和色度是間插在一起的，在信號(hào)重放時(shí)很難恢復(fù)完全一致的色彩。這種信號(hào)一般可通過電纜輸入或輸出到家用錄像機(jī)上，其信號(hào)帶寬較窄，一般只有水平240線左右的

12、分分辨率。 l（3）S-Video信號(hào)。是一種兩分量的視頻信號(hào)，它把亮度和色度信號(hào)分成兩路獨(dú)立的模擬信號(hào)，用兩路導(dǎo)線分別傳輸并可以分別記錄在模擬磁帶的兩路磁跡上。這種信號(hào)不僅其亮度和色度都具有較寬的帶寬，而且由于亮度和色度分開傳輸，可以減少其互相干擾，水平分辨率可達(dá)420線。與復(fù)合視頻信號(hào)相比，S-Video可以更好的重現(xiàn)色彩。 雷運(yùn)發(fā)第5章視頻信息處理課件2錄像機(jī)分類及輸入輸出信號(hào) l錄像機(jī):是利用磁記錄原理把視頻信號(hào)及其伴音信號(hào)記錄在磁帶上的設(shè)備，故也稱為磁帶錄像機(jī)。與電視機(jī)類似，不同的錄像機(jī)對(duì)應(yīng)于不同制式的電視信號(hào)。 l按用途分類，主要有以下3種。l（1）家用錄像機(jī)。采用復(fù)合視頻的格式來

13、記錄視頻信號(hào)。根據(jù)不同的制式，同一種型號(hào)的家用錄像機(jī)還有單制式、多制式和全制式之分。 雷運(yùn)發(fā)第5章視頻信息處理課件l（2）專業(yè)用錄像機(jī)。l指工業(yè)、文教、衛(wèi)生等方面使用的錄像機(jī)，其視頻信號(hào)的水平分辨率可達(dá)250線以上。除了具有信號(hào)的記錄和重放功能以外，它還具有編輯等功能，價(jià)格是家用錄像機(jī)的10倍左右。這是目前制作電視或錄像節(jié)目時(shí)大量使用的機(jī)種。 l（3）廣播級(jí)錄像機(jī)。l其技術(shù)指標(biāo)是以視頻信號(hào)的頻帶寬度來衡量的，一般視頻帶寬可高達(dá)5MHz，相當(dāng)于400多線的水平分辨率（每1MHz帶寬相當(dāng)于水平分辨率約80線），基本上可以無失真的記錄和重放視頻信號(hào)。廣播級(jí)錄像機(jī)采用分量視頻信號(hào)（Component

14、Video）的記錄方式，分量視頻指的是亮度Y、色差U和V分別是3路模擬信號(hào)，它們通過3路導(dǎo)線傳送并記錄在模擬磁帶的3路磁跡上。分量視頻由于其具有很寬的頻帶，可以提供最高質(zhì)量及最精確的色彩重放。 雷運(yùn)發(fā)第5章視頻信息處理課件5.1.4 電視信號(hào)數(shù)字化 l常用的方法有兩種：l（1）先用高速模/數(shù)轉(zhuǎn)換器對(duì)彩色全電視信號(hào)進(jìn)行數(shù)字化，然后在數(shù)字域中進(jìn)行分離亮度和色度，以獲得所希望的YUV（PAL，SECAM制）分量或YIQ（NTSC制）分量，最后轉(zhuǎn)換成RGB分量數(shù)據(jù)。此種方法稱為復(fù)合數(shù)字化。l（2）從復(fù)合彩色電視圖像中分離出彩色分量的亮度和色度，得到Y(jié)UV或YIQ分量，然后用3個(gè)模/數(shù)轉(zhuǎn)換器對(duì)3個(gè)分量分

15、別進(jìn)行數(shù)字化，最后再轉(zhuǎn)換成RGB空間，此種方法稱為分量數(shù)字化分量數(shù)字化。 雷運(yùn)發(fā)第5章視頻信息處理課件1數(shù)字視頻的采樣格式數(shù)字視頻的采樣格式 l在復(fù)合電視信號(hào)中，亮度信號(hào)的帶寬是色度信號(hào)帶寬的兩倍。因此其數(shù)字化時(shí)可采用副色采樣法，即對(duì)信號(hào)的色差分量的采樣率低于對(duì)亮度分量的采樣率。用Y:U:V來表示YUV三分量的采樣比例，則數(shù)字視頻的采樣格式有如下4種：l（1）Y:U:V=4:4:4 :l指在每條掃描線上每4個(gè)連續(xù)的取樣點(diǎn)取4個(gè)亮度Y樣本、4個(gè)紅色差Cr樣本和4個(gè)藍(lán)色差Cb樣本，相當(dāng)于每個(gè)像素包含3個(gè)樣本。即對(duì)每個(gè)采樣點(diǎn)，亮度Y、色差U和V各取一個(gè)樣本，也就是每個(gè)像素用3個(gè)樣本表示。 雷運(yùn)發(fā)第5

16、章視頻信息處理課件 圖圖5-5 4:4:4子采樣格式子采樣格式 Y,Cb,Cr樣本樣本Y,Cb,Cr樣本樣本僅僅Y樣本樣本 圖圖5-6 4:2:2子采樣格式子采樣格式 雷運(yùn)發(fā)第5章視頻信息處理課件l（2）Y:U:V=4:2:2。 l這種方式是在每4個(gè)連續(xù)的采樣點(diǎn)上，取4個(gè)亮度Y的樣本值，而色差U、V分別取其第一點(diǎn)和第三點(diǎn)的樣本值，共8個(gè)樣本，平均每個(gè)像素用2個(gè)樣本表示。這種方式能給信號(hào)的轉(zhuǎn)換留有一定余量，效果更好一些。這是通常所用的方式，指在每條掃描線上每4個(gè)連續(xù)的采樣點(diǎn)取4個(gè)亮度Y樣本、2個(gè)紅色差Cr樣本和2個(gè)藍(lán)色差Cb樣本，結(jié)果相當(dāng)于平均每個(gè)像素用2個(gè)樣本表示。 雷運(yùn)發(fā)第5章視頻信息處理課

17、件l（3）Y:U:V=4:1:1。這種方式是在每4個(gè)連續(xù)的采樣點(diǎn)上，取4個(gè)亮度Y的樣本值，而色差U、V分別取其第一點(diǎn)的樣本值，共6個(gè)樣本，每個(gè)像素用1.5個(gè)樣本表示。顯然這種方式的采樣比例與全電視信號(hào)中的亮度、色度的帶寬比例相同，數(shù)據(jù)量較小。 l（4）Y:U:V=4:2:0。4:2:0子采樣格式是指在水平和垂直方向上每2個(gè)連續(xù)的采樣點(diǎn)上取2個(gè)亮度Y樣本、1個(gè)紅色差Cr樣本和1個(gè)藍(lán)色差Cb樣本，平均每個(gè)像素用1.5個(gè)樣本表示。 雷運(yùn)發(fā)第5章視頻信息處理課件圖圖5-7 4:1:1子采樣格式子采樣格式 圖5-8 MPEG-1使用的4:2:0子采樣格式 雷運(yùn)發(fā)第5章視頻信息處理課件掃描方式小結(jié)l電視圖

18、像既是空間的函數(shù)，也是時(shí)間的函數(shù)，而且又是隔行掃描式，所以其采樣方式比掃描儀掃描圖像的方式要復(fù)雜得多。分量采樣時(shí)采到的是隔行樣本點(diǎn)，要把隔行樣本組合成逐行樣本，然后進(jìn)行樣本點(diǎn)的量化，YUV到RGB色彩空間的轉(zhuǎn)換等，最后才能得到數(shù)字視頻數(shù)據(jù)。 雷運(yùn)發(fā)第5章視頻信息處理課件2數(shù)字視頻標(biāo)準(zhǔn)數(shù)字視頻標(biāo)準(zhǔn) l為了在PAL、NTSC和SECAM電視制式之間確定共同的數(shù)字化參數(shù)，國際無線電咨詢委員會(huì)（CCIR）制訂了廣播級(jí)質(zhì)量的數(shù)字電視編碼標(biāo)準(zhǔn)，稱為CCIR 601標(biāo)準(zhǔn)。該標(biāo)準(zhǔn)規(guī)定了彩色電視圖像轉(zhuǎn)換成數(shù)字圖像時(shí)使用的采樣頻率，彩色空間之間的轉(zhuǎn)換關(guān)系等。l（1）采樣頻率。ITU-RBT.601標(biāo)準(zhǔn)為三種電視制

19、式規(guī)定了共同的電視圖像采樣頻率。其基本的計(jì)算方法是：l對(duì)PAL制、SECAM制，采樣頻率fs為：lfs=62525N=15625N=13.5 MHz，N=864 l其中：N為每一掃描行上的采樣數(shù)目。在PAL制、SECAM制中，625是指行數(shù)，25表示每秒幀數(shù)。 雷運(yùn)發(fā)第5章視頻信息處理課件l（2）有效顯示分辨率。l對(duì)PAL制和SECAM制的亮度信號(hào)，每一條掃描行采樣864個(gè)樣本；對(duì)NTSC制的亮度信號(hào)，每一條掃描行采樣858個(gè)樣本。為了使這些制式的采樣點(diǎn)兼容，規(guī)定每一掃描行的有效樣本數(shù)均為720個(gè)。l （3）數(shù)據(jù)量。lCCIR 601規(guī)定，每個(gè)樣本點(diǎn)都按8位數(shù)字化，即有256個(gè)等級(jí)。但實(shí)際上亮

20、度信號(hào)占220級(jí)、色度信號(hào)占225級(jí)，其他位作同步、編碼等控制用。如果按fs的采樣率和4:2:2的格式采樣，則數(shù)字視頻的數(shù)據(jù)量為：l13.5(MHz)8(bit)+26.75(MHz)8(bit)=27MB/s 雷運(yùn)發(fā)第5章視頻信息處理課件（4）CIF、QCIF和和SQCIFl為了兼容625行的電視圖像和525行的電視圖像，CCITT定義了公用中分辨率格式CIF（Common Intermediate Format），1/4公用中分辨率格式（Quarter-CIF，QCIF）和（Sub-Quarter Common Intermediate Format，SQCIF）格式。CIF格式具有如下特

21、性：ll 電視圖像的空間分辨率為家用錄像系統(tǒng)VHS的分辨率，即352288。ll 使用非隔行掃描（Non-Interlaced Scan）。ll 使用NTSC幀速率，電視圖像的最大幀速率為30 000/100129.97幅/秒。ll 使用1/2的PAL水平分辨率，即288線。l對(duì)亮度和兩個(gè)色差信號(hào)（Y、Cb和Cr）分量分別進(jìn)行編碼，它們的取值范圍同ITU-R BT.601。即黑色=16，白色=235，色差的最大值等于240，最小值等于16。 雷運(yùn)發(fā)第5章視頻信息處理課件CIF QCIFSQCIF行數(shù)/幀像素/行行數(shù)/幀像素/行行數(shù)/幀像素/行亮度（Y）288360(352)144180(176

22、)96128色度（Cb）144180(176)7290(88)4864色度（Cr）144180(176)7290(88)4864下表是CIF、QCIF和SQCIF圖像格式參數(shù)。雷運(yùn)發(fā)第5章視頻信息處理課件本講習(xí)題l一、選擇題l1，2，3，4，5l二、填空題l3。l三、問答題l1，2雷運(yùn)發(fā)第5章視頻信息處理課件5.2 MPEG視頻壓縮標(biāo)準(zhǔn) l視頻壓縮的目標(biāo)是在盡可能保證視覺效果的前提下減少視頻數(shù)據(jù)率。由于視頻是連續(xù)的靜態(tài)圖像，因此其壓縮編碼算法與靜態(tài)圖像的壓縮編碼算法有某些共同之處。但是運(yùn)動(dòng)的視頻還有其自身的特性，因此在壓縮時(shí)還應(yīng)考慮其運(yùn)動(dòng)特性才能達(dá)到高壓縮的目標(biāo)。 視頻信息經(jīng)過數(shù)字化處理后其數(shù)

23、據(jù)量是非常大的，如果不進(jìn)視頻信息經(jīng)過數(shù)字化處理后其數(shù)據(jù)量是非常大的，如果不進(jìn)行數(shù)據(jù)壓縮處理，計(jì)算機(jī)系統(tǒng)就無法對(duì)它進(jìn)行存儲(chǔ)和交換。行數(shù)據(jù)壓縮處理，計(jì)算機(jī)系統(tǒng)就無法對(duì)它進(jìn)行存儲(chǔ)和交換。雷運(yùn)發(fā)第5章視頻信息處理課件5.2.1 視頻壓縮編碼的基本概念視頻壓縮編碼的基本概念l1有損和無損壓縮有損和無損壓縮l無損壓縮指壓縮前和解壓縮后的數(shù)據(jù)完全一致。適合于由計(jì)算機(jī)生成的圖像，它們一般具有連續(xù)的色調(diào)。但是無損算法一般對(duì)數(shù)字視頻和自然圖像的壓縮效果不理想，因?yàn)槠渖{(diào)細(xì)膩，不具備大塊的連續(xù)色調(diào)。 l幾乎所有高壓縮的算法都采用有損壓縮，這樣才能達(dá)到低數(shù)據(jù)率的目標(biāo)。丟失的數(shù)據(jù)與壓縮比有關(guān)，壓縮比越小，丟失的數(shù)據(jù)越多

24、，解壓縮后的效果一般越差。 雷運(yùn)發(fā)第5章視頻信息處理課件l2幀內(nèi)和幀間壓縮幀內(nèi)和幀間壓縮l幀內(nèi)壓縮幀內(nèi)壓縮也稱為空間壓縮。當(dāng)壓縮一幀視頻時(shí)，僅考慮本幀的數(shù)據(jù)而不考慮相鄰幀之間的冗余信息，這實(shí)際上與靜態(tài)圖像壓縮類似。幀內(nèi)一般采用有損壓縮算法，由于幀內(nèi)壓縮時(shí)各個(gè)幀之間沒有相互關(guān)系，所以壓縮后的視頻數(shù)據(jù)仍可以以幀為單位進(jìn)行編輯。幀內(nèi)壓縮一般達(dá)不到很高的壓縮。l幀間壓縮幀間壓縮也稱為時(shí)間壓縮，它通過比較時(shí)間軸上不同幀之間的數(shù)據(jù)進(jìn)行壓縮。幀間壓縮一般是有損的。采用幀間壓縮基于許多視頻或動(dòng)畫的連續(xù)前后兩幀具有很大的相關(guān)性，或者說前后兩幀信息變化很小的特點(diǎn)。 雷運(yùn)發(fā)第5章視頻信息處理課件l3對(duì)稱和不對(duì)稱編碼

25、對(duì)稱和不對(duì)稱編碼 l對(duì)稱意味著壓縮和解壓縮占用相同的計(jì)算處理能力和時(shí)間。對(duì)稱算法適合實(shí)時(shí)壓縮和傳送視頻，如視頻會(huì)議應(yīng)用就以采用對(duì)稱的壓縮編碼算法為好。 l不對(duì)稱或非對(duì)稱意味著壓縮時(shí)需要花費(fèi)大量的處理能力和時(shí)間，而解壓縮時(shí)則能較好的實(shí)時(shí)回放，即以不同的速度進(jìn)行壓縮和解壓縮。一般來說，壓縮一段視頻的時(shí)間比回放（解壓縮）該視頻的時(shí)間要多得多。 雷運(yùn)發(fā)第5章視頻信息處理課件5.2.2 MPEG標(biāo)準(zhǔn)概述 l目前有多種視頻壓縮編碼方法，但其中最有代表性的是MPEG數(shù)字視頻格式和AVI數(shù)字視頻格式。 lMPEG（Moving Picture Export Group）是1988年聯(lián)合成立的一個(gè)專家組，它的工

26、作是開發(fā)滿足各種應(yīng)用的運(yùn)動(dòng)圖像及其伴音的壓縮、解壓縮和編碼描述的國際標(biāo)準(zhǔn)。一般來說，MPEG標(biāo)準(zhǔn)分為MPEG視頻、MPEG音頻和MPEG視音頻三個(gè)部分。l到2004年為止，開發(fā)和正在開發(fā)的MPEG標(biāo)準(zhǔn)有：MPEG-1、MPEG-2、MPEG-4 、MPEG-7 和MPEG-21 。lMPEG系列國際標(biāo)準(zhǔn)已經(jīng)成為影響最大的多媒體技術(shù)標(biāo)準(zhǔn)，對(duì)數(shù)字電視、視聽消費(fèi)電子產(chǎn)品、多媒體通信等信息產(chǎn)業(yè)中的重要產(chǎn)品將產(chǎn)生深遠(yuǎn)的影響。 雷運(yùn)發(fā)第5章視頻信息處理課件 l MPEG-1：運(yùn)動(dòng)圖像數(shù)字壓縮標(biāo)準(zhǔn)，1992年正式發(fā)布。 l MPEG-2：運(yùn)動(dòng)圖像數(shù)字壓縮標(biāo)準(zhǔn)。Ll MPEG-3：已于1992年7月合并到高清

27、晰度電視（High-Definition TV，HDTV）工作組。l MPEG-4：運(yùn)動(dòng)圖像數(shù)字壓縮標(biāo)準(zhǔn)及多媒體應(yīng)用標(biāo)準(zhǔn)（1999年發(fā)布）。 l MPEG-5：直至1998年9月還沒有見到定義。 l MPEG-6：直至1998年9月還沒有見到定義。 l MPEG-7：多媒體內(nèi)容描述接口標(biāo)準(zhǔn)。l MPEG-21：多媒體框架和綜合應(yīng)用方面的框架。該標(biāo)準(zhǔn)致力于在大范圍的網(wǎng)絡(luò)上實(shí)現(xiàn)透明的傳輸和對(duì)多媒體資源的充分利用。雷運(yùn)發(fā)第5章視頻信息處理課件5.2.3 MPEG-1標(biāo)準(zhǔn) lMPEG-1的標(biāo)準(zhǔn)名稱為“信息技術(shù)用于數(shù)據(jù)速率高達(dá)大約1.5 Mb/s的數(shù)字存儲(chǔ)媒體的電視圖像和伴音編碼 。它處理的是標(biāo)準(zhǔn)圖像交

28、換格式的電視，即NTSC制為352像素240行/幀30幀/秒，PAL制為352像素288行/幀25幀/秒，壓縮的輸出速率定義在1.5 Mb/s以下。 雷運(yùn)發(fā)第5章視頻信息處理課件1MPEG-1標(biāo)準(zhǔn)簡介 l 由五個(gè)部分組成：l（1）MPEG-1系統(tǒng)系統(tǒng)： 規(guī)定了運(yùn)動(dòng)圖像數(shù)據(jù)、聲音數(shù)據(jù)及其他相關(guān)數(shù)據(jù)的同步。l（2）MPEG-1視頻視頻： 規(guī)定了視頻數(shù)據(jù)的編碼和解碼。l（3）MPEG-1音頻音頻： 規(guī)定了聲音數(shù)據(jù)的編碼和解碼 。l（4）MPEG-1一致性測(cè)試：說明如何測(cè)試比特?cái)?shù)據(jù)流和解碼器是否滿足MPEG-1前3個(gè)部分中所規(guī)定的要求。l（5）MPEG-1軟件模擬：這部分內(nèi)容是一個(gè)技術(shù)報(bào)告，給出了用軟

29、件執(zhí)行MPEG-1標(biāo)準(zhǔn)前3個(gè)部分的結(jié)果。雷運(yùn)發(fā)第5章視頻信息處理課件雷運(yùn)發(fā)第5章視頻信息處理課件2運(yùn)動(dòng)圖像的壓縮依據(jù)運(yùn)動(dòng)圖像數(shù)據(jù)壓縮主要根據(jù)下面兩點(diǎn)：（1）運(yùn)動(dòng)圖像序列中有許多重復(fù)的數(shù)據(jù)，使用數(shù)學(xué)方法來表示這些重復(fù)數(shù)據(jù)就可以減少數(shù)據(jù)量；（2）人的眼睛對(duì)圖像細(xì)節(jié)和顏色的辨認(rèn)有一個(gè)極限，把超過極限的部分去掉，這也就達(dá)到了壓縮數(shù)據(jù)的目的。 利用前一個(gè)事實(shí)的壓縮技術(shù)就是無損壓縮技術(shù)，利用后一個(gè)事實(shí)的壓縮技術(shù)就是有損壓縮技術(shù)。實(shí)際的圖像壓縮是綜合使用各種有損和無損壓縮技術(shù)來實(shí)現(xiàn)的。雷運(yùn)發(fā)第5章視頻信息處理課件運(yùn)動(dòng)圖像壓縮技術(shù)的基本方法主要表現(xiàn)在：（1）在空間方向上，圖像數(shù)據(jù)壓縮采用JPEG（Joint

30、Photographic Experts Group）壓縮算法來去掉冗余信息。（2）在時(shí)間方向上，圖像數(shù)據(jù)壓縮采用移動(dòng)補(bǔ)償（Motion Compensation）算法來去掉冗余信息。雷運(yùn)發(fā)第5章視頻信息處理課件3運(yùn)動(dòng)圖像分類及排序?yàn)楸ＷC圖像質(zhì)量基本不降低而又能夠獲得高的壓縮比，MPEG標(biāo)準(zhǔn)定義了三種圖像：幀內(nèi)圖（Intrapictures I），預(yù)測(cè)圖（Predicted Pictures P）和插補(bǔ)圖，即雙向預(yù)測(cè)圖（Bidirectional Prediction B）。雷運(yùn)發(fā)第5章視頻信息處理課件圖像壓縮首先需要處理I幀圖像，然后是對(duì)應(yīng)的前向預(yù)測(cè)圖像P，在兩者的基礎(chǔ)上才處理B圖像。MPE

31、G編碼器算法允許選擇I圖像的頻率和位置。I圖像的頻率是指每秒鐘出現(xiàn)I圖像的次數(shù)，位置是指時(shí)間方向上幀所在的位置。一個(gè)典型的I、P、B圖像安排如圖所示。編碼參數(shù)為：幀內(nèi)圖像I的距離為N=15，預(yù)測(cè)圖像P的距離為M=3。雷運(yùn)發(fā)第5章視頻信息處理課件4幀內(nèi)圖像I的壓縮編碼基本的過程如下：1 將圖像進(jìn)行顏色空間變換。如將RGB空間轉(zhuǎn)換為YCrCb空間表示的圖像。2 將圖像劃分成宏塊，每個(gè)宏塊包含1616個(gè)像素點(diǎn)，每個(gè)宏塊根據(jù)圖像子采樣進(jìn)一步劃分成88的圖塊。如采用4:1:1的圖像子采樣，則一個(gè)宏塊包括4個(gè)Y塊，1個(gè)Cr塊和1個(gè)Cb塊。3 對(duì)每個(gè)圖塊進(jìn)行離散余弦變換（DCT）。DCT變換后經(jīng)過量化的交流

32、分量系數(shù)按照Z字形排序，然后再使用無損壓縮技術(shù)進(jìn)行編碼。DCT變換后經(jīng)過量化的直流分量系數(shù)用差分脈沖編碼（DPCM），交流分量系數(shù)用行程長度編碼（RLE），形成中間編碼格式。4 最后用哈夫曼（Huffman）編碼或者用算術(shù)編碼。雷運(yùn)發(fā)第5章視頻信息處理課件雷運(yùn)發(fā)第5章視頻信息處理課件5對(duì)P和B圖像的壓縮編碼預(yù)測(cè)圖像的編碼也是以宏塊為基本編碼單元。預(yù)測(cè)圖像P編碼需要兩種類型的參數(shù)： 如圖，假設(shè)編碼圖像宏塊MPI是參考圖像宏塊MRJ的最佳匹配塊，它們的差值就是這兩個(gè)宏塊中相應(yīng)像素值之差。對(duì)所求得的差值進(jìn)行彩色空間轉(zhuǎn)換，并作4:1:1的子采樣得到Y(jié)、Cr和Cb分量值，然后仿照J(rèn)PEG壓縮算法對(duì)差值進(jìn)

33、行編碼，計(jì)算出的移動(dòng)矢量也要進(jìn)行哈夫曼編碼。當(dāng)前要編碼的圖像宏塊與參考圖像的宏塊之間的差值宏塊間的移動(dòng)矢量。雷運(yùn)發(fā)第5章視頻信息處理課件雙向預(yù)測(cè)圖像B的壓縮編碼框圖如下圖。具體計(jì)算方法與預(yù)測(cè)圖像P的算法類似。雷運(yùn)發(fā)第5章視頻信息處理課件6MPEG解碼過程由于運(yùn)動(dòng)圖像的視頻和音頻需要同步，所以MPEG壓縮算法應(yīng)該對(duì)兩者綜合考慮，最后產(chǎn)生一個(gè)電視質(zhì)量的視頻和音頻形式的位速率約為1.5Mb/s的MPEG單一位流。圖中MUX-1是多路復(fù)合/分離器。單一數(shù)據(jù)流經(jīng)過多路分離器，分離出移動(dòng)矢量、宏塊類型、量化步長和數(shù)據(jù)流。視音頻數(shù)據(jù)流經(jīng)過逆量化、逆DCT變換，結(jié)合宏塊類型和運(yùn)動(dòng)向量產(chǎn)生視音頻數(shù)據(jù)。雷運(yùn)發(fā)第5

34、章視頻信息處理課件MPEG-1的應(yīng)用領(lǐng)域包括：光盤、數(shù)字音頻磁帶（DAT）、磁帶設(shè)備、溫徹斯特硬盤以及通信網(wǎng)絡(luò)（如ISDN和局域網(wǎng)等）。其典型的應(yīng)用是VCD，99%的VCD都是用MPEG-1格式壓縮的，使用MPEG-1的壓縮算法，可以把一部120分鐘長的電影（未壓縮視頻文件）壓縮到1.2GB左右大小。為了支持多種應(yīng)用，可由用戶來規(guī)定多種輸入?yún)?shù)，包括靈活的圖像尺寸和幀頻。MPEG-1標(biāo)準(zhǔn)提供了一些錄像機(jī)的功能，包括正放、圖像凍結(jié)、快進(jìn)、快倒和慢放，此外，還提供了隨機(jī)存取的功能。MPEG-1的應(yīng)用領(lǐng)域雷運(yùn)發(fā)第5章視頻信息處理課件524 MPEG-2標(biāo)準(zhǔn)lMPEG-2標(biāo)準(zhǔn)MPEG工作組制定的第二個(gè)

35、國際標(biāo)準(zhǔn)，標(biāo)準(zhǔn)號(hào)是ISO/IEC 13818。它是一個(gè)直接與數(shù)字電視廣播有關(guān)的高質(zhì)量圖像和聲音編碼標(biāo)準(zhǔn)。和MPEG-1相比增加了隔行掃描電視的編碼，提供了位速率的可變性能（scalability）功能。MPEG-2要達(dá)到的最基本目標(biāo)是：位速率為4Mb/s9Mb/s，最高達(dá)15Mb/s。MPEG-2包含9個(gè)部分：（1）MPEG-2系統(tǒng)（1994年）規(guī)定電視圖像數(shù)據(jù)、聲音數(shù)據(jù)及其他相關(guān)數(shù)據(jù)的同步。（2）MPEG-2視頻（1994年）規(guī)定了視頻數(shù)據(jù)的編碼和解碼算法。（3）MPEG-2音頻規(guī)定了聲音數(shù)據(jù)的編碼和解碼，是MPEG-1 Audio的擴(kuò)充，支持多個(gè)聲道。雷運(yùn)發(fā)第5章視頻信息處理課件（4）MP

36、EG-2一致性測(cè)試。（5）MPEG-2參考軟件。（6）MPEG-2數(shù)字存儲(chǔ)媒體命令和控制擴(kuò)展協(xié)議。（7）MPEG-2高級(jí)音頻編碼是多聲道聲音編碼算法標(biāo)準(zhǔn)。（8）MPEG-2系統(tǒng)解碼器實(shí)時(shí)接口擴(kuò)展標(biāo)準(zhǔn)。 這是與傳輸數(shù)據(jù)流的實(shí)時(shí)接口（Real-Time Interface，RTI）標(biāo)準(zhǔn)，它可以用來適應(yīng)來自網(wǎng)絡(luò)的傳輸數(shù)據(jù)流，如圖。（9）MPEG-2 DSM-CC一致性擴(kuò)展測(cè)試。雷運(yùn)發(fā)第5章視頻信息處理課件與MPEG-1標(biāo)準(zhǔn)相比，MPEG-2的不同特性主要表現(xiàn)在：（1）MPEG-2有“按幀編碼”和“按場(chǎng)編碼”兩種模式。在MPEG-1中是沒有電視幀的概念，只支持逐行掃描，不支持隔行掃描。在MPEG-2中

37、，針對(duì)隔行掃描的常規(guī)電視圖像專門設(shè)置了“按幀編碼”模式，相應(yīng)的運(yùn)動(dòng)補(bǔ)償算法也有擴(kuò)充，分為“按幀運(yùn)動(dòng)補(bǔ)償”和“按場(chǎng)運(yùn)動(dòng)補(bǔ)償”，其編碼效率顯著提高。（2）MPEG-2的類與等級(jí)。MPEG-2提出了配置與等級(jí)的概念。配置是按視頻編碼技術(shù)的簡單還是復(fù)雜而確定的；對(duì)每個(gè)配置，根據(jù)編碼參數(shù)的不同，即圖像格式的簡單還是復(fù)雜，進(jìn)一步劃分為不同的等級(jí)。MPEG-2標(biāo)準(zhǔn)中規(guī)定了5種配置4個(gè)等級(jí)。5個(gè)類依次為簡單類、主類（Main Profile）、信噪比可伸縮類（SNR Profile）、空間分辨率可伸縮類（Simple Profile）、高級(jí)類（High Profile）。雷運(yùn)發(fā)第5章視頻信息處理課件4個(gè)等級(jí)由

38、低到高為低等級(jí)（Low Level）、主等級(jí)（Main Level）、1440等級(jí)（High 1440Level）和高等級(jí)（High Level）。配置和等級(jí)之間可能的組合如表。配置等級(jí)簡單配置主要配置信噪比可變配置空間可變配置高級(jí)配置高等級(jí)#1440等級(jí)#主等級(jí)#低等級(jí)# MPEG-2實(shí)際應(yīng)用點(diǎn)雷運(yùn)發(fā)第5章視頻信息處理課件（3）MPEG-2增加了分層編碼。MPEG-2可伸縮性體現(xiàn)在：空間分層編碼：提供空間分辨率不同的圖像。時(shí)間分層編碼：提供空間分辨率相同，但幀速率不同的視頻信號(hào)。信噪比分層編碼：提供具有相同空間分辨率，但編碼質(zhì)量不同的視頻比特流。數(shù)據(jù)分割編碼：將編碼比特流分成兩個(gè)優(yōu)先級(jí)不同的

39、部分。（4）MPEG-2擴(kuò)充了系統(tǒng)層語法。MPEG-2對(duì)系統(tǒng)層語法有了較大的擴(kuò)充，包含了兩類數(shù)據(jù)碼流：傳輸碼流（Transport Stream，TS）和節(jié)目碼流（Program Stream，PS）。雷運(yùn)發(fā)第5章視頻信息處理課件MPEG-2的應(yīng)用領(lǐng)域很廣，它不僅支持面向存儲(chǔ)媒介的應(yīng)用，而且還支持各種通信環(huán)境下數(shù)字視頻信號(hào)的編碼和傳輸。如數(shù)字電視、TV機(jī)頂盒和DVD（數(shù)字視頻光盤），此外還可以應(yīng)用于信息存儲(chǔ)、Internet、衛(wèi)星通信、視頻會(huì)議和多媒體郵件等，其典型的應(yīng)用是DVD和HDTV（高清晰度電視）。為了適應(yīng)不同的應(yīng)用環(huán)境，MPEG-2中有很多可以選擇的參數(shù)和選項(xiàng)，改變這些參數(shù)和選項(xiàng)可以

40、得到不同的圖像質(zhì)量，滿足不同的需求。雷運(yùn)發(fā)第5章視頻信息處理課件5.2.5 MPEG-4、MPEG-7和MPEG-21標(biāo)準(zhǔn) 1MPEG-4標(biāo)準(zhǔn)MPEG-4是針對(duì)低速率（64kb/s）的視頻壓縮編碼標(biāo)準(zhǔn)，同時(shí)還注重基于視頻和音頻對(duì)象的交互性。主要內(nèi)容包括：系統(tǒng)、視頻、音頻、一致性測(cè)試、軟件仿真和多媒體綜合框架等。系統(tǒng)模塊的一般框架是：對(duì)自然或合成的視頻和音頻對(duì)象進(jìn)行場(chǎng)景描述，對(duì)視頻和音頻數(shù)據(jù)流進(jìn)行管理，對(duì)靈活性的支持以及對(duì)系統(tǒng)不同部分的配置。視頻模塊提供了對(duì)多種視頻格式和碼流的支持，支持基于內(nèi)容的視頻功能，即能夠按視頻內(nèi)容分別編解碼和重建。 音頻模塊不僅支持自然的聲音，而且支持基于描述語言的合成

41、聲音。同時(shí)還支持音頻的對(duì)象特征，即一個(gè)場(chǎng)景中，有人、聲和背景音樂，它們可以是獨(dú)立編碼的音頻對(duì)象。多媒體綜合框架（DMIF）主要解決交互網(wǎng)絡(luò)、廣播環(huán)境以及磁盤中多媒體應(yīng)用的操作問題，通過傳輸多路合成比特信息，建立客戶端和服務(wù)器端的握手和傳輸。雷運(yùn)發(fā)第5章視頻信息處理課件MPEG-4支持基于視覺內(nèi)容的交互功能。而實(shí)現(xiàn)此功能的關(guān)鍵在于基于視頻對(duì)象的編碼，為此引入了視頻對(duì)象平面（Video Object Plane，VOP）概念，即輸入視頻序列的每一幀被分割成許多任意形狀的圖像區(qū)域（視頻對(duì)象平面），每個(gè)區(qū)域可能包括一個(gè)感興趣的具體圖像或視頻內(nèi)容。在一個(gè)場(chǎng)景中屬于同一物理對(duì)象的VOP序列稱為一個(gè)視頻對(duì)象

42、（Video Object，VO）。屬于同一VO的VOP形狀、運(yùn)動(dòng)和紋理信息，均在一個(gè)分開的視頻對(duì)象層（Video Object Layer，VOL）內(nèi)編碼和傳輸。另外，標(biāo)志每一個(gè)VOL的相關(guān)信息以及在接收端各個(gè)VOL的任意組合和重構(gòu)完整的原始圖像等信息均被包括在碼流之中，因此可以實(shí)現(xiàn)對(duì)每個(gè)VOP單獨(dú)進(jìn)行解碼，并對(duì)視頻序列進(jìn)行靈活的操作。雷運(yùn)發(fā)第5章視頻信息處理課件MPEG-4的應(yīng)用領(lǐng)域包括：數(shù)字廣播電視、實(shí)時(shí)多媒體監(jiān)控、低比特率下的移動(dòng)多媒體通信、基于內(nèi)容的信息存儲(chǔ)和檢索多媒體系統(tǒng)、網(wǎng)絡(luò)視頻流與可視游戲、基于面部表情模擬的虛擬會(huì)議、DVD上的交互多媒體應(yīng)用、演播室和電視的節(jié)目制作等。雷運(yùn)發(fā)第

43、5章視頻信息處理課件2MPEG-7標(biāo)準(zhǔn)MPEG-7也稱為多媒體內(nèi)容描述接口（Multimedia Content Description Interface），目的是制定一套描述符標(biāo)準(zhǔn)，用來描述各種類型的多媒體信息和它們之間的關(guān)系，以便更快、更有效地檢索信息。這些媒體包括靜態(tài)圖像、圖形、3D模型、聲音、話音、電視以及在多媒體演示中它們之間的關(guān)系。在某些情況下，數(shù)據(jù)類型還可以包括面部特性和個(gè)人特性的表達(dá)。雷運(yùn)發(fā)第5章視頻信息處理課件 MPEG-7的處理鏈包括三個(gè)部分：特征抽取、標(biāo)準(zhǔn)描述和檢索工具。 MPEG-7的應(yīng)用領(lǐng)域包括：數(shù)字圖書館（Digital Library），如圖像目錄、音樂詞典等；

44、多媒體目錄服務(wù)（Multimedia Directory Services）；廣播媒體的選擇等。MPEG-7潛在應(yīng)用領(lǐng)域還包括：教育、娛樂、新聞、旅游、醫(yī)療、購物等。雷運(yùn)發(fā)第5章視頻信息處理課件3MPEG-21標(biāo)準(zhǔn)（1）MPEG-21的目標(biāo)。MPEG-21總體上來講是一個(gè)支持通過異構(gòu)網(wǎng)絡(luò)和設(shè)備使用戶透明而廣泛地使用多媒體資源的標(biāo)準(zhǔn)，其目標(biāo)是建立一個(gè)交互的多媒體框架。支持以下功能：通過網(wǎng)絡(luò)和/或設(shè)備存取、使用并交互操作多媒體對(duì)象。實(shí)現(xiàn)多種業(yè)務(wù)模型，包括在價(jià)值鏈中對(duì)版權(quán)和支付交易的自動(dòng)管理。對(duì)內(nèi)容使用者隱私的尊重。MPEG-21技術(shù)報(bào)告向人們描繪了一幅未來的多媒體環(huán)境場(chǎng)景，這個(gè)環(huán)境能夠支持各種不同

45、的應(yīng)用領(lǐng)域，不同用戶可以使用和傳送所有類型的數(shù)字內(nèi)容。雷運(yùn)發(fā)第5章視頻信息處理課件（2）MPEG-21的主要內(nèi)容。MPEG-21多媒體框架是一個(gè)結(jié)構(gòu)化的框架，從結(jié)構(gòu)上可分成7大要素：1）數(shù)字項(xiàng)聲明，即一種對(duì)數(shù)字項(xiàng)進(jìn)行聲明的統(tǒng)一而靈活的提取和可交互方案。2）內(nèi)容展現(xiàn)手法，它是不同媒體的數(shù)據(jù)展現(xiàn)方式，如音頻、視頻的播放。3）數(shù)字項(xiàng)的標(biāo)記和描述，這是對(duì)不同自然屬性、類型和粒度的數(shù)字項(xiàng)進(jìn)行統(tǒng)一標(biāo)記和描述的結(jié)構(gòu)。4）內(nèi)容的管理和使用，它為以下過程提供接口和協(xié)議：經(jīng)內(nèi)容傳輸和消費(fèi)價(jià)值鏈創(chuàng)建、制作、存儲(chǔ)、傳送和使用的內(nèi)容。5）知識(shí)產(chǎn)權(quán)的管理和保護(hù)，是內(nèi)容在網(wǎng)絡(luò)和設(shè)備上持久穩(wěn)固的、可信的被管理和保護(hù)的方法。雷

46、運(yùn)發(fā)第5章視頻信息處理課件6）終端和網(wǎng)絡(luò)，它們提供可交互和透明的通過網(wǎng)絡(luò)和終端設(shè)備存取內(nèi)容的能力。7）事件報(bào)告，它可以使用戶準(zhǔn)確了解在框架中發(fā)生的事件的可表征性能的語法和接口。同時(shí)，MPEG-21多媒體框架標(biāo)準(zhǔn)提出了許多用戶需求，可以歸結(jié)為兩大類：一是MPEG-21應(yīng)用發(fā)展所需的新標(biāo)準(zhǔn)；二是為現(xiàn)有其他或者將來的標(biāo)準(zhǔn)和服務(wù)提供標(biāo)準(zhǔn)接口，如：將為XML、MPEG-2、TCP/IP等標(biāo)準(zhǔn)提供應(yīng)用于MPEG-21框架中的標(biāo)準(zhǔn)接口，為未來標(biāo)準(zhǔn)和服務(wù)的發(fā)展提供應(yīng)用于MPEG-21框架中的擴(kuò)展接口。最終，MPEG將在制定標(biāo)準(zhǔn)的同時(shí)實(shí)現(xiàn)統(tǒng)一的多媒體框架。雷運(yùn)發(fā)第5章視頻信息處理課件（3）應(yīng)用范疇。MPEG-2

47、1的目標(biāo)是要為多媒體信息的用戶提供透明而有效的電子交易和使用環(huán)境。雷運(yùn)發(fā)第5章視頻信息處理課件5.3 流媒體技術(shù)5.3.1 流媒體與流放 流媒體是通過網(wǎng)絡(luò)傳輸?shù)囊纛l、視頻或多媒體文件。流媒體在播放前不需要下載整個(gè)文件，流媒體的數(shù)據(jù)流隨時(shí)傳送隨時(shí)播放，只是在開始時(shí)有一些延遲。當(dāng)流式媒體文件傳輸?shù)娇蛻舴降挠?jì)算機(jī)時(shí)，在播放之前該文件的部分內(nèi)容已存入內(nèi)存。流媒體簡單來說就是應(yīng)用流媒體技術(shù)在網(wǎng)絡(luò)上傳輸?shù)亩嗝襟w文件。雷運(yùn)發(fā)第5章視頻信息處理課件 流放技術(shù)就是把連續(xù)的視頻和聲音等多媒體信息經(jīng)過壓縮處理后放置在特定的服務(wù)器上，讓用戶一邊下載一邊觀看、收聽，而不需要等整個(gè)壓縮文件下載到自己機(jī)器后才可以觀看的網(wǎng)絡(luò)

48、傳輸技術(shù)。該技術(shù)首先在用戶端的計(jì)算機(jī)上創(chuàng)造一個(gè)緩沖區(qū)，播放前預(yù)先下載一段資料作為緩沖，當(dāng)網(wǎng)路實(shí)際連線速度小于播放所耗用資料的速度時(shí)，播放程序就會(huì)取用這一小段緩沖區(qū)內(nèi)的資料，避免播放的中斷，也使得播放品質(zhì)得以維持。 目前在這個(gè)領(lǐng)域上，競(jìng)爭(zhēng)的公司主要有三個(gè)：Microsoft、Real Networks、Apple，而相應(yīng)的產(chǎn)品是：Windows Media 、Real Media、Quicktime。雷運(yùn)發(fā)第5章視頻信息處理課件網(wǎng)絡(luò)環(huán)境中，利用流放技術(shù)傳播多媒體文件有如下優(yōu)點(diǎn)：（1）實(shí)時(shí)傳輸和實(shí)時(shí)播放。流放多媒體使得用戶可以立即播放音頻和視頻信號(hào)，無須等待文件傳輸結(jié)束，這對(duì)獲取存儲(chǔ)在服務(wù)器上的流

49、化音頻、視頻文件和現(xiàn)場(chǎng)回訪音頻和視頻流都具有十分重要的意義。（2）節(jié)省存儲(chǔ)空間。采用流技術(shù)，可以節(jié)省客戶端的大量存儲(chǔ)空間，預(yù)先構(gòu)造的流文件或用實(shí)時(shí)編碼器對(duì)現(xiàn)場(chǎng)信息進(jìn)行編碼。（3）信息數(shù)據(jù)量較小。現(xiàn)場(chǎng)流都比原始信息的數(shù)據(jù)量要小，并且用戶不必將所有下載的數(shù)據(jù)都同時(shí)存儲(chǔ)在本地存儲(chǔ)器上，可以邊下載邊回放，從而節(jié)省了大量的磁盤空間。雷運(yùn)發(fā)第5章視頻信息處理課件5.3.2 Windows Media Service簡介簡介 Windows Media Service是一個(gè)能適應(yīng)多種網(wǎng)絡(luò)帶寬條件的流式多媒體信息的發(fā)布平臺(tái)，包括了流式媒體的制作、發(fā)布、播放和管理的一整套解決方案。另外，還提供了開發(fā)工具包（SD

50、K）供二次開發(fā)使用。 Windows Media Service的核心是ASF（Advanced Stream Format）。ASF是一種數(shù)據(jù)格式，音頻、視頻、圖像以及控制命令腳本等多媒體信息通過這種格式，以網(wǎng)絡(luò)數(shù)據(jù)包的形式傳輸，實(shí)現(xiàn)流式多媒體內(nèi)容發(fā)布。其中，在網(wǎng)絡(luò)上傳輸?shù)膬?nèi)容就稱為ASF Stream。ASF支持任意的壓縮/解壓縮編碼方式，并可以使用任何一種底層網(wǎng)絡(luò)傳輸協(xié)議，具有很大的靈活性。 雷運(yùn)發(fā)第5章視頻信息處理課件Windows Media Service系統(tǒng)由三部分構(gòu)成：媒體服務(wù)器（Windows Media Server）媒體文件制作工具（包括媒體編碼器（Windows Med

51、ia Encoder）、ASF文件制作工具（Media Authoring）和ASF文件管理工具（Media Index）客戶端媒體播放器（Windows Media Player）。分別對(duì)應(yīng)制作、發(fā)布和播放三個(gè)基本過程。1媒體服務(wù)器 媒體服務(wù)器（Windows Media Server）對(duì)外提供ASF流式媒體的網(wǎng)絡(luò)發(fā)布服務(wù)，包括兩大基本服務(wù)模塊：單播（Unicast Service）和多播（Station Service）。 Windows Media系統(tǒng)還提供了一套主頁形式的管理工具，可以方便的對(duì)服務(wù)器進(jìn)行遠(yuǎn)程管理，完成服務(wù)器配置，監(jiān)控運(yùn)行時(shí)的各種事件、流量、控制客戶訪問的日志記錄等。 雷

52、運(yùn)發(fā)第5章視頻信息處理課件2ASF文件制作工具文件制作工具媒體編碼器（Windows Media Encoder）的主要任務(wù)是對(duì)輸入的音頻、視頻信號(hào)進(jìn)行編碼產(chǎn)生ASF文件或ASF數(shù)據(jù)流。編碼后形成的音、視頻流既可以保存到本地計(jì)算機(jī)上也可以用流媒體廣播協(xié)議MSBD（Media Streaming Broadcast Distribution）發(fā)送給媒體服務(wù)器。流媒體文件制作工具用于將錄制好的音視頻信息、圖片、Powerpoint制作的幻燈片（電子教案）、各種word文檔、script等各種信息合成到一起，形成單一的ASF流媒體文件； Media ASF Indexer 對(duì)ASF 添加標(biāo)記（mar

53、ker）和描述（script）。雷運(yùn)發(fā)第5章視頻信息處理課件3媒體播放器媒體播放器媒體播放器（Windows Media Player）用來從媒體服務(wù)器接收ASF流并解壓播放。目前使用比較廣泛的媒體播放器是Windows Media Player和Real Player。Windows Media PlayerReal Player雷運(yùn)發(fā)第5章視頻信息處理課件媒體播放器用來播放聲音或者視頻文件，一般具有下述功能：（1）解壓縮：幾乎所有的聲音和視頻都是經(jīng)過壓縮之后存放在存儲(chǔ)器中的，因此無論播放來自存儲(chǔ)器或者來自網(wǎng)絡(luò)上的聲音和視頻都需要解壓縮。（2）去抖動(dòng)：在媒體播放器中使用緩存技術(shù)限制抖動(dòng)，把聲

54、音或者視頻圖像數(shù)據(jù)先存放在緩沖存儲(chǔ)器中，經(jīng)過一段延時(shí)之后再播放。（3）錯(cuò)誤處理：由于在因特網(wǎng)上往往會(huì)出現(xiàn)讓人不能接收的交通擁擠，信息包流中的部分信息包在傳輸過程中就可能會(huì)丟失。如果連續(xù)丟失的信息包太多，用戶接收的聲音和視頻圖像質(zhì)量就不能容忍。采取的辦法往往是重傳。（4）用戶控制接口：用戶直接控制媒體播放器播放媒體的實(shí)際接口。媒體播放器為用戶提供的控制功能通常包括聲音的音量大小、暫停/重新開始和跳轉(zhuǎn)等。雷運(yùn)發(fā)第5章視頻信息處理課件5.3.3 流媒體服務(wù)的應(yīng)用方式流媒體服務(wù)的應(yīng)用方式流媒體服務(wù)（Windows Media Service）系統(tǒng)能用于多種網(wǎng)絡(luò)環(huán)境，基本的應(yīng)用方式有如下幾種：1點(diǎn)播服務(wù)

55、（On-Demand Unicast）“點(diǎn)播”是用戶從媒體服務(wù)器接收流信息的一種方式。點(diǎn)播連接是客戶端與服務(wù)器之間的主動(dòng)連接。在點(diǎn)播連接中，用戶通過選擇內(nèi)容項(xiàng)目來初始化客戶端連接。內(nèi)容以 ASF 流從服務(wù)器傳到客戶端。點(diǎn)播服務(wù)方式下，用戶相互之間互不干擾，可以對(duì)點(diǎn)播內(nèi)容的播放進(jìn)行控制，最為靈活，但是占用服務(wù)器、網(wǎng)絡(luò)資源多。 雷運(yùn)發(fā)第5章視頻信息處理課件2單點(diǎn)或多點(diǎn)廣播服務(wù)單點(diǎn)或多點(diǎn)廣播服務(wù)（Broadcast Unicast/Multicast）廣播指的是用戶被動(dòng)接收流。在廣播過程中，客戶端接收流，但不能控制流。共有兩類廣播：單播和多播，兩種方式都是被動(dòng)的。廣播服務(wù)下，用戶只觀看播放的內(nèi)容，不

56、能進(jìn)行控制?？梢允褂肁SF文件作為媒體內(nèi)容的來源，但實(shí)時(shí)的多媒體內(nèi)容最適合使用廣播服務(wù)方式。如圖為單點(diǎn)或多點(diǎn)廣播服務(wù)方式。雷運(yùn)發(fā)第5章視頻信息處理課件Windows Media服務(wù)器管理員必須創(chuàng)建三個(gè)項(xiàng)目以支持多播：廣播站、節(jié)目和流?！皬V播站”充當(dāng)客戶連接流的引用點(diǎn)，“節(jié)目”組織將要通過廣播站廣播的內(nèi)容，“流”是實(shí)際內(nèi)容。所有這三個(gè)項(xiàng)目都建立后，Windows Media管理器會(huì)創(chuàng)建一個(gè).asx 文件，鏈接客戶到正確的廣播站的IP地址；此文件稱為一個(gè)“通知”。Web網(wǎng)頁鏈接到該通知文件，并將其放置到網(wǎng)絡(luò)上的公共共享點(diǎn)，或通過電子郵件將其發(fā)送給客戶。雷運(yùn)發(fā)第5章視頻信息處理課件3服務(wù)器擴(kuò)展（服務(wù)

57、器擴(kuò)展（Distribution）通過服務(wù)器擴(kuò)展方式可以把一個(gè)Media Server輸出的ASF流輸出到另外一個(gè)Media Server，再向用戶提供服務(wù)。一種應(yīng)用是通過服務(wù)器擴(kuò)展進(jìn)行發(fā)布服務(wù)器的擴(kuò)展，為更多的用戶服務(wù)。另一種應(yīng)用是通過服務(wù)器擴(kuò)展使Media Server跨越非廣播的網(wǎng)絡(luò)，提供廣播服務(wù)。另外，Windows Media Service還支持HTTP Stream方式。使用通用的HTTP協(xié)議可以更好的工作在Internet上，如跨越防火墻進(jìn)行媒體內(nèi)容的傳輸。下圖為服務(wù)器擴(kuò)展工作方式。雷運(yùn)發(fā)第5章視頻信息處理課件5.3.4 理解理解Windows Media服務(wù)協(xié)議服務(wù)協(xié)議Win

58、dows Media服務(wù)系統(tǒng)各組件之間是通過協(xié)議進(jìn)行通信的，主要協(xié)議包含：1MMS協(xié)議概述MMS協(xié)議用于訪問媒體發(fā)布點(diǎn)上的單播內(nèi)容，MMS是連接媒體單播服務(wù)的默認(rèn)方法。若用戶在媒體播放器中鍵入一個(gè)URL以連接內(nèi)容，而不是通過超級(jí)鏈接訪問內(nèi)容，則必須使用MMS協(xié)議引用該流。當(dāng)使用MMS協(xié)議連接到發(fā)布點(diǎn)時(shí)，使用協(xié)議翻轉(zhuǎn)以獲得最佳連接?！皡f(xié)議翻轉(zhuǎn)”試圖通過MMSU連接客戶端，MMSU是MMS協(xié)議結(jié)合UDP數(shù)據(jù)傳送。如果MMSU連接不成功，則服務(wù)器試圖使用MMST，MMST是MMS協(xié)議結(jié)合TCP數(shù)據(jù)傳送。如果連接到編入索引的.asf文件，想要快進(jìn)、后退、暫停、開始和停止流，則必須使用MMS，不能用UR

59、L路徑快進(jìn)或后退。雷運(yùn)發(fā)第5章視頻信息處理課件 若從獨(dú)立的媒體播放器連接到發(fā)布點(diǎn)，則必須指定單播內(nèi)容的URL。若內(nèi)容在主發(fā)布點(diǎn)點(diǎn)播發(fā)布，則URL由服務(wù)器名和.asf文件名組成。例如：mms:/windows_media_server/sample.asf 其中：windows_media_server是媒體服務(wù)器名，sample.asf是想要使之轉(zhuǎn)化為流的.asf文件名。 若有實(shí)時(shí)內(nèi)容要通過廣播單播發(fā)布，則該URL由服務(wù)器名和發(fā)布點(diǎn)別名組成。例如：mms:/windows_media_server/LiveEvents雷運(yùn)發(fā)第5章視頻信息處理課件2MSBD協(xié)議概述協(xié)議概述MSBD協(xié)議是用于在媒

60、體編碼器和媒體服務(wù)器組件之間分發(fā)流，并在服務(wù)器間傳遞流。MSBD是面向連接的協(xié)議，對(duì)流媒體最佳。MSBD對(duì)于測(cè)試客戶端、服務(wù)器連接和ASF內(nèi)容品質(zhì)很有用處，但不能作為接收ASF內(nèi)容的主要方法。媒體編碼器最多可支持15個(gè)MSBD客戶端；而一個(gè)媒體服務(wù)器最多可支持5個(gè)MSBD客戶端。雷運(yùn)發(fā)第5章視頻信息處理課件3HTTP概述可以配置媒體服務(wù)器使用HTTP協(xié)議將內(nèi)容轉(zhuǎn)化為流。使用HTTP流可以幫助克服防火墻障礙，因?yàn)榇蠖鄶?shù)防火墻允許HTTP通過。HTTP流可用來由媒體編碼器通過防火墻到媒體服務(wù)器，并可用以連接被防火墻隔離的媒體服務(wù)器。若以同一計(jì)算機(jī)既作為Web服務(wù)器又運(yùn)行媒體服務(wù)，例如Microso

61、ft Internet信息服務(wù)（IIS），請(qǐng)確保在端口號(hào)80無沖突。如圖所示描述了如何使用協(xié)議在Windows Media服務(wù)系統(tǒng)各組件之間進(jìn)行通信。雷運(yùn)發(fā)第5章視頻信息處理課件雷運(yùn)發(fā)第5章視頻信息處理課件5.3.5 使用媒體播放器播放流媒體文件使用媒體播放器播放流媒體文件1從獨(dú)立媒體播放器訪問內(nèi)容使用媒體播放器訪問內(nèi)容：單擊“文件”菜單中的“打開”，然后在“打開”對(duì)話框中鍵入位置。（1）播放存儲(chǔ)的.asf文件。在“打開”對(duì)話框中鍵入：mms:/server/如果媒體服務(wù)器配置為使用HTTP傳送流媒體內(nèi)容，則應(yīng)鍵入：服務(wù)器從ASF內(nèi)容文件夾（例如，systemdriveASFRoot）發(fā)送流媒

62、體文件。當(dāng)媒體服務(wù)器啟用了HTTP流時(shí)，服務(wù)器仍然使用ASF內(nèi)容文件夾作為它的主目錄；服務(wù)器不使用HTTP虛擬根目錄（也就是systemdrive）作為主目錄。雷運(yùn)發(fā)第5章視頻信息處理課件（2）通過ASX文件播放內(nèi)容。使用ASX文件從媒體服務(wù)器、廣播單播發(fā)布點(diǎn)或多播廣播站訪問.asf文件。ASX文件是指到ASF內(nèi)容的指針。若要通過獨(dú)立的播放器使用ASX文件，必須知道到ASX文件的路徑。可在“打開”對(duì)話框中鍵入文件的路徑。例如，若要訪問一個(gè)共享文件夾，請(qǐng)鍵入：servershare或者，想要訪問一個(gè)Web站點(diǎn)，請(qǐng)鍵入：（3）從HTML頁播放內(nèi)容。若要使用媒體播放器訪問Web頁，請(qǐng)?jiān)凇按蜷_”對(duì)話框

63、中鍵入：媒體播放器將URL傳遞到本地瀏覽器以打開并找到Web頁。一旦加載HTML頁，嵌入的媒體播放器出現(xiàn)并開始顯示與它相關(guān)的ASF內(nèi)容。雷運(yùn)發(fā)第5章視頻信息處理課件2從鏈接啟動(dòng)媒體播放器有兩種方法可以從一個(gè)Web頁或Web應(yīng)用程序的鏈接啟動(dòng)Microsoft媒體播放器并接收來自媒體服務(wù)器的內(nèi)容：（1）可以啟用HTTP流并直接使用到ASF內(nèi)容的HTTP鏈接。必須使用HTTP流以通過防火墻發(fā)送內(nèi)容。（2）可以使用HTTP鏈接到.asx文件，它包含了媒體播放器用以訪問ASF內(nèi)容的指導(dǎo)。asx文件必須駐留在HTTP服務(wù)器上，如Internet信息服務(wù)器（Internet Information Ser

64、ver，IIS），并在一個(gè)用戶可以訪問的目錄中。若要使用.asx源文件從Web頁或Web應(yīng)用程序的鏈接中啟動(dòng)媒體播放器，請(qǐng)使用與下面示例類似的HTML代碼創(chuàng)建一個(gè)URL：這個(gè)鏈接將客戶端發(fā)送到.asx文件，該文件會(huì)將播放器導(dǎo)向您的內(nèi)容的訪問點(diǎn)。雷運(yùn)發(fā)第5章視頻信息處理課件3嵌入媒體播放器嵌入媒體播放器ActiveX控件控件可以將Microsoft媒體播放器ActiveX控件嵌入到一個(gè)Web頁或支持ActiveX的其他應(yīng)用程序容器中，這樣媒體播放器就不會(huì)作為一個(gè)單獨(dú)的應(yīng)用程序啟動(dòng)。當(dāng)用戶訪問嵌入控件的頁時(shí)，會(huì)出現(xiàn)一個(gè)標(biāo)識(shí)控件發(fā)布者的證書。該證書提示用戶或者同意下載控件，或者繼續(xù)顯示頁而不下載控件

65、。如果沒有安裝控件，將不會(huì)傳送內(nèi)容?？梢酝ㄟ^HTML語言的標(biāo)記設(shè)置控件的屬性，以定義打開哪個(gè).asf文件、發(fā)布點(diǎn)或廣播站，以及如何播放。也可使用Microsoft Visual Basic編制腳本來定義控件的屬性，例如顯示哪些按鈕。雷運(yùn)發(fā)第5章視頻信息處理課件下列HTML標(biāo)記顯示媒體播放器的類ID和它的一些屬性的控件。 如何設(shè)置屬性決定了媒體播放器如何工作。參數(shù)標(biāo)識(shí)播放的.asf文件。如果您準(zhǔn)備從媒體播放器“文件”菜單上的“打開”選項(xiàng)播放.asf文件，請(qǐng)將這個(gè)參數(shù)的值設(shè)置為一個(gè)URL。雷運(yùn)發(fā)第5章視頻信息處理課件5.3.6 流媒體技術(shù)的典型應(yīng)用目前比較流行的流式媒體技術(shù)是美國Real Netw

66、ork公司的Real Player產(chǎn)品和微軟公司近年來推出的Windows Media技術(shù)。 流媒體技術(shù)用于娛樂、培訓(xùn)和在線教育等方面，其主要表現(xiàn)為： （1）帶圖片的廣播（Illustrated Audio）（2）流視頻播出（Streaming Video）（3）遠(yuǎn)程教學(xué)（Remote Seminar）（4）提供收費(fèi)電視（Pay By View）雷運(yùn)發(fā)第5章視頻信息處理課件5.4 數(shù)字視頻的采集與輸出數(shù)字視頻的采集與輸出5.4.1 視頻采集的幾個(gè)概念1視頻采集的基本過程視頻采集首先需要信號(hào)源，目前主要有三種：（1）利用計(jì)算機(jī)生成的動(dòng)畫，如把FLC或GIF動(dòng)畫格式轉(zhuǎn)換成AVI等視頻格式；（2）把靜態(tài)圖像或圖形文件系列組合成視頻文件序列；（3）通過視頻采集卡把模擬視頻轉(zhuǎn)換成數(shù)字視頻，并按數(shù)字視頻文件保存下來。 一個(gè)視頻采集系統(tǒng)一般包括：一塊視頻采集卡、視頻信號(hào)源、一臺(tái)配置較高的MPC機(jī)系統(tǒng)。 其數(shù)字視頻獲取過程為：首先準(zhǔn)備好模擬視頻源，然后由視頻采集卡對(duì)模擬視頻信號(hào)進(jìn)行采集、量化和編碼，最后由MPC接收和保存編碼后的數(shù)字視頻數(shù)據(jù)。這里討論通過模擬視頻源獲取數(shù)字視頻的方式。雷運(yùn)發(fā)第5章視頻信