雷運發(fā)第5章視頻信息處理課件

《雷運發(fā)第5章視頻信息處理課件》由會員分享，可在線閱讀，更多相關(guān)《雷運發(fā)第5章視頻信息處理課件（139頁珍藏版）》請在裝配圖網(wǎng)上搜索。

1、雷運發(fā)第5章視頻信息處理課件第第5章章 視頻信息處理視頻信息處理 學(xué)習(xí)目標(biāo) 掌握模擬視頻信號的特點及數(shù)字化的基本方法; 理解運動圖像壓縮的國際標(biāo)準(zhǔn)MPEG-1和MPEG-2; 了解視頻信息獲取的基本原理和方法; 掌握視頻編輯的基本步驟和方法 。雷運發(fā)第5章視頻信息處理課件5.1 數(shù)字視頻原理 l5.1.1 模擬電視信號模擬電視信號l1黑白電視信號黑白電視信號 模擬視頻圖像掃描方式有隔行掃描和非隔行掃描之分。 黑白電視和彩色電視都用隔行掃描，而計算機顯示圖像時一般都采用非隔行掃描 （逐行掃描 ）。 雷運發(fā)第5章視頻信息處理課件非隔行掃描：非隔行掃描：電子束從顯示屏的左上角一行接一行的掃到右下角，

2、在顯示屏上掃一遍就顯示一幅完整的圖像。隔行掃描：隔行掃描：電子束掃完第1行后回到第3行開始的位置接著掃，然后在第5、7、行上掃，直到最后一行；奇數(shù)行掃完后接著掃偶數(shù)行，這樣就完成了一幀（frame）的掃描。 l隔行掃描的一幀圖像由兩部分組成：一部分是由奇數(shù)行組成，稱奇數(shù)場；另一部分是由偶數(shù)行組成，稱為偶數(shù)場，兩場合起來組成一幀。 雷運發(fā)第5章視頻信息處理課件l 每秒鐘掃描多少行稱為行頻行頻fH；每秒鐘掃描多少場稱為場頻場頻ff；每秒掃描多少幀稱幀頻幀頻fF。 l采用隔行掃描 的優(yōu)點：所占用的信號傳輸帶寬要減少一半 ；l我國的電視畫面?zhèn)鬏斅适敲棵?5幀、50場。25Hz的幀頻能以最少的信號容量有

3、效地滿足人眼的視覺殘留特性；隔行掃描使人眼不易覺察出閃爍，同時也解決了信號帶寬的問題。l 由于我國的電網(wǎng)頻率是50Hz，采用50Hz的場刷新率可以有效的去掉電網(wǎng)信號的干擾。 雷運發(fā)第5章視頻信息處理課件全電視信號主要由圖像信號（視頻信號）、復(fù)合消隱信號和復(fù)合同步信號組成。這兩種信號加在一起稱為全電視信號 雷運發(fā)第5章視頻信息處理課件l一個行周期的黑白電視信號中圖像信號占52.2s，其余11.8s是掃描的逆程時間。逆程時間很短，而且逆程信號不能在屏幕上顯示出來，因此逆程電平不能高于黑電平。 雷運發(fā)第5章視頻信息處理課件對于一張黑白圖像，我們可以畫出一行的黑白電視信號示意圖，如下圖所示： 雷運發(fā)第

4、5章視頻信息處理課件在全電視信號中，把奇數(shù)場同步信號的前沿作為一場的起點，第1、2、3行是場同步信號，第4、5、6行是后均衡脈沖，722行還是場消隱信號，該場消隱信號從前場623行開始，因此，整個消隱信號是25行加一個行消隱時間。圖像信號從23行起到309.5行止，共287.5行，這就是第一場或稱奇數(shù)場。從309.5行開始又是下一場的場消隱信號及前均衡脈沖，在312.5行出現(xiàn)下一個偶數(shù)場的場同步脈沖，奇數(shù)場到此結(jié)束。偶數(shù)場開始，圖像信號及偶數(shù)場結(jié)束，如圖2.7所示。奇數(shù)場加上偶數(shù)場稱為一幀。雷運發(fā)第5章視頻信息處理課件雷運發(fā)第5章視頻信息處理課件l電視的清晰度電視的清晰度 一般用垂直方向和水平

5、方向的分解率來表示。我國電視圖像的垂直分解率為575行或稱575線。這是一個理論值。 影響水平分解率的主要因素是電視系統(tǒng)的掃描電子束。一般認(rèn)為應(yīng)使水平方向與垂直方向的分解率相當(dāng)時清晰度效果最好。由于電視屏幕的水平與垂直方向比例為4:3，故實際水平分解率設(shè)計成約540線。水平方向的分解率或像素數(shù)決定電視信號的上限頻率。電視信號逐行掃描時的信號帶寬約為10MHz，而隔行掃描時的信號帶寬約為5MHz。我國目前規(guī)定的電視圖像信號的標(biāo)稱頻帶寬度為6MHz。雷運發(fā)第5章視頻信息處理課件l伴音信號伴音信號l音頻信號的頻率范圍一般為20Hz20kHz，其頻帶比圖像信號窄得多。電視的伴音要求與圖像同步，而且不能

6、混迭。因此一般把伴音信號放置在圖像頻帶以外，放置的頻率點稱為聲音載頻。我國電視信號的聲音載頻為6.5MHz，伴音質(zhì)量為單聲道調(diào)頻廣播。 雷運發(fā)第5章視頻信息處理課件2彩色電視信號彩色電視信號 黑白電視只傳送一個反映景物亮度的電信號就行了，而彩色電視除了傳送亮度信號以外還要傳送色度信號。為使電視臺發(fā)射一種彩色電視信號，黑白和彩色電視都能正常工作，黑白電視與彩色電視的兼容是個重要問題。實現(xiàn)實現(xiàn)黑白和彩色信號兼容：兼容：l1.必須使亮度和色度信號分開傳送，以便使黑白電視和彩色電視能夠分別重現(xiàn)黑白和彩色圖像；l2.應(yīng)盡量壓縮彩色電視信號的頻帶寬度，使其與黑白電視信號的帶寬相同；l3.除了新設(shè)置的色同步

7、信號以外，應(yīng)采用與黑白電視信號完全一致的行、場掃描以及消隱、同步等控制信號。雷運發(fā)第5章視頻信息處理課件采用YUV空間還可以充分利用人眼對亮度細(xì)節(jié)敏感而對彩色細(xì)節(jié)遲鈍的視覺特性，大大壓縮色度信號的帶寬。我國規(guī)定的亮度信號帶寬為6MHz，而色度信號U、V的帶寬分別僅為1.3MHz。 在現(xiàn)代彩色電視系統(tǒng)中，通常采用YUV彩色空間或YIQ彩色空間，Y為亮度信號，它可以與黑白全電視信號兼容，而U、V是色差信號。 雷運發(fā)第5章視頻信息處理課件l為了解決信號頻帶的兼容問題，還必須采用間插的方法把兩個1.3MHz的色度信號頻譜插在亮度信號頻譜的高端，這是因為亮度信號的頻譜高端信號較弱，而且間隔較大。這樣既不

8、增加6MHz的帶寬，又不會引起亮度和色度信號的混亂。這種方式稱為頻譜的交錯。l為了與聲音載頻相區(qū)分，一般稱色信號在亮度信號頻譜高端的中心位置為彩色副載波或簡稱為副載波。l我國彩色電視的副載波頻率為4.43MHz。色度C信號的總帶寬為2.6MHz，可以保證色度信號頻譜都落在亮度帶寬之內(nèi)，如圖。 雷運發(fā)第5章視頻信息處理課件5.1.2 模擬視頻制式標(biāo)準(zhǔn) l1NTSC彩色電視制式 l具有如下的掃描特性：l（1）525行/幀，30幀/秒（29.97fps,33.37ms/frame）。l（2）高寬比：電視畫面的長寬比（電視為4:3；電影為3:2；高清晰度電視為16:9）。l（3）隔行掃描：一幀分成2場

9、（field），262.5線/場。l（4）在每場的開始部分保留20掃描線作為控制信息，因此只有485條線的可視數(shù)據(jù)。Laser disc約420線，S-VHS約320線。l（5）每行63.5微秒，水平回掃時間10微秒（包含5微秒的水平同步脈沖），所以顯示時間是53.5微秒。l（6）顏色模型：YIQ。雷運發(fā)第5章視頻信息處理課件2PAL彩色電視制式 l掃描特性：l（1）625行（掃描線）/幀，25幀/秒（40ms/幀）。l（2）高寬比（aspect ratio）：4:3。l（3）隔行掃描，2場/幀，312.5行/場。l（4）顏色模型：YUV。 雷運發(fā)第5章視頻信息處理課件3SECAM彩色電視制式

10、 l有如下的掃描特性：l（1）625行（掃描線）/幀，25幀/秒（40ms/幀）。l（2）高寬比：4:3。l（3）隔行掃描，2場/幀，312.5行/場。l（4）顏色模型：YUV。雷運發(fā)第5章視頻信息處理課件5.1.3 電視機和錄像機的輸入輸出信號 l1電視機的輸入輸出信號 l電視信號主要包括5種成分：亮度信號、色度信號、色同步信號、復(fù)合同步信號和伴音信號。l根據(jù)不同的信號源，電視接收機的輸入、輸出信號有以下3種類型： l（1）高頻或射頻信號。雷運發(fā)第5章視頻信息處理課件l電視機從有線或天線（RF In）接收到微弱的射頻電視信號后，首先要通過調(diào)諧器對它進行解調(diào)，經(jīng)過放大、混頻和檢波，濾掉高頻載波

11、分量，得到PAL、NTSC或SECAM制式的復(fù)合全電視信號，并從全電視信號中分離伴音信號和視頻信號。音頻信號經(jīng)音頻電路處理后送揚聲器輸出；視頻信號經(jīng)視頻放大，并把亮度、色度信號分離開，得到Y(jié)C分量信號。最后，把YC分量信號轉(zhuǎn)換成YUV，進而轉(zhuǎn)換成RGB分量信號并送顯像管顯示 雷運發(fā)第5章視頻信息處理課件（2）復(fù)合視頻信號）復(fù)合視頻信號 :復(fù)合視頻信號，即從全電視信號中分離出伴音后的視頻信號，這時的色度信號還是間插在亮度信號的高端。由于復(fù)合視頻的亮度和色度是間插在一起的，在信號重放時很難恢復(fù)完全一致的色彩。這種信號一般可通過電纜輸入或輸出到家用錄像機上，其信號帶寬較窄，一般只有水平240線左右的

12、分分辨率。 l（3）S-Video信號。是一種兩分量的視頻信號，它把亮度和色度信號分成兩路獨立的模擬信號，用兩路導(dǎo)線分別傳輸并可以分別記錄在模擬磁帶的兩路磁跡上。這種信號不僅其亮度和色度都具有較寬的帶寬，而且由于亮度和色度分開傳輸，可以減少其互相干擾，水平分辨率可達420線。與復(fù)合視頻信號相比，S-Video可以更好的重現(xiàn)色彩。 雷運發(fā)第5章視頻信息處理課件2錄像機分類及輸入輸出信號 l錄像機:是利用磁記錄原理把視頻信號及其伴音信號記錄在磁帶上的設(shè)備，故也稱為磁帶錄像機。與電視機類似，不同的錄像機對應(yīng)于不同制式的電視信號。 l按用途分類，主要有以下3種。l（1）家用錄像機。采用復(fù)合視頻的格式來

13、記錄視頻信號。根據(jù)不同的制式，同一種型號的家用錄像機還有單制式、多制式和全制式之分。 雷運發(fā)第5章視頻信息處理課件l（2）專業(yè)用錄像機。l指工業(yè)、文教、衛(wèi)生等方面使用的錄像機，其視頻信號的水平分辨率可達250線以上。除了具有信號的記錄和重放功能以外，它還具有編輯等功能，價格是家用錄像機的10倍左右。這是目前制作電視或錄像節(jié)目時大量使用的機種。 l（3）廣播級錄像機。l其技術(shù)指標(biāo)是以視頻信號的頻帶寬度來衡量的，一般視頻帶寬可高達5MHz，相當(dāng)于400多線的水平分辨率（每1MHz帶寬相當(dāng)于水平分辨率約80線），基本上可以無失真的記錄和重放視頻信號。廣播級錄像機采用分量視頻信號（Component

14、Video）的記錄方式，分量視頻指的是亮度Y、色差U和V分別是3路模擬信號，它們通過3路導(dǎo)線傳送并記錄在模擬磁帶的3路磁跡上。分量視頻由于其具有很寬的頻帶，可以提供最高質(zhì)量及最精確的色彩重放。 雷運發(fā)第5章視頻信息處理課件5.1.4 電視信號數(shù)字化 l常用的方法有兩種：l（1）先用高速模/數(shù)轉(zhuǎn)換器對彩色全電視信號進行數(shù)字化，然后在數(shù)字域中進行分離亮度和色度，以獲得所希望的YUV（PAL，SECAM制）分量或YIQ（NTSC制）分量，最后轉(zhuǎn)換成RGB分量數(shù)據(jù)。此種方法稱為復(fù)合數(shù)字化。l（2）從復(fù)合彩色電視圖像中分離出彩色分量的亮度和色度，得到Y(jié)UV或YIQ分量，然后用3個模/數(shù)轉(zhuǎn)換器對3個分量分

15、別進行數(shù)字化，最后再轉(zhuǎn)換成RGB空間，此種方法稱為分量數(shù)字化分量數(shù)字化。 雷運發(fā)第5章視頻信息處理課件1數(shù)字視頻的采樣格式數(shù)字視頻的采樣格式 l在復(fù)合電視信號中，亮度信號的帶寬是色度信號帶寬的兩倍。因此其數(shù)字化時可采用副色采樣法，即對信號的色差分量的采樣率低于對亮度分量的采樣率。用Y:U:V來表示YUV三分量的采樣比例，則數(shù)字視頻的采樣格式有如下4種：l（1）Y:U:V=4:4:4 :l指在每條掃描線上每4個連續(xù)的取樣點取4個亮度Y樣本、4個紅色差Cr樣本和4個藍色差Cb樣本，相當(dāng)于每個像素包含3個樣本。即對每個采樣點，亮度Y、色差U和V各取一個樣本，也就是每個像素用3個樣本表示。 雷運發(fā)第5

16、章視頻信息處理課件 圖圖5-5 4:4:4子采樣格式子采樣格式 Y,Cb,Cr樣本樣本Y,Cb,Cr樣本樣本僅僅Y樣本樣本 圖圖5-6 4:2:2子采樣格式子采樣格式 雷運發(fā)第5章視頻信息處理課件l（2）Y:U:V=4:2:2。 l這種方式是在每4個連續(xù)的采樣點上，取4個亮度Y的樣本值，而色差U、V分別取其第一點和第三點的樣本值，共8個樣本，平均每個像素用2個樣本表示。這種方式能給信號的轉(zhuǎn)換留有一定余量，效果更好一些。這是通常所用的方式，指在每條掃描線上每4個連續(xù)的采樣點取4個亮度Y樣本、2個紅色差Cr樣本和2個藍色差Cb樣本，結(jié)果相當(dāng)于平均每個像素用2個樣本表示。 雷運發(fā)第5章視頻信息處理課

17、件l（3）Y:U:V=4:1:1。這種方式是在每4個連續(xù)的采樣點上，取4個亮度Y的樣本值，而色差U、V分別取其第一點的樣本值，共6個樣本，每個像素用1.5個樣本表示。顯然這種方式的采樣比例與全電視信號中的亮度、色度的帶寬比例相同，數(shù)據(jù)量較小。 l（4）Y:U:V=4:2:0。4:2:0子采樣格式是指在水平和垂直方向上每2個連續(xù)的采樣點上取2個亮度Y樣本、1個紅色差Cr樣本和1個藍色差Cb樣本，平均每個像素用1.5個樣本表示。 雷運發(fā)第5章視頻信息處理課件圖圖5-7 4:1:1子采樣格式子采樣格式 圖5-8 MPEG-1使用的4:2:0子采樣格式 雷運發(fā)第5章視頻信息處理課件掃描方式小結(jié)l電視圖

18、像既是空間的函數(shù)，也是時間的函數(shù)，而且又是隔行掃描式，所以其采樣方式比掃描儀掃描圖像的方式要復(fù)雜得多。分量采樣時采到的是隔行樣本點，要把隔行樣本組合成逐行樣本，然后進行樣本點的量化，YUV到RGB色彩空間的轉(zhuǎn)換等，最后才能得到數(shù)字視頻數(shù)據(jù)。 雷運發(fā)第5章視頻信息處理課件2數(shù)字視頻標(biāo)準(zhǔn)數(shù)字視頻標(biāo)準(zhǔn) l為了在PAL、NTSC和SECAM電視制式之間確定共同的數(shù)字化參數(shù)，國際無線電咨詢委員會（CCIR）制訂了廣播級質(zhì)量的數(shù)字電視編碼標(biāo)準(zhǔn)，稱為CCIR 601標(biāo)準(zhǔn)。該標(biāo)準(zhǔn)規(guī)定了彩色電視圖像轉(zhuǎn)換成數(shù)字圖像時使用的采樣頻率，彩色空間之間的轉(zhuǎn)換關(guān)系等。l（1）采樣頻率。ITU-RBT.601標(biāo)準(zhǔn)為三種電視制

19、式規(guī)定了共同的電視圖像采樣頻率。其基本的計算方法是：l對PAL制、SECAM制，采樣頻率fs為：lfs=62525N=15625N=13.5 MHz，N=864 l其中：N為每一掃描行上的采樣數(shù)目。在PAL制、SECAM制中，625是指行數(shù)，25表示每秒幀數(shù)。 雷運發(fā)第5章視頻信息處理課件l（2）有效顯示分辨率。l對PAL制和SECAM制的亮度信號，每一條掃描行采樣864個樣本；對NTSC制的亮度信號，每一條掃描行采樣858個樣本。為了使這些制式的采樣點兼容，規(guī)定每一掃描行的有效樣本數(shù)均為720個。l （3）數(shù)據(jù)量。lCCIR 601規(guī)定，每個樣本點都按8位數(shù)字化，即有256個等級。但實際上亮

20、度信號占220級、色度信號占225級，其他位作同步、編碼等控制用。如果按fs的采樣率和4:2:2的格式采樣，則數(shù)字視頻的數(shù)據(jù)量為：l13.5(MHz)8(bit)+26.75(MHz)8(bit)=27MB/s 雷運發(fā)第5章視頻信息處理課件（4）CIF、QCIF和和SQCIFl為了兼容625行的電視圖像和525行的電視圖像，CCITT定義了公用中分辨率格式CIF（Common Intermediate Format），1/4公用中分辨率格式（Quarter-CIF，QCIF）和（Sub-Quarter Common Intermediate Format，SQCIF）格式。CIF格式具有如下特

21、性：ll 電視圖像的空間分辨率為家用錄像系統(tǒng)VHS的分辨率，即352288。ll 使用非隔行掃描（Non-Interlaced Scan）。ll 使用NTSC幀速率，電視圖像的最大幀速率為30 000/100129.97幅/秒。ll 使用1/2的PAL水平分辨率，即288線。l對亮度和兩個色差信號（Y、Cb和Cr）分量分別進行編碼，它們的取值范圍同ITU-R BT.601。即黑色=16，白色=235，色差的最大值等于240，最小值等于16。 雷運發(fā)第5章視頻信息處理課件CIF QCIFSQCIF行數(shù)/幀像素/行行數(shù)/幀像素/行行數(shù)/幀像素/行亮度（Y）288360(352)144180(176

22、)96128色度（Cb）144180(176)7290(88)4864色度（Cr）144180(176)7290(88)4864下表是CIF、QCIF和SQCIF圖像格式參數(shù)。雷運發(fā)第5章視頻信息處理課件本講習(xí)題l一、選擇題l1，2，3，4，5l二、填空題l3。l三、問答題l1，2雷運發(fā)第5章視頻信息處理課件5.2 MPEG視頻壓縮標(biāo)準(zhǔn) l視頻壓縮的目標(biāo)是在盡可能保證視覺效果的前提下減少視頻數(shù)據(jù)率。由于視頻是連續(xù)的靜態(tài)圖像，因此其壓縮編碼算法與靜態(tài)圖像的壓縮編碼算法有某些共同之處。但是運動的視頻還有其自身的特性，因此在壓縮時還應(yīng)考慮其運動特性才能達到高壓縮的目標(biāo)。 視頻信息經(jīng)過數(shù)字化處理后其數(shù)

23、據(jù)量是非常大的，如果不進視頻信息經(jīng)過數(shù)字化處理后其數(shù)據(jù)量是非常大的，如果不進行數(shù)據(jù)壓縮處理，計算機系統(tǒng)就無法對它進行存儲和交換。行數(shù)據(jù)壓縮處理，計算機系統(tǒng)就無法對它進行存儲和交換。雷運發(fā)第5章視頻信息處理課件5.2.1 視頻壓縮編碼的基本概念視頻壓縮編碼的基本概念l1有損和無損壓縮有損和無損壓縮l無損壓縮指壓縮前和解壓縮后的數(shù)據(jù)完全一致。適合于由計算機生成的圖像，它們一般具有連續(xù)的色調(diào)。但是無損算法一般對數(shù)字視頻和自然圖像的壓縮效果不理想，因為其色調(diào)細(xì)膩，不具備大塊的連續(xù)色調(diào)。 l幾乎所有高壓縮的算法都采用有損壓縮，這樣才能達到低數(shù)據(jù)率的目標(biāo)。丟失的數(shù)據(jù)與壓縮比有關(guān)，壓縮比越小，丟失的數(shù)據(jù)越多

24、，解壓縮后的效果一般越差。 雷運發(fā)第5章視頻信息處理課件l2幀內(nèi)和幀間壓縮幀內(nèi)和幀間壓縮l幀內(nèi)壓縮幀內(nèi)壓縮也稱為空間壓縮。當(dāng)壓縮一幀視頻時，僅考慮本幀的數(shù)據(jù)而不考慮相鄰幀之間的冗余信息，這實際上與靜態(tài)圖像壓縮類似。幀內(nèi)一般采用有損壓縮算法，由于幀內(nèi)壓縮時各個幀之間沒有相互關(guān)系，所以壓縮后的視頻數(shù)據(jù)仍可以以幀為單位進行編輯。幀內(nèi)壓縮一般達不到很高的壓縮。l幀間壓縮幀間壓縮也稱為時間壓縮，它通過比較時間軸上不同幀之間的數(shù)據(jù)進行壓縮。幀間壓縮一般是有損的。采用幀間壓縮基于許多視頻或動畫的連續(xù)前后兩幀具有很大的相關(guān)性，或者說前后兩幀信息變化很小的特點。 雷運發(fā)第5章視頻信息處理課件l3對稱和不對稱編碼

25、對稱和不對稱編碼 l對稱意味著壓縮和解壓縮占用相同的計算處理能力和時間。對稱算法適合實時壓縮和傳送視頻，如視頻會議應(yīng)用就以采用對稱的壓縮編碼算法為好。 l不對稱或非對稱意味著壓縮時需要花費大量的處理能力和時間，而解壓縮時則能較好的實時回放，即以不同的速度進行壓縮和解壓縮。一般來說，壓縮一段視頻的時間比回放（解壓縮）該視頻的時間要多得多。 雷運發(fā)第5章視頻信息處理課件5.2.2 MPEG標(biāo)準(zhǔn)概述 l目前有多種視頻壓縮編碼方法，但其中最有代表性的是MPEG數(shù)字視頻格式和AVI數(shù)字視頻格式。 lMPEG（Moving Picture Export Group）是1988年聯(lián)合成立的一個專家組，它的工

26、作是開發(fā)滿足各種應(yīng)用的運動圖像及其伴音的壓縮、解壓縮和編碼描述的國際標(biāo)準(zhǔn)。一般來說，MPEG標(biāo)準(zhǔn)分為MPEG視頻、MPEG音頻和MPEG視音頻三個部分。l到2004年為止，開發(fā)和正在開發(fā)的MPEG標(biāo)準(zhǔn)有：MPEG-1、MPEG-2、MPEG-4 、MPEG-7 和MPEG-21 。lMPEG系列國際標(biāo)準(zhǔn)已經(jīng)成為影響最大的多媒體技術(shù)標(biāo)準(zhǔn)，對數(shù)字電視、視聽消費電子產(chǎn)品、多媒體通信等信息產(chǎn)業(yè)中的重要產(chǎn)品將產(chǎn)生深遠(yuǎn)的影響。 雷運發(fā)第5章視頻信息處理課件 l MPEG-1：運動圖像數(shù)字壓縮標(biāo)準(zhǔn)，1992年正式發(fā)布。 l MPEG-2：運動圖像數(shù)字壓縮標(biāo)準(zhǔn)。Ll MPEG-3：已于1992年7月合并到高清

27、晰度電視（High-Definition TV，HDTV）工作組。l MPEG-4：運動圖像數(shù)字壓縮標(biāo)準(zhǔn)及多媒體應(yīng)用標(biāo)準(zhǔn)（1999年發(fā)布）。 l MPEG-5：直至1998年9月還沒有見到定義。 l MPEG-6：直至1998年9月還沒有見到定義。 l MPEG-7：多媒體內(nèi)容描述接口標(biāo)準(zhǔn)。l MPEG-21：多媒體框架和綜合應(yīng)用方面的框架。該標(biāo)準(zhǔn)致力于在大范圍的網(wǎng)絡(luò)上實現(xiàn)透明的傳輸和對多媒體資源的充分利用。雷運發(fā)第5章視頻信息處理課件5.2.3 MPEG-1標(biāo)準(zhǔn) lMPEG-1的標(biāo)準(zhǔn)名稱為“信息技術(shù)用于數(shù)據(jù)速率高達大約1.5 Mb/s的數(shù)字存儲媒體的電視圖像和伴音編碼 。它處理的是標(biāo)準(zhǔn)圖像交

28、換格式的電視，即NTSC制為352像素240行/幀30幀/秒，PAL制為352像素288行/幀25幀/秒，壓縮的輸出速率定義在1.5 Mb/s以下。 雷運發(fā)第5章視頻信息處理課件1MPEG-1標(biāo)準(zhǔn)簡介 l 由五個部分組成：l（1）MPEG-1系統(tǒng)系統(tǒng)： 規(guī)定了運動圖像數(shù)據(jù)、聲音數(shù)據(jù)及其他相關(guān)數(shù)據(jù)的同步。l（2）MPEG-1視頻視頻： 規(guī)定了視頻數(shù)據(jù)的編碼和解碼。l（3）MPEG-1音頻音頻： 規(guī)定了聲音數(shù)據(jù)的編碼和解碼 。l（4）MPEG-1一致性測試：說明如何測試比特數(shù)據(jù)流和解碼器是否滿足MPEG-1前3個部分中所規(guī)定的要求。l（5）MPEG-1軟件模擬：這部分內(nèi)容是一個技術(shù)報告，給出了用軟

29、件執(zhí)行MPEG-1標(biāo)準(zhǔn)前3個部分的結(jié)果。雷運發(fā)第5章視頻信息處理課件雷運發(fā)第5章視頻信息處理課件2運動圖像的壓縮依據(jù)運動圖像數(shù)據(jù)壓縮主要根據(jù)下面兩點：（1）運動圖像序列中有許多重復(fù)的數(shù)據(jù)，使用數(shù)學(xué)方法來表示這些重復(fù)數(shù)據(jù)就可以減少數(shù)據(jù)量；（2）人的眼睛對圖像細(xì)節(jié)和顏色的辨認(rèn)有一個極限，把超過極限的部分去掉，這也就達到了壓縮數(shù)據(jù)的目的。 利用前一個事實的壓縮技術(shù)就是無損壓縮技術(shù)，利用后一個事實的壓縮技術(shù)就是有損壓縮技術(shù)。實際的圖像壓縮是綜合使用各種有損和無損壓縮技術(shù)來實現(xiàn)的。雷運發(fā)第5章視頻信息處理課件運動圖像壓縮技術(shù)的基本方法主要表現(xiàn)在：（1）在空間方向上，圖像數(shù)據(jù)壓縮采用JPEG（Joint

30、Photographic Experts Group）壓縮算法來去掉冗余信息。（2）在時間方向上，圖像數(shù)據(jù)壓縮采用移動補償（Motion Compensation）算法來去掉冗余信息。雷運發(fā)第5章視頻信息處理課件3運動圖像分類及排序為保證圖像質(zhì)量基本不降低而又能夠獲得高的壓縮比，MPEG標(biāo)準(zhǔn)定義了三種圖像：幀內(nèi)圖（Intrapictures I），預(yù)測圖（Predicted Pictures P）和插補圖，即雙向預(yù)測圖（Bidirectional Prediction B）。雷運發(fā)第5章視頻信息處理課件圖像壓縮首先需要處理I幀圖像，然后是對應(yīng)的前向預(yù)測圖像P，在兩者的基礎(chǔ)上才處理B圖像。MPE

31、G編碼器算法允許選擇I圖像的頻率和位置。I圖像的頻率是指每秒鐘出現(xiàn)I圖像的次數(shù)，位置是指時間方向上幀所在的位置。一個典型的I、P、B圖像安排如圖所示。編碼參數(shù)為：幀內(nèi)圖像I的距離為N=15，預(yù)測圖像P的距離為M=3。雷運發(fā)第5章視頻信息處理課件4幀內(nèi)圖像I的壓縮編碼基本的過程如下：1 將圖像進行顏色空間變換。如將RGB空間轉(zhuǎn)換為YCrCb空間表示的圖像。2 將圖像劃分成宏塊，每個宏塊包含1616個像素點，每個宏塊根據(jù)圖像子采樣進一步劃分成88的圖塊。如采用4:1:1的圖像子采樣，則一個宏塊包括4個Y塊，1個Cr塊和1個Cb塊。3 對每個圖塊進行離散余弦變換（DCT）。DCT變換后經(jīng)過量化的交流

32、分量系數(shù)按照Z字形排序，然后再使用無損壓縮技術(shù)進行編碼。DCT變換后經(jīng)過量化的直流分量系數(shù)用差分脈沖編碼（DPCM），交流分量系數(shù)用行程長度編碼（RLE），形成中間編碼格式。4 最后用哈夫曼（Huffman）編碼或者用算術(shù)編碼。雷運發(fā)第5章視頻信息處理課件雷運發(fā)第5章視頻信息處理課件5對P和B圖像的壓縮編碼預(yù)測圖像的編碼也是以宏塊為基本編碼單元。預(yù)測圖像P編碼需要兩種類型的參數(shù)： 如圖，假設(shè)編碼圖像宏塊MPI是參考圖像宏塊MRJ的最佳匹配塊，它們的差值就是這兩個宏塊中相應(yīng)像素值之差。對所求得的差值進行彩色空間轉(zhuǎn)換，并作4:1:1的子采樣得到Y(jié)、Cr和Cb分量值，然后仿照J(rèn)PEG壓縮算法對差值進

33、行編碼，計算出的移動矢量也要進行哈夫曼編碼。當(dāng)前要編碼的圖像宏塊與參考圖像的宏塊之間的差值宏塊間的移動矢量。雷運發(fā)第5章視頻信息處理課件雙向預(yù)測圖像B的壓縮編碼框圖如下圖。具體計算方法與預(yù)測圖像P的算法類似。雷運發(fā)第5章視頻信息處理課件6MPEG解碼過程由于運動圖像的視頻和音頻需要同步，所以MPEG壓縮算法應(yīng)該對兩者綜合考慮，最后產(chǎn)生一個電視質(zhì)量的視頻和音頻形式的位速率約為1.5Mb/s的MPEG單一位流。圖中MUX-1是多路復(fù)合/分離器。單一數(shù)據(jù)流經(jīng)過多路分離器，分離出移動矢量、宏塊類型、量化步長和數(shù)據(jù)流。視音頻數(shù)據(jù)流經(jīng)過逆量化、逆DCT變換，結(jié)合宏塊類型和運動向量產(chǎn)生視音頻數(shù)據(jù)。雷運發(fā)第5

34、章視頻信息處理課件MPEG-1的應(yīng)用領(lǐng)域包括：光盤、數(shù)字音頻磁帶（DAT）、磁帶設(shè)備、溫徹斯特硬盤以及通信網(wǎng)絡(luò)（如ISDN和局域網(wǎng)等）。其典型的應(yīng)用是VCD，99%的VCD都是用MPEG-1格式壓縮的，使用MPEG-1的壓縮算法，可以把一部120分鐘長的電影（未壓縮視頻文件）壓縮到1.2GB左右大小。為了支持多種應(yīng)用，可由用戶來規(guī)定多種輸入?yún)?shù)，包括靈活的圖像尺寸和幀頻。MPEG-1標(biāo)準(zhǔn)提供了一些錄像機的功能，包括正放、圖像凍結(jié)、快進、快倒和慢放，此外，還提供了隨機存取的功能。MPEG-1的應(yīng)用領(lǐng)域雷運發(fā)第5章視頻信息處理課件524 MPEG-2標(biāo)準(zhǔn)lMPEG-2標(biāo)準(zhǔn)MPEG工作組制定的第二個

35、國際標(biāo)準(zhǔn)，標(biāo)準(zhǔn)號是ISO/IEC 13818。它是一個直接與數(shù)字電視廣播有關(guān)的高質(zhì)量圖像和聲音編碼標(biāo)準(zhǔn)。和MPEG-1相比增加了隔行掃描電視的編碼，提供了位速率的可變性能（scalability）功能。MPEG-2要達到的最基本目標(biāo)是：位速率為4Mb/s9Mb/s，最高達15Mb/s。MPEG-2包含9個部分：（1）MPEG-2系統(tǒng)（1994年）規(guī)定電視圖像數(shù)據(jù)、聲音數(shù)據(jù)及其他相關(guān)數(shù)據(jù)的同步。（2）MPEG-2視頻（1994年）規(guī)定了視頻數(shù)據(jù)的編碼和解碼算法。（3）MPEG-2音頻規(guī)定了聲音數(shù)據(jù)的編碼和解碼，是MPEG-1 Audio的擴充，支持多個聲道。雷運發(fā)第5章視頻信息處理課件（4）MP

36、EG-2一致性測試。（5）MPEG-2參考軟件。（6）MPEG-2數(shù)字存儲媒體命令和控制擴展協(xié)議。（7）MPEG-2高級音頻編碼是多聲道聲音編碼算法標(biāo)準(zhǔn)。（8）MPEG-2系統(tǒng)解碼器實時接口擴展標(biāo)準(zhǔn)。 這是與傳輸數(shù)據(jù)流的實時接口（Real-Time Interface，RTI）標(biāo)準(zhǔn)，它可以用來適應(yīng)來自網(wǎng)絡(luò)的傳輸數(shù)據(jù)流，如圖。（9）MPEG-2 DSM-CC一致性擴展測試。雷運發(fā)第5章視頻信息處理課件與MPEG-1標(biāo)準(zhǔn)相比，MPEG-2的不同特性主要表現(xiàn)在：（1）MPEG-2有“按幀編碼”和“按場編碼”兩種模式。在MPEG-1中是沒有電視幀的概念，只支持逐行掃描，不支持隔行掃描。在MPEG-2中

37、，針對隔行掃描的常規(guī)電視圖像專門設(shè)置了“按幀編碼”模式，相應(yīng)的運動補償算法也有擴充，分為“按幀運動補償”和“按場運動補償”，其編碼效率顯著提高。（2）MPEG-2的類與等級。MPEG-2提出了配置與等級的概念。配置是按視頻編碼技術(shù)的簡單還是復(fù)雜而確定的；對每個配置，根據(jù)編碼參數(shù)的不同，即圖像格式的簡單還是復(fù)雜，進一步劃分為不同的等級。MPEG-2標(biāo)準(zhǔn)中規(guī)定了5種配置4個等級。5個類依次為簡單類、主類（Main Profile）、信噪比可伸縮類（SNR Profile）、空間分辨率可伸縮類（Simple Profile）、高級類（High Profile）。雷運發(fā)第5章視頻信息處理課件4個等級由

38、低到高為低等級（Low Level）、主等級（Main Level）、1440等級（High 1440Level）和高等級（High Level）。配置和等級之間可能的組合如表。配置等級簡單配置主要配置信噪比可變配置空間可變配置高級配置高等級#1440等級#主等級#低等級# MPEG-2實際應(yīng)用點雷運發(fā)第5章視頻信息處理課件（3）MPEG-2增加了分層編碼。MPEG-2可伸縮性體現(xiàn)在：空間分層編碼：提供空間分辨率不同的圖像。時間分層編碼：提供空間分辨率相同，但幀速率不同的視頻信號。信噪比分層編碼：提供具有相同空間分辨率，但編碼質(zhì)量不同的視頻比特流。數(shù)據(jù)分割編碼：將編碼比特流分成兩個優(yōu)先級不同的

39、部分。（4）MPEG-2擴充了系統(tǒng)層語法。MPEG-2對系統(tǒng)層語法有了較大的擴充，包含了兩類數(shù)據(jù)碼流：傳輸碼流（Transport Stream，TS）和節(jié)目碼流（Program Stream，PS）。雷運發(fā)第5章視頻信息處理課件MPEG-2的應(yīng)用領(lǐng)域很廣，它不僅支持面向存儲媒介的應(yīng)用，而且還支持各種通信環(huán)境下數(shù)字視頻信號的編碼和傳輸。如數(shù)字電視、TV機頂盒和DVD（數(shù)字視頻光盤），此外還可以應(yīng)用于信息存儲、Internet、衛(wèi)星通信、視頻會議和多媒體郵件等，其典型的應(yīng)用是DVD和HDTV（高清晰度電視）。為了適應(yīng)不同的應(yīng)用環(huán)境，MPEG-2中有很多可以選擇的參數(shù)和選項，改變這些參數(shù)和選項可以

40、得到不同的圖像質(zhì)量，滿足不同的需求。雷運發(fā)第5章視頻信息處理課件5.2.5 MPEG-4、MPEG-7和MPEG-21標(biāo)準(zhǔn) 1MPEG-4標(biāo)準(zhǔn)MPEG-4是針對低速率（64kb/s）的視頻壓縮編碼標(biāo)準(zhǔn)，同時還注重基于視頻和音頻對象的交互性。主要內(nèi)容包括：系統(tǒng)、視頻、音頻、一致性測試、軟件仿真和多媒體綜合框架等。系統(tǒng)模塊的一般框架是：對自然或合成的視頻和音頻對象進行場景描述，對視頻和音頻數(shù)據(jù)流進行管理，對靈活性的支持以及對系統(tǒng)不同部分的配置。視頻模塊提供了對多種視頻格式和碼流的支持，支持基于內(nèi)容的視頻功能，即能夠按視頻內(nèi)容分別編解碼和重建。 音頻模塊不僅支持自然的聲音，而且支持基于描述語言的合成

41、聲音。同時還支持音頻的對象特征，即一個場景中，有人、聲和背景音樂，它們可以是獨立編碼的音頻對象。多媒體綜合框架（DMIF）主要解決交互網(wǎng)絡(luò)、廣播環(huán)境以及磁盤中多媒體應(yīng)用的操作問題，通過傳輸多路合成比特信息，建立客戶端和服務(wù)器端的握手和傳輸。雷運發(fā)第5章視頻信息處理課件MPEG-4支持基于視覺內(nèi)容的交互功能。而實現(xiàn)此功能的關(guān)鍵在于基于視頻對象的編碼，為此引入了視頻對象平面（Video Object Plane，VOP）概念，即輸入視頻序列的每一幀被分割成許多任意形狀的圖像區(qū)域（視頻對象平面），每個區(qū)域可能包括一個感興趣的具體圖像或視頻內(nèi)容。在一個場景中屬于同一物理對象的VOP序列稱為一個視頻對象

42、（Video Object，VO）。屬于同一VO的VOP形狀、運動和紋理信息，均在一個分開的視頻對象層（Video Object Layer，VOL）內(nèi)編碼和傳輸。另外，標(biāo)志每一個VOL的相關(guān)信息以及在接收端各個VOL的任意組合和重構(gòu)完整的原始圖像等信息均被包括在碼流之中，因此可以實現(xiàn)對每個VOP單獨進行解碼，并對視頻序列進行靈活的操作。雷運發(fā)第5章視頻信息處理課件MPEG-4的應(yīng)用領(lǐng)域包括：數(shù)字廣播電視、實時多媒體監(jiān)控、低比特率下的移動多媒體通信、基于內(nèi)容的信息存儲和檢索多媒體系統(tǒng)、網(wǎng)絡(luò)視頻流與可視游戲、基于面部表情模擬的虛擬會議、DVD上的交互多媒體應(yīng)用、演播室和電視的節(jié)目制作等。雷運發(fā)第

43、5章視頻信息處理課件2MPEG-7標(biāo)準(zhǔn)MPEG-7也稱為多媒體內(nèi)容描述接口（Multimedia Content Description Interface），目的是制定一套描述符標(biāo)準(zhǔn)，用來描述各種類型的多媒體信息和它們之間的關(guān)系，以便更快、更有效地檢索信息。這些媒體包括靜態(tài)圖像、圖形、3D模型、聲音、話音、電視以及在多媒體演示中它們之間的關(guān)系。在某些情況下，數(shù)據(jù)類型還可以包括面部特性和個人特性的表達。雷運發(fā)第5章視頻信息處理課件 MPEG-7的處理鏈包括三個部分：特征抽取、標(biāo)準(zhǔn)描述和檢索工具。 MPEG-7的應(yīng)用領(lǐng)域包括：數(shù)字圖書館（Digital Library），如圖像目錄、音樂詞典等；

44、多媒體目錄服務(wù)（Multimedia Directory Services）；廣播媒體的選擇等。MPEG-7潛在應(yīng)用領(lǐng)域還包括：教育、娛樂、新聞、旅游、醫(yī)療、購物等。雷運發(fā)第5章視頻信息處理課件3MPEG-21標(biāo)準(zhǔn)（1）MPEG-21的目標(biāo)。MPEG-21總體上來講是一個支持通過異構(gòu)網(wǎng)絡(luò)和設(shè)備使用戶透明而廣泛地使用多媒體資源的標(biāo)準(zhǔn)，其目標(biāo)是建立一個交互的多媒體框架。支持以下功能：通過網(wǎng)絡(luò)和/或設(shè)備存取、使用并交互操作多媒體對象。實現(xiàn)多種業(yè)務(wù)模型，包括在價值鏈中對版權(quán)和支付交易的自動管理。對內(nèi)容使用者隱私的尊重。MPEG-21技術(shù)報告向人們描繪了一幅未來的多媒體環(huán)境場景，這個環(huán)境能夠支持各種不同

45、的應(yīng)用領(lǐng)域，不同用戶可以使用和傳送所有類型的數(shù)字內(nèi)容。雷運發(fā)第5章視頻信息處理課件（2）MPEG-21的主要內(nèi)容。MPEG-21多媒體框架是一個結(jié)構(gòu)化的框架，從結(jié)構(gòu)上可分成7大要素：1）數(shù)字項聲明，即一種對數(shù)字項進行聲明的統(tǒng)一而靈活的提取和可交互方案。2）內(nèi)容展現(xiàn)手法，它是不同媒體的數(shù)據(jù)展現(xiàn)方式，如音頻、視頻的播放。3）數(shù)字項的標(biāo)記和描述，這是對不同自然屬性、類型和粒度的數(shù)字項進行統(tǒng)一標(biāo)記和描述的結(jié)構(gòu)。4）內(nèi)容的管理和使用，它為以下過程提供接口和協(xié)議：經(jīng)內(nèi)容傳輸和消費價值鏈創(chuàng)建、制作、存儲、傳送和使用的內(nèi)容。5）知識產(chǎn)權(quán)的管理和保護，是內(nèi)容在網(wǎng)絡(luò)和設(shè)備上持久穩(wěn)固的、可信的被管理和保護的方法。雷

46、運發(fā)第5章視頻信息處理課件6）終端和網(wǎng)絡(luò)，它們提供可交互和透明的通過網(wǎng)絡(luò)和終端設(shè)備存取內(nèi)容的能力。7）事件報告，它可以使用戶準(zhǔn)確了解在框架中發(fā)生的事件的可表征性能的語法和接口。同時，MPEG-21多媒體框架標(biāo)準(zhǔn)提出了許多用戶需求，可以歸結(jié)為兩大類：一是MPEG-21應(yīng)用發(fā)展所需的新標(biāo)準(zhǔn)；二是為現(xiàn)有其他或者將來的標(biāo)準(zhǔn)和服務(wù)提供標(biāo)準(zhǔn)接口，如：將為XML、MPEG-2、TCP/IP等標(biāo)準(zhǔn)提供應(yīng)用于MPEG-21框架中的標(biāo)準(zhǔn)接口，為未來標(biāo)準(zhǔn)和服務(wù)的發(fā)展提供應(yīng)用于MPEG-21框架中的擴展接口。最終，MPEG將在制定標(biāo)準(zhǔn)的同時實現(xiàn)統(tǒng)一的多媒體框架。雷運發(fā)第5章視頻信息處理課件（3）應(yīng)用范疇。MPEG-2

47、1的目標(biāo)是要為多媒體信息的用戶提供透明而有效的電子交易和使用環(huán)境。雷運發(fā)第5章視頻信息處理課件5.3 流媒體技術(shù)5.3.1 流媒體與流放 流媒體是通過網(wǎng)絡(luò)傳輸?shù)囊纛l、視頻或多媒體文件。流媒體在播放前不需要下載整個文件，流媒體的數(shù)據(jù)流隨時傳送隨時播放，只是在開始時有一些延遲。當(dāng)流式媒體文件傳輸?shù)娇蛻舴降挠嬎銠C時，在播放之前該文件的部分內(nèi)容已存入內(nèi)存。流媒體簡單來說就是應(yīng)用流媒體技術(shù)在網(wǎng)絡(luò)上傳輸?shù)亩嗝襟w文件。雷運發(fā)第5章視頻信息處理課件 流放技術(shù)就是把連續(xù)的視頻和聲音等多媒體信息經(jīng)過壓縮處理后放置在特定的服務(wù)器上，讓用戶一邊下載一邊觀看、收聽，而不需要等整個壓縮文件下載到自己機器后才可以觀看的網(wǎng)絡(luò)

48、傳輸技術(shù)。該技術(shù)首先在用戶端的計算機上創(chuàng)造一個緩沖區(qū)，播放前預(yù)先下載一段資料作為緩沖，當(dāng)網(wǎng)路實際連線速度小于播放所耗用資料的速度時，播放程序就會取用這一小段緩沖區(qū)內(nèi)的資料，避免播放的中斷，也使得播放品質(zhì)得以維持。 目前在這個領(lǐng)域上，競爭的公司主要有三個：Microsoft、Real Networks、Apple，而相應(yīng)的產(chǎn)品是：Windows Media 、Real Media、Quicktime。雷運發(fā)第5章視頻信息處理課件網(wǎng)絡(luò)環(huán)境中，利用流放技術(shù)傳播多媒體文件有如下優(yōu)點：（1）實時傳輸和實時播放。流放多媒體使得用戶可以立即播放音頻和視頻信號，無須等待文件傳輸結(jié)束，這對獲取存儲在服務(wù)器上的流

49、化音頻、視頻文件和現(xiàn)場回訪音頻和視頻流都具有十分重要的意義。（2）節(jié)省存儲空間。采用流技術(shù)，可以節(jié)省客戶端的大量存儲空間，預(yù)先構(gòu)造的流文件或用實時編碼器對現(xiàn)場信息進行編碼。（3）信息數(shù)據(jù)量較小。現(xiàn)場流都比原始信息的數(shù)據(jù)量要小，并且用戶不必將所有下載的數(shù)據(jù)都同時存儲在本地存儲器上，可以邊下載邊回放，從而節(jié)省了大量的磁盤空間。雷運發(fā)第5章視頻信息處理課件5.3.2 Windows Media Service簡介簡介 Windows Media Service是一個能適應(yīng)多種網(wǎng)絡(luò)帶寬條件的流式多媒體信息的發(fā)布平臺，包括了流式媒體的制作、發(fā)布、播放和管理的一整套解決方案。另外，還提供了開發(fā)工具包（SD

50、K）供二次開發(fā)使用。 Windows Media Service的核心是ASF（Advanced Stream Format）。ASF是一種數(shù)據(jù)格式，音頻、視頻、圖像以及控制命令腳本等多媒體信息通過這種格式，以網(wǎng)絡(luò)數(shù)據(jù)包的形式傳輸，實現(xiàn)流式多媒體內(nèi)容發(fā)布。其中，在網(wǎng)絡(luò)上傳輸?shù)膬?nèi)容就稱為ASF Stream。ASF支持任意的壓縮/解壓縮編碼方式，并可以使用任何一種底層網(wǎng)絡(luò)傳輸協(xié)議，具有很大的靈活性。 雷運發(fā)第5章視頻信息處理課件Windows Media Service系統(tǒng)由三部分構(gòu)成：媒體服務(wù)器（Windows Media Server）媒體文件制作工具（包括媒體編碼器（Windows Med

51、ia Encoder）、ASF文件制作工具（Media Authoring）和ASF文件管理工具（Media Index）客戶端媒體播放器（Windows Media Player）。分別對應(yīng)制作、發(fā)布和播放三個基本過程。1媒體服務(wù)器 媒體服務(wù)器（Windows Media Server）對外提供ASF流式媒體的網(wǎng)絡(luò)發(fā)布服務(wù)，包括兩大基本服務(wù)模塊：單播（Unicast Service）和多播（Station Service）。 Windows Media系統(tǒng)還提供了一套主頁形式的管理工具，可以方便的對服務(wù)器進行遠(yuǎn)程管理，完成服務(wù)器配置，監(jiān)控運行時的各種事件、流量、控制客戶訪問的日志記錄等。 雷

52、運發(fā)第5章視頻信息處理課件2ASF文件制作工具文件制作工具媒體編碼器（Windows Media Encoder）的主要任務(wù)是對輸入的音頻、視頻信號進行編碼產(chǎn)生ASF文件或ASF數(shù)據(jù)流。編碼后形成的音、視頻流既可以保存到本地計算機上也可以用流媒體廣播協(xié)議MSBD（Media Streaming Broadcast Distribution）發(fā)送給媒體服務(wù)器。流媒體文件制作工具用于將錄制好的音視頻信息、圖片、Powerpoint制作的幻燈片（電子教案）、各種word文檔、script等各種信息合成到一起，形成單一的ASF流媒體文件； Media ASF Indexer 對ASF 添加標(biāo)記（mar

53、ker）和描述（script）。雷運發(fā)第5章視頻信息處理課件3媒體播放器媒體播放器媒體播放器（Windows Media Player）用來從媒體服務(wù)器接收ASF流并解壓播放。目前使用比較廣泛的媒體播放器是Windows Media Player和Real Player。Windows Media PlayerReal Player雷運發(fā)第5章視頻信息處理課件媒體播放器用來播放聲音或者視頻文件，一般具有下述功能：（1）解壓縮：幾乎所有的聲音和視頻都是經(jīng)過壓縮之后存放在存儲器中的，因此無論播放來自存儲器或者來自網(wǎng)絡(luò)上的聲音和視頻都需要解壓縮。（2）去抖動：在媒體播放器中使用緩存技術(shù)限制抖動，把聲

54、音或者視頻圖像數(shù)據(jù)先存放在緩沖存儲器中，經(jīng)過一段延時之后再播放。（3）錯誤處理：由于在因特網(wǎng)上往往會出現(xiàn)讓人不能接收的交通擁擠，信息包流中的部分信息包在傳輸過程中就可能會丟失。如果連續(xù)丟失的信息包太多，用戶接收的聲音和視頻圖像質(zhì)量就不能容忍。采取的辦法往往是重傳。（4）用戶控制接口：用戶直接控制媒體播放器播放媒體的實際接口。媒體播放器為用戶提供的控制功能通常包括聲音的音量大小、暫停/重新開始和跳轉(zhuǎn)等。雷運發(fā)第5章視頻信息處理課件5.3.3 流媒體服務(wù)的應(yīng)用方式流媒體服務(wù)的應(yīng)用方式流媒體服務(wù)（Windows Media Service）系統(tǒng)能用于多種網(wǎng)絡(luò)環(huán)境，基本的應(yīng)用方式有如下幾種：1點播服務(wù)

55、（On-Demand Unicast）“點播”是用戶從媒體服務(wù)器接收流信息的一種方式。點播連接是客戶端與服務(wù)器之間的主動連接。在點播連接中，用戶通過選擇內(nèi)容項目來初始化客戶端連接。內(nèi)容以 ASF 流從服務(wù)器傳到客戶端。點播服務(wù)方式下，用戶相互之間互不干擾，可以對點播內(nèi)容的播放進行控制，最為靈活，但是占用服務(wù)器、網(wǎng)絡(luò)資源多。 雷運發(fā)第5章視頻信息處理課件2單點或多點廣播服務(wù)單點或多點廣播服務(wù)（Broadcast Unicast/Multicast）廣播指的是用戶被動接收流。在廣播過程中，客戶端接收流，但不能控制流。共有兩類廣播：單播和多播，兩種方式都是被動的。廣播服務(wù)下，用戶只觀看播放的內(nèi)容，不

56、能進行控制。可以使用ASF文件作為媒體內(nèi)容的來源，但實時的多媒體內(nèi)容最適合使用廣播服務(wù)方式。如圖為單點或多點廣播服務(wù)方式。雷運發(fā)第5章視頻信息處理課件Windows Media服務(wù)器管理員必須創(chuàng)建三個項目以支持多播：廣播站、節(jié)目和流。“廣播站”充當(dāng)客戶連接流的引用點，“節(jié)目”組織將要通過廣播站廣播的內(nèi)容，“流”是實際內(nèi)容。所有這三個項目都建立后，Windows Media管理器會創(chuàng)建一個.asx 文件，鏈接客戶到正確的廣播站的IP地址；此文件稱為一個“通知”。Web網(wǎng)頁鏈接到該通知文件，并將其放置到網(wǎng)絡(luò)上的公共共享點，或通過電子郵件將其發(fā)送給客戶。雷運發(fā)第5章視頻信息處理課件3服務(wù)器擴展（服務(wù)

57、器擴展（Distribution）通過服務(wù)器擴展方式可以把一個Media Server輸出的ASF流輸出到另外一個Media Server，再向用戶提供服務(wù)。一種應(yīng)用是通過服務(wù)器擴展進行發(fā)布服務(wù)器的擴展，為更多的用戶服務(wù)。另一種應(yīng)用是通過服務(wù)器擴展使Media Server跨越非廣播的網(wǎng)絡(luò)，提供廣播服務(wù)。另外，Windows Media Service還支持HTTP Stream方式。使用通用的HTTP協(xié)議可以更好的工作在Internet上，如跨越防火墻進行媒體內(nèi)容的傳輸。下圖為服務(wù)器擴展工作方式。雷運發(fā)第5章視頻信息處理課件5.3.4 理解理解Windows Media服務(wù)協(xié)議服務(wù)協(xié)議Win

58、dows Media服務(wù)系統(tǒng)各組件之間是通過協(xié)議進行通信的，主要協(xié)議包含：1MMS協(xié)議概述MMS協(xié)議用于訪問媒體發(fā)布點上的單播內(nèi)容，MMS是連接媒體單播服務(wù)的默認(rèn)方法。若用戶在媒體播放器中鍵入一個URL以連接內(nèi)容，而不是通過超級鏈接訪問內(nèi)容，則必須使用MMS協(xié)議引用該流。當(dāng)使用MMS協(xié)議連接到發(fā)布點時，使用協(xié)議翻轉(zhuǎn)以獲得最佳連接?！皡f(xié)議翻轉(zhuǎn)”試圖通過MMSU連接客戶端，MMSU是MMS協(xié)議結(jié)合UDP數(shù)據(jù)傳送。如果MMSU連接不成功，則服務(wù)器試圖使用MMST，MMST是MMS協(xié)議結(jié)合TCP數(shù)據(jù)傳送。如果連接到編入索引的.asf文件，想要快進、后退、暫停、開始和停止流，則必須使用MMS，不能用UR

59、L路徑快進或后退。雷運發(fā)第5章視頻信息處理課件 若從獨立的媒體播放器連接到發(fā)布點，則必須指定單播內(nèi)容的URL。若內(nèi)容在主發(fā)布點點播發(fā)布，則URL由服務(wù)器名和.asf文件名組成。例如：mms:/windows_media_server/sample.asf 其中：windows_media_server是媒體服務(wù)器名，sample.asf是想要使之轉(zhuǎn)化為流的.asf文件名。 若有實時內(nèi)容要通過廣播單播發(fā)布，則該URL由服務(wù)器名和發(fā)布點別名組成。例如：mms:/windows_media_server/LiveEvents雷運發(fā)第5章視頻信息處理課件2MSBD協(xié)議概述協(xié)議概述MSBD協(xié)議是用于在媒

60、體編碼器和媒體服務(wù)器組件之間分發(fā)流，并在服務(wù)器間傳遞流。MSBD是面向連接的協(xié)議，對流媒體最佳。MSBD對于測試客戶端、服務(wù)器連接和ASF內(nèi)容品質(zhì)很有用處，但不能作為接收ASF內(nèi)容的主要方法。媒體編碼器最多可支持15個MSBD客戶端；而一個媒體服務(wù)器最多可支持5個MSBD客戶端。雷運發(fā)第5章視頻信息處理課件3HTTP概述可以配置媒體服務(wù)器使用HTTP協(xié)議將內(nèi)容轉(zhuǎn)化為流。使用HTTP流可以幫助克服防火墻障礙，因為大多數(shù)防火墻允許HTTP通過。HTTP流可用來由媒體編碼器通過防火墻到媒體服務(wù)器，并可用以連接被防火墻隔離的媒體服務(wù)器。若以同一計算機既作為Web服務(wù)器又運行媒體服務(wù)，例如Microso

61、ft Internet信息服務(wù)（IIS），請確保在端口號80無沖突。如圖所示描述了如何使用協(xié)議在Windows Media服務(wù)系統(tǒng)各組件之間進行通信。雷運發(fā)第5章視頻信息處理課件雷運發(fā)第5章視頻信息處理課件5.3.5 使用媒體播放器播放流媒體文件使用媒體播放器播放流媒體文件1從獨立媒體播放器訪問內(nèi)容使用媒體播放器訪問內(nèi)容：單擊“文件”菜單中的“打開”，然后在“打開”對話框中鍵入位置。（1）播放存儲的.asf文件。在“打開”對話框中鍵入：mms:/server/如果媒體服務(wù)器配置為使用HTTP傳送流媒體內(nèi)容，則應(yīng)鍵入：服務(wù)器從ASF內(nèi)容文件夾（例如，systemdriveASFRoot）發(fā)送流媒

62、體文件。當(dāng)媒體服務(wù)器啟用了HTTP流時，服務(wù)器仍然使用ASF內(nèi)容文件夾作為它的主目錄；服務(wù)器不使用HTTP虛擬根目錄（也就是systemdrive）作為主目錄。雷運發(fā)第5章視頻信息處理課件（2）通過ASX文件播放內(nèi)容。使用ASX文件從媒體服務(wù)器、廣播單播發(fā)布點或多播廣播站訪問.asf文件。ASX文件是指到ASF內(nèi)容的指針。若要通過獨立的播放器使用ASX文件，必須知道到ASX文件的路徑?？稍凇按蜷_”對話框中鍵入文件的路徑。例如，若要訪問一個共享文件夾，請鍵入：servershare或者，想要訪問一個Web站點，請鍵入：（3）從HTML頁播放內(nèi)容。若要使用媒體播放器訪問Web頁，請在“打開”對話框

63、中鍵入：媒體播放器將URL傳遞到本地瀏覽器以打開并找到Web頁。一旦加載HTML頁，嵌入的媒體播放器出現(xiàn)并開始顯示與它相關(guān)的ASF內(nèi)容。雷運發(fā)第5章視頻信息處理課件2從鏈接啟動媒體播放器有兩種方法可以從一個Web頁或Web應(yīng)用程序的鏈接啟動Microsoft媒體播放器并接收來自媒體服務(wù)器的內(nèi)容：（1）可以啟用HTTP流并直接使用到ASF內(nèi)容的HTTP鏈接。必須使用HTTP流以通過防火墻發(fā)送內(nèi)容。（2）可以使用HTTP鏈接到.asx文件，它包含了媒體播放器用以訪問ASF內(nèi)容的指導(dǎo)。asx文件必須駐留在HTTP服務(wù)器上，如Internet信息服務(wù)器（Internet Information Ser

64、ver，IIS），并在一個用戶可以訪問的目錄中。若要使用.asx源文件從Web頁或Web應(yīng)用程序的鏈接中啟動媒體播放器，請使用與下面示例類似的HTML代碼創(chuàng)建一個URL：這個鏈接將客戶端發(fā)送到.asx文件，該文件會將播放器導(dǎo)向您的內(nèi)容的訪問點。雷運發(fā)第5章視頻信息處理課件3嵌入媒體播放器嵌入媒體播放器ActiveX控件控件可以將Microsoft媒體播放器ActiveX控件嵌入到一個Web頁或支持ActiveX的其他應(yīng)用程序容器中，這樣媒體播放器就不會作為一個單獨的應(yīng)用程序啟動。當(dāng)用戶訪問嵌入控件的頁時，會出現(xiàn)一個標(biāo)識控件發(fā)布者的證書。該證書提示用戶或者同意下載控件，或者繼續(xù)顯示頁而不下載控件

65、。如果沒有安裝控件，將不會傳送內(nèi)容?？梢酝ㄟ^HTML語言的標(biāo)記設(shè)置控件的屬性，以定義打開哪個.asf文件、發(fā)布點或廣播站，以及如何播放。也可使用Microsoft Visual Basic編制腳本來定義控件的屬性，例如顯示哪些按鈕。雷運發(fā)第5章視頻信息處理課件下列HTML標(biāo)記顯示媒體播放器的類ID和它的一些屬性的控件。 如何設(shè)置屬性決定了媒體播放器如何工作。參數(shù)標(biāo)識播放的.asf文件。如果您準(zhǔn)備從媒體播放器“文件”菜單上的“打開”選項播放.asf文件，請將這個參數(shù)的值設(shè)置為一個URL。雷運發(fā)第5章視頻信息處理課件5.3.6 流媒體技術(shù)的典型應(yīng)用目前比較流行的流式媒體技術(shù)是美國Real Netw

66、ork公司的Real Player產(chǎn)品和微軟公司近年來推出的Windows Media技術(shù)。 流媒體技術(shù)用于娛樂、培訓(xùn)和在線教育等方面，其主要表現(xiàn)為： （1）帶圖片的廣播（Illustrated Audio）（2）流視頻播出（Streaming Video）（3）遠(yuǎn)程教學(xué)（Remote Seminar）（4）提供收費電視（Pay By View）雷運發(fā)第5章視頻信息處理課件5.4 數(shù)字視頻的采集與輸出數(shù)字視頻的采集與輸出5.4.1 視頻采集的幾個概念1視頻采集的基本過程視頻采集首先需要信號源，目前主要有三種：（1）利用計算機生成的動畫，如把FLC或GIF動畫格式轉(zhuǎn)換成AVI等視頻格式；（2）把靜態(tài)圖像或圖形文件系列組合成視頻文件序列；（3）通過視頻采集卡把模擬視頻轉(zhuǎn)換成數(shù)字視頻，并按數(shù)字視頻文件保存下來。 一個視頻采集系統(tǒng)一般包括：一塊視頻采集卡、視頻信號源、一臺配置較高的MPC機系統(tǒng)。 其數(shù)字視頻獲取過程為：首先準(zhǔn)備好模擬視頻源，然后由視頻采集卡對模擬視頻信號進行采集、量化和編碼，最后由MPC接收和保存編碼后的數(shù)字視頻數(shù)據(jù)。這里討論通過模擬視頻源獲取數(shù)字視頻的方式。雷運發(fā)第5章視頻信