簡(jiǎn)化視頻去隔行和格式重定處理
發(fā)布時(shí)間:2008/8/26 0:00:00 訪問次數(shù):708
大多數(shù)普通視頻信號(hào)在利用視頻壓縮編解碼器進(jìn)行編碼之前都必須進(jìn)行預(yù)處理,這要求數(shù)據(jù)采用420平面格式(planar format)以獲得更高的處理性能。例如,ntsc和pal等廣播標(biāo)準(zhǔn)可能需要將隔行掃描(interlaced)格式轉(zhuǎn)換為逐行掃描(progressive),此外還常常需要對(duì)色度和亮度信息進(jìn)行格式重定。
特別的是,ccd相機(jī)的視頻是以4:2:2交錯(cuò)式隔行掃描格式被捕獲的。但視頻壓縮標(biāo)準(zhǔn)的特定規(guī)格只接受逐行掃描4:2:0格式的輸入。在這種情況下,必須去掉隔行掃描偽信號(hào),因?yàn)閷?duì)逐行掃描編碼器而言,處理隔行掃描視頻內(nèi)容可能相當(dāng)困難。
有大量復(fù)雜的去隔行(de-interlacing)算法可供工程師選擇,但并非所有應(yīng)用都需要最高級(jí)別的視頻質(zhì)量。此外,復(fù)雜的算法往往需要大量的計(jì)算,而開發(fā)人員總是受到數(shù)字信號(hào)處理器(dsp)的mips預(yù)算限制。
當(dāng)應(yīng)用不需要最高級(jí)別的視頻質(zhì)量時(shí),可在硬件中采用縮放算法來實(shí)現(xiàn)去隔行。這種技術(shù)可以將4:2:2到4:2:0格式的轉(zhuǎn)換工作和去隔行操作卸載給其它硬件,這對(duì)于節(jié)省珍貴的dsp mips資源特別有幫助。令人驚訝的是,當(dāng)把視頻壓縮處理考慮進(jìn)來之后,縮放硬件有時(shí)能獲得可與高復(fù)雜度去隔行算法相媲美的去隔行質(zhì)量。
本文描述的簡(jiǎn)單方法可用于視頻應(yīng)用的去隔行處理。當(dāng)視頻數(shù)據(jù)幀中存在大量動(dòng)作時(shí),這種技術(shù)最為有效,因?yàn)殪o態(tài)圖像往往會(huì)更加突出缺陷。
亮度和色度編碼
ntsc將標(biāo)準(zhǔn)清晰度(ntsc sd)的分辨率定義為每行720像素,每列480像素,每秒30幀。每個(gè)像素的信息包含三個(gè)分量:y是亮度(luma)信息,cb(u)是藍(lán)色信息,cr(v)是紅色信息。
過去采用ntsc標(biāo)準(zhǔn)時(shí),工程師在視頻流編碼方面受到傳輸帶寬和計(jì)算能力的限制。由于人眼對(duì)于亮度信息更為敏感,而ntsc標(biāo)準(zhǔn)只要求色度信息進(jìn)行2:1的水平下采樣,從而減輕了這一負(fù)擔(dān)。
ccd相機(jī)捕獲到的每一幀都具有720×480的y值、360×480的u值和360×480的v值。其中每一個(gè)值都是8位(1個(gè)字節(jié)),范圍在[0,255],這樣,每一個(gè)ntsc sd幀就是(720+360+360)×480=691,200字節(jié)。
被捕獲幀的y/u/v分量一般進(jìn)行隔行掃描,通常采用yuv 4:2:2的格式。有兩種方法構(gòu)成這些數(shù)據(jù),但為了簡(jiǎn)單起見,假設(shè)數(shù)據(jù)是以u(píng)yvy 4:2:2隔行掃描格式構(gòu)成的(圖1)。
如前所述,大多數(shù)編碼器都要求輸入視頻采用yuv 4:2:0格式。在4:2:2隔行掃描數(shù)據(jù)和4:2:0平面數(shù)據(jù)之間存在著兩大差異。
在4:2:0格式中,色度信息還需進(jìn)一步進(jìn)行2:1的垂直下采樣。也就是說,對(duì)每一個(gè)ntsc sd幀,每個(gè)u或v分量都包含360×240字節(jié)而不是360×480字節(jié)。這樣,每個(gè)4:2:0格式的ntsc sd幀為518,400字節(jié)[(720×480)+(360×240×2)]。為平衡實(shí)時(shí)性能和合格的圖像質(zhì)量,需要額外的色度下采樣。
視頻壓縮標(biāo)準(zhǔn)的有效實(shí)現(xiàn)還常常需要將亮度和色度分量分別存儲(chǔ),因?yàn)榫幋a算法可能采用不同的方法來處理它們。圖2所示為4:2:0平面格式的ntsc sd視頻幀。
隔行掃描偽像
隔行掃描包含對(duì)圖像的兩次掃描,一次掃描捕獲偶數(shù)行,另一次掃描捕獲奇數(shù)行。兩次捕獲以很小時(shí)差分隔開,然后再合在一起形成一個(gè)完整的幀。
在合并這兩部分時(shí),可能會(huì)形成隔行掃描偽信號(hào)。例如,矩形框的垂直邊緣將導(dǎo)致鋸齒效應(yīng)(見圖3的最后一幀)。在不同時(shí)間捕獲一個(gè)運(yùn)動(dòng)視頻目標(biāo)而產(chǎn)生的這種偽信號(hào)被稱為隔行偽像。
對(duì)于ntsc標(biāo)準(zhǔn),若以30幀/秒的速度捕獲視頻幀,兩個(gè)連續(xù)鏡頭(即頂場(chǎng)及其互補(bǔ)的底場(chǎng))之間的啟動(dòng)時(shí)間是16.67ms。如果在這類幀中捕獲視頻場(chǎng)景中的快速運(yùn)動(dòng)行為,將會(huì)產(chǎn)生隔行掃描偽像。
由于這些偽信號(hào)被表示為高頻噪聲,它們有可能會(huì)導(dǎo)致逐行視頻編碼器出現(xiàn)嚴(yán)重問題,其主要原因在于人眼的敏感度以及壓縮標(biāo)準(zhǔn)的工作方式。實(shí)際上所有的視頻壓縮標(biāo)準(zhǔn)都是基于兩個(gè)非常重要的假設(shè):1. 人眼對(duì)低頻信息更為敏感,這意味著即使去掉原始幀中的部分高頻信息,仍然可以保持可接受的視覺質(zhì)量。2. 編碼過程基于像素塊進(jìn)行,這意味著對(duì)于視頻幀中的每個(gè)16×16或8×8的像素塊,在相鄰幀中都可能存在非常相似的模塊。因此,編碼的實(shí)現(xiàn)通常是在前面的編碼幀中尋找一個(gè)相似的像素塊,并僅對(duì)它們之間的delta進(jìn)行編碼。這樣可以獲得很高的壓縮比,而在大多數(shù)壓縮標(biāo)準(zhǔn)中,運(yùn)動(dòng)評(píng)估(me)模塊就是專為該目的而定義的。
遺憾的是,幾乎所有像素塊中都可能出現(xiàn)隔行掃描偽像,這使得me模塊很難在前面的編碼幀中找到相似的像素塊。結(jié)果使得delta更大,并且me需使用更多的比特來對(duì)其進(jìn)行編碼。因此,最好的方法是在將被捕獲的幀饋入到逐行視頻編
大多數(shù)普通視頻信號(hào)在利用視頻壓縮編解碼器進(jìn)行編碼之前都必須進(jìn)行預(yù)處理,這要求數(shù)據(jù)采用420平面格式(planar format)以獲得更高的處理性能。例如,ntsc和pal等廣播標(biāo)準(zhǔn)可能需要將隔行掃描(interlaced)格式轉(zhuǎn)換為逐行掃描(progressive),此外還常常需要對(duì)色度和亮度信息進(jìn)行格式重定。
特別的是,ccd相機(jī)的視頻是以4:2:2交錯(cuò)式隔行掃描格式被捕獲的。但視頻壓縮標(biāo)準(zhǔn)的特定規(guī)格只接受逐行掃描4:2:0格式的輸入。在這種情況下,必須去掉隔行掃描偽信號(hào),因?yàn)閷?duì)逐行掃描編碼器而言,處理隔行掃描視頻內(nèi)容可能相當(dāng)困難。
有大量復(fù)雜的去隔行(de-interlacing)算法可供工程師選擇,但并非所有應(yīng)用都需要最高級(jí)別的視頻質(zhì)量。此外,復(fù)雜的算法往往需要大量的計(jì)算,而開發(fā)人員總是受到數(shù)字信號(hào)處理器(dsp)的mips預(yù)算限制。
當(dāng)應(yīng)用不需要最高級(jí)別的視頻質(zhì)量時(shí),可在硬件中采用縮放算法來實(shí)現(xiàn)去隔行。這種技術(shù)可以將4:2:2到4:2:0格式的轉(zhuǎn)換工作和去隔行操作卸載給其它硬件,這對(duì)于節(jié)省珍貴的dsp mips資源特別有幫助。令人驚訝的是,當(dāng)把視頻壓縮處理考慮進(jìn)來之后,縮放硬件有時(shí)能獲得可與高復(fù)雜度去隔行算法相媲美的去隔行質(zhì)量。
本文描述的簡(jiǎn)單方法可用于視頻應(yīng)用的去隔行處理。當(dāng)視頻數(shù)據(jù)幀中存在大量動(dòng)作時(shí),這種技術(shù)最為有效,因?yàn)殪o態(tài)圖像往往會(huì)更加突出缺陷。
亮度和色度編碼
ntsc將標(biāo)準(zhǔn)清晰度(ntsc sd)的分辨率定義為每行720像素,每列480像素,每秒30幀。每個(gè)像素的信息包含三個(gè)分量:y是亮度(luma)信息,cb(u)是藍(lán)色信息,cr(v)是紅色信息。
過去采用ntsc標(biāo)準(zhǔn)時(shí),工程師在視頻流編碼方面受到傳輸帶寬和計(jì)算能力的限制。由于人眼對(duì)于亮度信息更為敏感,而ntsc標(biāo)準(zhǔn)只要求色度信息進(jìn)行2:1的水平下采樣,從而減輕了這一負(fù)擔(dān)。
ccd相機(jī)捕獲到的每一幀都具有720×480的y值、360×480的u值和360×480的v值。其中每一個(gè)值都是8位(1個(gè)字節(jié)),范圍在[0,255],這樣,每一個(gè)ntsc sd幀就是(720+360+360)×480=691,200字節(jié)。
被捕獲幀的y/u/v分量一般進(jìn)行隔行掃描,通常采用yuv 4:2:2的格式。有兩種方法構(gòu)成這些數(shù)據(jù),但為了簡(jiǎn)單起見,假設(shè)數(shù)據(jù)是以u(píng)yvy 4:2:2隔行掃描格式構(gòu)成的(圖1)。
如前所述,大多數(shù)編碼器都要求輸入視頻采用yuv 4:2:0格式。在4:2:2隔行掃描數(shù)據(jù)和4:2:0平面數(shù)據(jù)之間存在著兩大差異。
在4:2:0格式中,色度信息還需進(jìn)一步進(jìn)行2:1的垂直下采樣。也就是說,對(duì)每一個(gè)ntsc sd幀,每個(gè)u或v分量都包含360×240字節(jié)而不是360×480字節(jié)。這樣,每個(gè)4:2:0格式的ntsc sd幀為518,400字節(jié)[(720×480)+(360×240×2)]。為平衡實(shí)時(shí)性能和合格的圖像質(zhì)量,需要額外的色度下采樣。
視頻壓縮標(biāo)準(zhǔn)的有效實(shí)現(xiàn)還常常需要將亮度和色度分量分別存儲(chǔ),因?yàn)榫幋a算法可能采用不同的方法來處理它們。圖2所示為4:2:0平面格式的ntsc sd視頻幀。
隔行掃描偽像
隔行掃描包含對(duì)圖像的兩次掃描,一次掃描捕獲偶數(shù)行,另一次掃描捕獲奇數(shù)行。兩次捕獲以很小時(shí)差分隔開,然后再合在一起形成一個(gè)完整的幀。
在合并這兩部分時(shí),可能會(huì)形成隔行掃描偽信號(hào)。例如,矩形框的垂直邊緣將導(dǎo)致鋸齒效應(yīng)(見圖3的最后一幀)。在不同時(shí)間捕獲一個(gè)運(yùn)動(dòng)視頻目標(biāo)而產(chǎn)生的這種偽信號(hào)被稱為隔行偽像。
對(duì)于ntsc標(biāo)準(zhǔn),若以30幀/秒的速度捕獲視頻幀,兩個(gè)連續(xù)鏡頭(即頂場(chǎng)及其互補(bǔ)的底場(chǎng))之間的啟動(dòng)時(shí)間是16.67ms。如果在這類幀中捕獲視頻場(chǎng)景中的快速運(yùn)動(dòng)行為,將會(huì)產(chǎn)生隔行掃描偽像。
由于這些偽信號(hào)被表示為高頻噪聲,它們有可能會(huì)導(dǎo)致逐行視頻編碼器出現(xiàn)嚴(yán)重問題,其主要原因在于人眼的敏感度以及壓縮標(biāo)準(zhǔn)的工作方式。實(shí)際上所有的視頻壓縮標(biāo)準(zhǔn)都是基于兩個(gè)非常重要的假設(shè):1. 人眼對(duì)低頻信息更為敏感,這意味著即使去掉原始幀中的部分高頻信息,仍然可以保持可接受的視覺質(zhì)量。2. 編碼過程基于像素塊進(jìn)行,這意味著對(duì)于視頻幀中的每個(gè)16×16或8×8的像素塊,在相鄰幀中都可能存在非常相似的模塊。因此,編碼的實(shí)現(xiàn)通常是在前面的編碼幀中尋找一個(gè)相似的像素塊,并僅對(duì)它們之間的delta進(jìn)行編碼。這樣可以獲得很高的壓縮比,而在大多數(shù)壓縮標(biāo)準(zhǔn)中,運(yùn)動(dòng)評(píng)估(me)模塊就是專為該目的而定義的。
遺憾的是,幾乎所有像素塊中都可能出現(xiàn)隔行掃描偽像,這使得me模塊很難在前面的編碼幀中找到相似的像素塊。結(jié)果使得delta更大,并且me需使用更多的比特來對(duì)其進(jìn)行編碼。因此,最好的方法是在將被捕獲的幀饋入到逐行視頻編
熱門點(diǎn)擊
- 跳頻技術(shù)在GSM網(wǎng)絡(luò)中的應(yīng)用
- 笙科推出2.4GHz/2Mbps無線射頻收發(fā)
- 簡(jiǎn)化視頻去隔行和格式重定處理
- DAB發(fā)射系統(tǒng)編碼器的設(shè)計(jì)
- TriQuint新增用于無線基站的35個(gè)LD
- 利用紅外技術(shù)解決音頻無線傳輸難題
- 射頻收發(fā)芯片SMI7035的原理與應(yīng)用
- ADI推出可提高功率檢測(cè)性能的射頻檢波器
- Maxim推出單芯片、3.3GHz至3.9G
推薦技術(shù)資料
- 基準(zhǔn)電壓的提供
- 開始的時(shí)候,想使用LM385作為基準(zhǔn),HIN202EC... [詳細(xì)]
- 電源管理 IC (PMIC)&
- I2C 接口和 PmBUS 以及 OTP/M
- MOSFET 和柵極驅(qū)動(dòng)器單
- 數(shù)字恒定導(dǎo)通時(shí)間控制模式(CO
- Power Management Buck/
- 反激變換器傳導(dǎo)和輻射電磁干擾分析和抑制技術(shù)
- 多媒體協(xié)處理器SM501在嵌入式系統(tǒng)中的應(yīng)用
- 基于IEEE802.11b的EPA溫度變送器
- QUICCEngine新引擎推動(dòng)IP網(wǎng)絡(luò)革新
- SoC面世八年后的產(chǎn)業(yè)機(jī)遇
- MPC8xx系列處理器的嵌入式系統(tǒng)電源設(shè)計(jì)
- dsPIC及其在交流變頻調(diào)速中的應(yīng)用研究