視頻檢索技術(shù)在有線電視監(jiān)測系統(tǒng)中的應(yīng)用
發(fā)布時(shí)間:2008/8/12 0:00:00 訪問次數(shù):396
1引言
全國有線廣播電視監(jiān)測網(wǎng)是基于國家廣電骨干網(wǎng)和省級干線網(wǎng)而建設(shè)的大型監(jiān)測網(wǎng)絡(luò)系統(tǒng);隨著地面無線電視納入其監(jiān)測范圍,使得監(jiān)測規(guī)模越來越大被監(jiān)測的頻道和電視節(jié)目數(shù)越來越多。視頻信息技術(shù)的發(fā)展導(dǎo)致多媒體數(shù)據(jù)庫日益龐大,一些特殊應(yīng)用需要快速地完成特定目標(biāo)視頻片斷的檢索查詢,特別作為廣播電視監(jiān)測部門,更要面對與日俱增的廣告、視頻節(jié)目及特定內(nèi)容的快速檢索。在一個(gè)視頻節(jié)目中,如何快速查找某段節(jié)目(或某幾幀)是否存在、播放的起止時(shí)間等信息、傳統(tǒng)的方法是靠人工將視頻節(jié)目文件逐一播放,查找所要的內(nèi)容,整個(gè)過程耗時(shí)費(fèi)事,效率低,勞動(dòng)強(qiáng)度大。因而人工檢索方式無法滿足多媒體信息快速檢索需求,特別是對在存儲的視頻節(jié)目中尋找指定的視頻片斷這樣的應(yīng)用需求。因此,需要建立一套快速的智能視頻檢索系統(tǒng).以提高有線電視監(jiān)測數(shù)據(jù)統(tǒng)計(jì)、分析和報(bào)告的質(zhì)量和效率。
2視頻檢索技術(shù)簡介
視頻檢索技術(shù)是世界各國學(xué)者研究的熱點(diǎn)問題之一,如基于壓縮域的視頻檢索、基于語義的視頻檢索以及動(dòng)態(tài)特征的提取等。目前,國內(nèi)外已研究出多個(gè)視頻檢索系統(tǒng),如:ibm almaden研究中心開發(fā)的qbic(query byimage content)系統(tǒng),美國哥倫比亞大學(xué)電子工程系與電信研究中心圖像和高級電視實(shí)驗(yàn)室共同研究的、一種在互聯(lián)網(wǎng)上使用的"基于內(nèi)容"的檢索系統(tǒng)visualseek,清華大學(xué)開發(fā)的視頻節(jié)目管理系統(tǒng)tv-fi(tsinghua videofind lt)等。
視頻檢索把圖像檢索、模式識別、圖像數(shù)據(jù)庫等技術(shù)成果結(jié)合了起來,會有廣闊的發(fā)展前景。
視頻檢索是從大量的視頻數(shù)據(jù)中找到所需的視頻片斷及自動(dòng)統(tǒng)計(jì)出所需要的信息。用戶提供的例子(模板)或特征描述,系統(tǒng)就能夠自動(dòng)地找到所需的視頻片斷點(diǎn),即實(shí)現(xiàn)基于內(nèi)容的視頻檢索。通常,一段視頻可以劃分為幾個(gè)場景,每個(gè)場景包含一個(gè)或多個(gè)鏡頭,每個(gè)鏡頭又由一系列連續(xù)記錄的圖像幀組成。因此,原始視頻可以按照由粗到細(xì)的順序劃分為幾個(gè)層次結(jié)構(gòu):視頻(video)、場景(scene)、鏡頭(shot)和圖像幀(frame)。視頻和圖像幀是視頻本身就具有的結(jié)構(gòu),而鏡頭和場景是人為分離出來的結(jié)構(gòu)。鏡頭一般是由攝像機(jī)一次攝像的開始和結(jié)束的所有幀構(gòu)成,表示一個(gè)物理概念。而場景是指一連串語義相關(guān)的鏡頭,一般發(fā)生在相同的時(shí)間和地點(diǎn),出現(xiàn)相同的人物或事件,表示的是一個(gè)語義概念。通過視頻解析技術(shù)提取出鏡頭和場景后,可以用一幀或幾幀來表示它們,這樣當(dāng)檢索需要視頻資料時(shí),就不用從頭到尾地查找一段視頻,而是通過關(guān)鍵幀的非線性瀏覽來快速定位查詢的內(nèi)容,同時(shí)這種方式也有助于我們快速理解一段原始視頻的內(nèi)容,以決定是否是需要的資料。
根據(jù)有線電視監(jiān)測的應(yīng)用需求.首先利用抽取關(guān)鍵幀的方法,將視頻檢索轉(zhuǎn)化為圖像檢索,基于內(nèi)容的圖像檢索理論和方法便可以很方便地應(yīng)用于圖像檢索當(dāng)中;趦(nèi)容的圖像檢索,是指通過對圖像視覺特征和上下文聯(lián)系的分析,提取出圖像的內(nèi)容特征作為圖像索引來得到所需圖像,然后通過視頻片斷的匹配定位出需要查找的視頻片斷的位置,為查詢、下載、觀看所用。
3視頻檢索的關(guān)鍵技術(shù)
視頻檢索的關(guān)鍵技術(shù)主要有:圖像特征提取、圖像特征的相似性度量、關(guān)鍵幀提取、視頻片斷匹配和評價(jià)指標(biāo)等。
(1)圖像特征提取
圖像特征提取是針對圖像內(nèi)容的底層物理特征進(jìn)行提。珙伾狈綀D、圖像輪廓特征等。特征的表示方式有三種:數(shù)值信息、關(guān)系信息和文字信息。目前,多數(shù)系統(tǒng)采用的都是數(shù)值信息。
(2)圖像特征的相似性度量
相似性度量在鏡頭檢索上,早期的工作主要是從鏡頭中提取關(guān)鍵幀,把鏡頭檢索轉(zhuǎn)化為圖像檢索。例如,在通常情況下,圖像的特征向量可看作是多維空間中的一點(diǎn),因此,用特征空間中點(diǎn)與點(diǎn)之間的距離來代表它們的匹配程度。距離度量是一個(gè)比較常用的方法,還有相關(guān)計(jì)算、關(guān)聯(lián)系數(shù)計(jì)算等。此外,目前研究的問題還在于怎樣對視頻中的時(shí)間信息充分進(jìn)行利用。
相似性度量在片段檢索上,把視頻片段分為片段、幀兩層考慮,片段的相似性利用組成幀的相似性來直接度量,缺點(diǎn)在于限制相似的片段必須遵守同樣的時(shí)間順序,這種基于每幀的比較,也使得檢索速度比較慢。
(3)關(guān)鍵幀提取
關(guān)鍵幀是用于描述一個(gè)鏡頭的關(guān)鍵圖像幀,它反映一個(gè)鏡頭的主要內(nèi)容。關(guān)鍵幀的選取一方面必須能夠反映鏡頭中的主要事件,因而描述應(yīng)盡可能準(zhǔn)確完全;另一方面,為便于管理,數(shù)據(jù)量應(yīng)盡量小,且計(jì)算不宜太復(fù)雜。
關(guān)鍵幀的選取方法很多,比較經(jīng)典的有幀平均法和直方圖平均法。幀平均法是從鏡頭中取所有幀在某個(gè)位置上像素值的平均值,然后將鏡頭中該點(diǎn)位置的像素值最接近平均值的幀作為關(guān)鍵幀;直方圖平均法則是將鏡頭中所有幀的統(tǒng)計(jì)直方圖取平均,然后選擇與該平均直方圖最接近的幀作為關(guān)鍵幀。
(4)視頻片斷匹配
先找出視覺上相似的片段,再根據(jù)不同的因子
1引言
全國有線廣播電視監(jiān)測網(wǎng)是基于國家廣電骨干網(wǎng)和省級干線網(wǎng)而建設(shè)的大型監(jiān)測網(wǎng)絡(luò)系統(tǒng);隨著地面無線電視納入其監(jiān)測范圍,使得監(jiān)測規(guī)模越來越大被監(jiān)測的頻道和電視節(jié)目數(shù)越來越多。視頻信息技術(shù)的發(fā)展導(dǎo)致多媒體數(shù)據(jù)庫日益龐大,一些特殊應(yīng)用需要快速地完成特定目標(biāo)視頻片斷的檢索查詢,特別作為廣播電視監(jiān)測部門,更要面對與日俱增的廣告、視頻節(jié)目及特定內(nèi)容的快速檢索。在一個(gè)視頻節(jié)目中,如何快速查找某段節(jié)目(或某幾幀)是否存在、播放的起止時(shí)間等信息、傳統(tǒng)的方法是靠人工將視頻節(jié)目文件逐一播放,查找所要的內(nèi)容,整個(gè)過程耗時(shí)費(fèi)事,效率低,勞動(dòng)強(qiáng)度大。因而人工檢索方式無法滿足多媒體信息快速檢索需求,特別是對在存儲的視頻節(jié)目中尋找指定的視頻片斷這樣的應(yīng)用需求。因此,需要建立一套快速的智能視頻檢索系統(tǒng).以提高有線電視監(jiān)測數(shù)據(jù)統(tǒng)計(jì)、分析和報(bào)告的質(zhì)量和效率。
2視頻檢索技術(shù)簡介
視頻檢索技術(shù)是世界各國學(xué)者研究的熱點(diǎn)問題之一,如基于壓縮域的視頻檢索、基于語義的視頻檢索以及動(dòng)態(tài)特征的提取等。目前,國內(nèi)外已研究出多個(gè)視頻檢索系統(tǒng),如:ibm almaden研究中心開發(fā)的qbic(query byimage content)系統(tǒng),美國哥倫比亞大學(xué)電子工程系與電信研究中心圖像和高級電視實(shí)驗(yàn)室共同研究的、一種在互聯(lián)網(wǎng)上使用的"基于內(nèi)容"的檢索系統(tǒng)visualseek,清華大學(xué)開發(fā)的視頻節(jié)目管理系統(tǒng)tv-fi(tsinghua videofind lt)等。
視頻檢索把圖像檢索、模式識別、圖像數(shù)據(jù)庫等技術(shù)成果結(jié)合了起來,會有廣闊的發(fā)展前景。
視頻檢索是從大量的視頻數(shù)據(jù)中找到所需的視頻片斷及自動(dòng)統(tǒng)計(jì)出所需要的信息。用戶提供的例子(模板)或特征描述,系統(tǒng)就能夠自動(dòng)地找到所需的視頻片斷點(diǎn),即實(shí)現(xiàn)基于內(nèi)容的視頻檢索。通常,一段視頻可以劃分為幾個(gè)場景,每個(gè)場景包含一個(gè)或多個(gè)鏡頭,每個(gè)鏡頭又由一系列連續(xù)記錄的圖像幀組成。因此,原始視頻可以按照由粗到細(xì)的順序劃分為幾個(gè)層次結(jié)構(gòu):視頻(video)、場景(scene)、鏡頭(shot)和圖像幀(frame)。視頻和圖像幀是視頻本身就具有的結(jié)構(gòu),而鏡頭和場景是人為分離出來的結(jié)構(gòu)。鏡頭一般是由攝像機(jī)一次攝像的開始和結(jié)束的所有幀構(gòu)成,表示一個(gè)物理概念。而場景是指一連串語義相關(guān)的鏡頭,一般發(fā)生在相同的時(shí)間和地點(diǎn),出現(xiàn)相同的人物或事件,表示的是一個(gè)語義概念。通過視頻解析技術(shù)提取出鏡頭和場景后,可以用一幀或幾幀來表示它們,這樣當(dāng)檢索需要視頻資料時(shí),就不用從頭到尾地查找一段視頻,而是通過關(guān)鍵幀的非線性瀏覽來快速定位查詢的內(nèi)容,同時(shí)這種方式也有助于我們快速理解一段原始視頻的內(nèi)容,以決定是否是需要的資料。
根據(jù)有線電視監(jiān)測的應(yīng)用需求.首先利用抽取關(guān)鍵幀的方法,將視頻檢索轉(zhuǎn)化為圖像檢索,基于內(nèi)容的圖像檢索理論和方法便可以很方便地應(yīng)用于圖像檢索當(dāng)中;趦(nèi)容的圖像檢索,是指通過對圖像視覺特征和上下文聯(lián)系的分析,提取出圖像的內(nèi)容特征作為圖像索引來得到所需圖像,然后通過視頻片斷的匹配定位出需要查找的視頻片斷的位置,為查詢、下載、觀看所用。
3視頻檢索的關(guān)鍵技術(shù)
視頻檢索的關(guān)鍵技術(shù)主要有:圖像特征提取、圖像特征的相似性度量、關(guān)鍵幀提取、視頻片斷匹配和評價(jià)指標(biāo)等。
(1)圖像特征提取
圖像特征提取是針對圖像內(nèi)容的底層物理特征進(jìn)行提取.如顏色直方圖、圖像輪廓特征等。特征的表示方式有三種:數(shù)值信息、關(guān)系信息和文字信息。目前,多數(shù)系統(tǒng)采用的都是數(shù)值信息。
(2)圖像特征的相似性度量
相似性度量在鏡頭檢索上,早期的工作主要是從鏡頭中提取關(guān)鍵幀,把鏡頭檢索轉(zhuǎn)化為圖像檢索。例如,在通常情況下,圖像的特征向量可看作是多維空間中的一點(diǎn),因此,用特征空間中點(diǎn)與點(diǎn)之間的距離來代表它們的匹配程度。距離度量是一個(gè)比較常用的方法,還有相關(guān)計(jì)算、關(guān)聯(lián)系數(shù)計(jì)算等。此外,目前研究的問題還在于怎樣對視頻中的時(shí)間信息充分進(jìn)行利用。
相似性度量在片段檢索上,把視頻片段分為片段、幀兩層考慮,片段的相似性利用組成幀的相似性來直接度量,缺點(diǎn)在于限制相似的片段必須遵守同樣的時(shí)間順序,這種基于每幀的比較,也使得檢索速度比較慢。
(3)關(guān)鍵幀提取
關(guān)鍵幀是用于描述一個(gè)鏡頭的關(guān)鍵圖像幀,它反映一個(gè)鏡頭的主要內(nèi)容。關(guān)鍵幀的選取一方面必須能夠反映鏡頭中的主要事件,因而描述應(yīng)盡可能準(zhǔn)確完全;另一方面,為便于管理,數(shù)據(jù)量應(yīng)盡量小,且計(jì)算不宜太復(fù)雜。
關(guān)鍵幀的選取方法很多,比較經(jīng)典的有幀平均法和直方圖平均法。幀平均法是從鏡頭中取所有幀在某個(gè)位置上像素值的平均值,然后將鏡頭中該點(diǎn)位置的像素值最接近平均值的幀作為關(guān)鍵幀;直方圖平均法則是將鏡頭中所有幀的統(tǒng)計(jì)直方圖取平均,然后選擇與該平均直方圖最接近的幀作為關(guān)鍵幀。
(4)視頻片斷匹配
先找出視覺上相似的片段,再根據(jù)不同的因子
熱門點(diǎn)擊
- 什么是SMD
- E5550 系列非接觸卡
- W&W發(fā)布Taos系列H.264 ASIC
- 三極管的三個(gè)極性的關(guān)系是什么
- 三極管的極性如何判斷
- 不同種類的二極管如何替換
- 超級電容器的缺點(diǎn)用應(yīng)用舉例
- 華邦電子推出新一代輸出輸入控制芯片W8366
- 如何選用貼片三極管
- 啟動(dòng)電容的原理
推薦技術(shù)資料
- 羅盤誤差及補(bǔ)償
- 造成羅盤誤差的主要因素有傳感器誤差、其他磁材料干擾等。... [詳細(xì)]
- 100A全集成電源模塊R
- Teseo-VIC6A GNSS車用精準(zhǔn)定位
- 高效先進(jìn)封裝工藝
- 模數(shù)轉(zhuǎn)換器 (Analog-to-Digit
- 集成模數(shù)轉(zhuǎn)換器(ADC)
- 128 通道20 位電流數(shù)字轉(zhuǎn)換器̴
- 多媒體協(xié)處理器SM501在嵌入式系統(tǒng)中的應(yīng)用
- 基于IEEE802.11b的EPA溫度變送器
- QUICCEngine新引擎推動(dòng)IP網(wǎng)絡(luò)革新
- SoC面世八年后的產(chǎn)業(yè)機(jī)遇
- MPC8xx系列處理器的嵌入式系統(tǒng)電源設(shè)計(jì)
- dsPIC及其在交流變頻調(diào)速中的應(yīng)用研究