FPGA+DSP實(shí)時(shí)三維圖像信息處理系統(tǒng)
發(fā)布時(shí)間:2008/6/16 0:00:00 訪問次數(shù):467
三維圖像信息處理一直是圖像視頻處理領(lǐng)域的熱點(diǎn)和難點(diǎn),目前國(guó)內(nèi)外成熟的三維信息處理系統(tǒng)不多,已有的系統(tǒng)主要依賴高性能通用pc完成圖像采集、預(yù)處理、重建、構(gòu)型等囊括底層和高層的處理工作。三維圖像處理數(shù)據(jù)量特別大、運(yùn)算復(fù)雜,單純依靠通用pc很難達(dá)到實(shí)時(shí)性要求,不能滿足現(xiàn)行高速三維圖像處理應(yīng)用。
本系統(tǒng)中,采用fpga實(shí)現(xiàn)底層的信號(hào)預(yù)處理算法,其處理數(shù)據(jù)量很大,處理速度高,但算法結(jié)構(gòu)相對(duì)比較簡(jiǎn)單,可同時(shí)兼顧速度和靈活性。高層處理算法數(shù)據(jù)量較少、算法結(jié)構(gòu)復(fù)雜,可采用運(yùn)算速度快、尋址方式靈活、通信機(jī)制強(qiáng)大的dsp實(shí)現(xiàn)。
1 三維圖像處理系統(tǒng)組成
1.1 硬件系統(tǒng)構(gòu)成
ccd攝像機(jī)采集的多路模擬視頻信號(hào)經(jīng)max440按需要選定后,送入模數(shù)視頻轉(zhuǎn)換器saa7111a將攝像機(jī)輸出的模擬全電視信號(hào)cvbs轉(zhuǎn)換成數(shù)字視頻信號(hào);之后視頻信號(hào)流入圖像預(yù)處理器spartan xc3s400,經(jīng)過提取中心顏色線、提取激光標(biāo)志線和物體輪廓線的預(yù)處理后,配送到兩片ts201進(jìn)行定標(biāo)參數(shù)計(jì)算、坐標(biāo)計(jì)算、三維重建、數(shù)據(jù)融合以及三維構(gòu)型的核心運(yùn)算;最后將dxf文件數(shù)據(jù)經(jīng)由pci接口傳送到pc,完成三維圖像變換和顯示等最終處理;整個(gè)系統(tǒng)的邏輯連接和控制以及部分?jǐn)?shù)據(jù)交換由另一片fpga來完成。
在體系結(jié)構(gòu)設(shè)計(jì)上,fpga處理器采用simd結(jié)構(gòu),在一個(gè)控制單元產(chǎn)生的控制信號(hào)下,數(shù)據(jù)通路中的三個(gè)算法并行運(yùn)行。由于該系統(tǒng)要求處理速度較高,因而在數(shù)據(jù)通路中采用了流水線技術(shù)以提高速度。此外,本系統(tǒng)中為圖像存儲(chǔ)采用了許多大容量高速fifo,以達(dá)到減少地址線,簡(jiǎn)化控制的目的。
1.2 處理器芯片
為滿足系統(tǒng)大數(shù)據(jù)量快速處理的要求,三款核心芯片均為最新高性能產(chǎn)品,其硬件方面的特點(diǎn)給系統(tǒng)設(shè)計(jì)帶來極大的方便,其優(yōu)異的運(yùn)算性能可確保系統(tǒng)的快速實(shí)時(shí)性。
fpga芯片采用xilinx公司近期推出的采用90nm工藝的spartan3系列的xc3s400,該系列芯片是目前為止工藝最先進(jìn)、價(jià)格較低、單位成本內(nèi)i/o管腳最多的平臺(tái)級(jí)可編程邏輯器件。xc3s400芯片內(nèi)部時(shí)鐘頻率可達(dá)326mhz,信號(hào)擺幅1.14v和3.45v,i/o口支持622mbps的數(shù)據(jù)傳輸率,具有高性能selectram內(nèi)部存儲(chǔ)器,多達(dá)4個(gè)數(shù)字時(shí)鐘管理器模塊和8個(gè)全局時(shí)鐘多路復(fù)用緩沖器。
dsp采用adi公司的最新款基于并行處理設(shè)計(jì)、具有海量片內(nèi)ram的tigersharc adsp ts201。其內(nèi)部集成的ram容量高達(dá)24mbit,核心速度最高達(dá)600mhz。內(nèi)設(shè)雙運(yùn)算模塊,每個(gè)包含一個(gè)alu、mul、64bit移位寄存器、32個(gè)32bit寄存器組和一個(gè)128bit通信邏輯單元,相關(guān)的數(shù)據(jù)對(duì)齊緩沖器;雙整數(shù)alu,各有獨(dú)立的寄存器組,提供數(shù)據(jù)尋址和指針操作;4個(gè)128bit寬度內(nèi)部總線,每個(gè)都連接到6個(gè)4mbit的內(nèi)部存儲(chǔ)器塊;提供與主機(jī)處理器、多處理器空間、片外存儲(chǔ)器映射外設(shè)、外部sram和sdram相連的外部端口;14通道dma控制器;4個(gè)全雙工低電壓差分信號(hào)輸入的link port;具有片內(nèi)仲裁總線,用于多dsp無縫的連接。
數(shù)字化器采用了philips公司的增強(qiáng)視頻輸入處理器(evip)——saa7111a模數(shù)轉(zhuǎn)換器。該產(chǎn)品廣泛應(yīng)用于個(gè)人視頻、多媒體、數(shù)字電視、可視電話、圖像處理、實(shí)時(shí)監(jiān)控等領(lǐng)域,純3.3v cmos工藝的模擬視頻前端和數(shù)字視頻編碼器,能夠?qū)al/tsc/ecam視頻信號(hào)解碼為與ccir-601相兼容的多種數(shù)字視頻格式,支持tv或vtr信號(hào)源的cvbs或s-video視頻信號(hào),最高圖像分辨率可達(dá)720×576,支持24位真彩色,可以通過串行總線動(dòng)態(tài)配置saa7111a模數(shù)轉(zhuǎn)換器的工作方式和各種參數(shù)。
2 模塊設(shè)計(jì)
2.1 視頻采集與數(shù)字化模塊
由于模擬攝像機(jī)采集的是pal制的復(fù)合視頻信號(hào)(cvbs),所以必須先將其數(shù)字化才能開始后繼數(shù)字視頻處理。視頻采集與數(shù)字化模塊主要包括一片視頻多路復(fù)用器max440、一片saa7111a、一片i2c接口控制器pcf8584和一些連接邏輯。max440用來快速切換來自不同模擬輸入端的模擬視頻流,saa7111a模數(shù)轉(zhuǎn)換器是該模塊的核心,它采集模擬視頻,將其數(shù)字化為720×576的rgb(8,8,8)真彩色信號(hào)格式的數(shù)字視頻,其輸出的rgb真彩色信號(hào)為16位,其中高字節(jié)和低字節(jié)數(shù)據(jù)周期分別為74ns和37ns,即低字節(jié)的頻率是高字節(jié)的1倍。這樣就要利用觸發(fā)器和兩個(gè)分別為13.5mhz和27mhz的時(shí)鐘信號(hào),將輸入數(shù)據(jù)格式轉(zhuǎn)換為24位、周期均為74ns的rgb真彩色信號(hào),此外,它還為整個(gè)硬件系統(tǒng)提供必要的時(shí)鐘和同步信號(hào);pci接口控制器通過pcf8584來配置和控制saa7111a,連接邏輯由fpga實(shí)現(xiàn)。
2.2 fpga圖像預(yù)處理模塊
預(yù)處理從巨大的視頻信息中提取極少量的對(duì)三維重建有用的信息傳送至dsp后處理。該模塊包括主處理fpga芯片和高速fifo,負(fù)責(zé)實(shí)時(shí)采集視頻信號(hào)并對(duì)采集到的無壓縮的視頻信息進(jìn)行預(yù)處理,包括提取激光中心線、提取輪廓線、提取中心顏色線三個(gè)部分。
為了提高視頻采集的整體性能,更重要的是為預(yù)處理提供相鄰的有激光幀和無激光幀,必須通過視頻幀緩存首先暫存無激光幀
三維圖像信息處理一直是圖像視頻處理領(lǐng)域的熱點(diǎn)和難點(diǎn),目前國(guó)內(nèi)外成熟的三維信息處理系統(tǒng)不多,已有的系統(tǒng)主要依賴高性能通用pc完成圖像采集、預(yù)處理、重建、構(gòu)型等囊括底層和高層的處理工作。三維圖像處理數(shù)據(jù)量特別大、運(yùn)算復(fù)雜,單純依靠通用pc很難達(dá)到實(shí)時(shí)性要求,不能滿足現(xiàn)行高速三維圖像處理應(yīng)用。
本系統(tǒng)中,采用fpga實(shí)現(xiàn)底層的信號(hào)預(yù)處理算法,其處理數(shù)據(jù)量很大,處理速度高,但算法結(jié)構(gòu)相對(duì)比較簡(jiǎn)單,可同時(shí)兼顧速度和靈活性。高層處理算法數(shù)據(jù)量較少、算法結(jié)構(gòu)復(fù)雜,可采用運(yùn)算速度快、尋址方式靈活、通信機(jī)制強(qiáng)大的dsp實(shí)現(xiàn)。
1 三維圖像處理系統(tǒng)組成
1.1 硬件系統(tǒng)構(gòu)成
ccd攝像機(jī)采集的多路模擬視頻信號(hào)經(jīng)max440按需要選定后,送入模數(shù)視頻轉(zhuǎn)換器saa7111a將攝像機(jī)輸出的模擬全電視信號(hào)cvbs轉(zhuǎn)換成數(shù)字視頻信號(hào);之后視頻信號(hào)流入圖像預(yù)處理器spartan xc3s400,經(jīng)過提取中心顏色線、提取激光標(biāo)志線和物體輪廓線的預(yù)處理后,配送到兩片ts201進(jìn)行定標(biāo)參數(shù)計(jì)算、坐標(biāo)計(jì)算、三維重建、數(shù)據(jù)融合以及三維構(gòu)型的核心運(yùn)算;最后將dxf文件數(shù)據(jù)經(jīng)由pci接口傳送到pc,完成三維圖像變換和顯示等最終處理;整個(gè)系統(tǒng)的邏輯連接和控制以及部分?jǐn)?shù)據(jù)交換由另一片fpga來完成。
在體系結(jié)構(gòu)設(shè)計(jì)上,fpga處理器采用simd結(jié)構(gòu),在一個(gè)控制單元產(chǎn)生的控制信號(hào)下,數(shù)據(jù)通路中的三個(gè)算法并行運(yùn)行。由于該系統(tǒng)要求處理速度較高,因而在數(shù)據(jù)通路中采用了流水線技術(shù)以提高速度。此外,本系統(tǒng)中為圖像存儲(chǔ)采用了許多大容量高速fifo,以達(dá)到減少地址線,簡(jiǎn)化控制的目的。
1.2 處理器芯片
為滿足系統(tǒng)大數(shù)據(jù)量快速處理的要求,三款核心芯片均為最新高性能產(chǎn)品,其硬件方面的特點(diǎn)給系統(tǒng)設(shè)計(jì)帶來極大的方便,其優(yōu)異的運(yùn)算性能可確保系統(tǒng)的快速實(shí)時(shí)性。
fpga芯片采用xilinx公司近期推出的采用90nm工藝的spartan3系列的xc3s400,該系列芯片是目前為止工藝最先進(jìn)、價(jià)格較低、單位成本內(nèi)i/o管腳最多的平臺(tái)級(jí)可編程邏輯器件。xc3s400芯片內(nèi)部時(shí)鐘頻率可達(dá)326mhz,信號(hào)擺幅1.14v和3.45v,i/o口支持622mbps的數(shù)據(jù)傳輸率,具有高性能selectram內(nèi)部存儲(chǔ)器,多達(dá)4個(gè)數(shù)字時(shí)鐘管理器模塊和8個(gè)全局時(shí)鐘多路復(fù)用緩沖器。
dsp采用adi公司的最新款基于并行處理設(shè)計(jì)、具有海量片內(nèi)ram的tigersharc adsp ts201。其內(nèi)部集成的ram容量高達(dá)24mbit,核心速度最高達(dá)600mhz。內(nèi)設(shè)雙運(yùn)算模塊,每個(gè)包含一個(gè)alu、mul、64bit移位寄存器、32個(gè)32bit寄存器組和一個(gè)128bit通信邏輯單元,相關(guān)的數(shù)據(jù)對(duì)齊緩沖器;雙整數(shù)alu,各有獨(dú)立的寄存器組,提供數(shù)據(jù)尋址和指針操作;4個(gè)128bit寬度內(nèi)部總線,每個(gè)都連接到6個(gè)4mbit的內(nèi)部存儲(chǔ)器塊;提供與主機(jī)處理器、多處理器空間、片外存儲(chǔ)器映射外設(shè)、外部sram和sdram相連的外部端口;14通道dma控制器;4個(gè)全雙工低電壓差分信號(hào)輸入的link port;具有片內(nèi)仲裁總線,用于多dsp無縫的連接。
數(shù)字化器采用了philips公司的增強(qiáng)視頻輸入處理器(evip)——saa7111a模數(shù)轉(zhuǎn)換器。該產(chǎn)品廣泛應(yīng)用于個(gè)人視頻、多媒體、數(shù)字電視、可視電話、圖像處理、實(shí)時(shí)監(jiān)控等領(lǐng)域,純3.3v cmos工藝的模擬視頻前端和數(shù)字視頻編碼器,能夠?qū)al/tsc/ecam視頻信號(hào)解碼為與ccir-601相兼容的多種數(shù)字視頻格式,支持tv或vtr信號(hào)源的cvbs或s-video視頻信號(hào),最高圖像分辨率可達(dá)720×576,支持24位真彩色,可以通過串行總線動(dòng)態(tài)配置saa7111a模數(shù)轉(zhuǎn)換器的工作方式和各種參數(shù)。
2 模塊設(shè)計(jì)
2.1 視頻采集與數(shù)字化模塊
由于模擬攝像機(jī)采集的是pal制的復(fù)合視頻信號(hào)(cvbs),所以必須先將其數(shù)字化才能開始后繼數(shù)字視頻處理。視頻采集與數(shù)字化模塊主要包括一片視頻多路復(fù)用器max440、一片saa7111a、一片i2c接口控制器pcf8584和一些連接邏輯。max440用來快速切換來自不同模擬輸入端的模擬視頻流,saa7111a模數(shù)轉(zhuǎn)換器是該模塊的核心,它采集模擬視頻,將其數(shù)字化為720×576的rgb(8,8,8)真彩色信號(hào)格式的數(shù)字視頻,其輸出的rgb真彩色信號(hào)為16位,其中高字節(jié)和低字節(jié)數(shù)據(jù)周期分別為74ns和37ns,即低字節(jié)的頻率是高字節(jié)的1倍。這樣就要利用觸發(fā)器和兩個(gè)分別為13.5mhz和27mhz的時(shí)鐘信號(hào),將輸入數(shù)據(jù)格式轉(zhuǎn)換為24位、周期均為74ns的rgb真彩色信號(hào),此外,它還為整個(gè)硬件系統(tǒng)提供必要的時(shí)鐘和同步信號(hào);pci接口控制器通過pcf8584來配置和控制saa7111a,連接邏輯由fpga實(shí)現(xiàn)。
2.2 fpga圖像預(yù)處理模塊
預(yù)處理從巨大的視頻信息中提取極少量的對(duì)三維重建有用的信息傳送至dsp后處理。該模塊包括主處理fpga芯片和高速fifo,負(fù)責(zé)實(shí)時(shí)采集視頻信號(hào)并對(duì)采集到的無壓縮的視頻信息進(jìn)行預(yù)處理,包括提取激光中心線、提取輪廓線、提取中心顏色線三個(gè)部分。
為了提高視頻采集的整體性能,更重要的是為預(yù)處理提供相鄰的有激光幀和無激光幀,必須通過視頻幀緩存首先暫存無激光幀
熱門點(diǎn)擊
- LDRA工具套件支持最新發(fā)布的MISRA C
- Altera提升Arria GX系列收發(fā)器速
- Agilent推出GENESYS EDA軟件
- FPGA設(shè)計(jì)層次分析
- 在選用FPGA進(jìn)行設(shè)計(jì)時(shí)如何降低功耗
- 微捷碼發(fā)布新一代布局規(guī)劃自動(dòng)綜合產(chǎn)品——Hy
- Synopsys推出IC COMPILER布
- 時(shí)序邏輯等效性檢查方法使設(shè)計(jì)風(fēng)險(xiǎn)降至最低
- FPGA器件選型研究
- Synplicity實(shí)施ReadyIP計(jì)劃,
推薦技術(shù)資料
- 聲道前級(jí)設(shè)計(jì)特點(diǎn)
- 與通常的Hi-Fi前級(jí)不同,EP9307-CRZ這臺(tái)分... [詳細(xì)]
- 100A全集成電源模塊R
- Teseo-VIC6A GNSS車用精準(zhǔn)定位
- 高效先進(jìn)封裝工藝
- 模數(shù)轉(zhuǎn)換器 (Analog-to-Digit
- 集成模數(shù)轉(zhuǎn)換器(ADC)
- 128 通道20 位電流數(shù)字轉(zhuǎn)換器̴
- 多媒體協(xié)處理器SM501在嵌入式系統(tǒng)中的應(yīng)用
- 基于IEEE802.11b的EPA溫度變送器
- QUICCEngine新引擎推動(dòng)IP網(wǎng)絡(luò)革新
- SoC面世八年后的產(chǎn)業(yè)機(jī)遇
- MPC8xx系列處理器的嵌入式系統(tǒng)電源設(shè)計(jì)
- dsPIC及其在交流變頻調(diào)速中的應(yīng)用研究