結(jié)合傳感器的并行處理器實現(xiàn)高速成像
發(fā)布時間:2008/8/26 0:00:00 訪問次數(shù):465
如果一幅圖像的數(shù)據(jù)量相當于一千個字符,那么100,000幅圖像的數(shù)據(jù)量有多大?能否設(shè)計一個數(shù)字成像系統(tǒng)來處理如此高幀速的圖像。這樣一個成像系統(tǒng)可以應(yīng)用于機器視覺,智能視頻系統(tǒng),瞬間事件的科學分析,工業(yè)過程監(jiān)控,互動游戲以及無人運輸器和導(dǎo)彈的制導(dǎo)系統(tǒng)等眾多領(lǐng)域。
2000年,來自匈牙利、西班牙和美國的科學家在布達佩斯成立了analogic計算機公司。該公司的目標就是設(shè)計每秒能存儲、分析和增強幾千幀圖像的數(shù)字成像系統(tǒng)。3年后,他們又在美國加利福尼亞州,伯克利城成立了analogic的后繼公司,eutecus。在美國導(dǎo)彈防御局以及海軍研究辦公室的許可下,他們開發(fā)了cellular visual technology(cvt).
cvt由大規(guī)模并行處理器和優(yōu)化成像處理軟件構(gòu)成。有些實現(xiàn)方法使用一種創(chuàng)新的半導(dǎo)體制造工藝把圖像傳感器和并行處理陣列直接結(jié)合在一起,創(chuàng)造出一個多層芯片。圖1是c-ton的照片。c-ton是第一款為商業(yè)市場設(shè)計的此類芯片。
公司首席技術(shù)官dr akos zarandy和dr csaba rekeczky 奔波于布達佩斯和伯克利之間。cvt技術(shù)的發(fā)明人,公司技術(shù)副主席,zarandy10月份在秋季微處理器論壇上發(fā)表了關(guān)于cvt的技術(shù)介紹。這篇文章也吸取了該技術(shù)的另一名發(fā)明人,公司研發(fā)副主席rekeczky的意見。
并非傳統(tǒng)數(shù)字相機
eutecus的設(shè)計與傳統(tǒng)數(shù)字相機以及家庭攝像機大相徑庭。經(jīng)典的數(shù)字相機有ccd或cmos成像傳感器,這些傳感器由微小感應(yīng)單元組成的陣列覆蓋而成。幾乎每個感應(yīng)單元都對應(yīng)一個像素。在曝光過程中,照射到感應(yīng)單元的光被轉(zhuǎn)化為電。也就是說,感應(yīng)單元將光子轉(zhuǎn)化為電子。照射到感應(yīng)單元上的光子越多,產(chǎn)生的電子越多,從而形成的像素越亮。經(jīng)過模數(shù)轉(zhuǎn)換,嵌在risc核中的傳統(tǒng)微處理器讀取每個感應(yīng)單元的值把像素聚合成圖像。然后經(jīng)過增強的圖像被存儲到照相機的閃存或其它存儲媒介上之前。
傳統(tǒng)數(shù)字相機的幀速很低,經(jīng)常是幾秒一幀而不是一秒幾幀。處理器讀取感應(yīng)單元數(shù)據(jù)和聚合圖像很費時間。為了解決這一問題,幾乎所有的數(shù)字相機都有緩存。前一次曝光的數(shù)據(jù)就存在這些緩存中供處理器進行處理,以便相機進行下一次曝光。
家庭數(shù)字攝像機有更大的緩存。通過降低像素分辨率,它每秒可以處理25到30幀圖像,滿足pal,secam或ntsc視頻的要求。通過使用更大的成像傳感器,高清晰度家庭數(shù)字攝像機可以錄制更高幀速和畫質(zhì)更好的圖像。當然,由于使用了更大的傳感器,這種攝像機的價錢更高。但是,傳統(tǒng)攝像機無法在超高幀速下錄制和處理圖像。
圖像處理是實現(xiàn)高速成像的主要障礙:所有的光子幾乎在同一瞬間到達各感應(yīng)單元并被計入同一“時間窗”,但是聚合圖像的處理器卻是順序處理這些數(shù)據(jù)。圖像感應(yīng)幾乎是并行的,圖像處理卻不是。因此,從邏輯上解決該問題的方案是應(yīng)用大規(guī)模并行處理。所以,每一個或每一組感應(yīng)單元應(yīng)該有專屬的處理器。除此之外為了實現(xiàn)高速成像,eutecus還應(yīng)用了人眼視覺特性仿真的技術(shù)。
大規(guī)模圖像并行處理
首先,我們要注意的是eutecus為了達到夢幻般的幀速這一目標使用了大規(guī)模并行處理,但同時還是犧牲了像素的分辨率和色彩。這是在目前半導(dǎo)體技術(shù)水平下無法避免的。eutecus最新的cvt感應(yīng)處理器僅能處理64×64像素,8或16位灰度級或者完全黑白的圖像。eutecus相信在同樣工藝結(jié)構(gòu)下可以制造出處理能力達到256×256像素圖像的芯片,大概是0.06兆像素。
與現(xiàn)今流行的10.2兆像素數(shù)字slr (single-lens teflex)相比,cvt的分辨率看起來有些低。但是這種分辨率已經(jīng)可以滿足很多應(yīng)用領(lǐng)域。例如,機器視覺,低分辨率的圖像足以讓機器人繞開小的物體和避免撞墻。在另一些應(yīng)用領(lǐng)域中,與記錄更多的細節(jié)相比,瞬間檢測高速進程中變化的能力更重要。比如就有客戶使用cvt成像系統(tǒng)研究玻璃摔碎瞬間碎片產(chǎn)生的過程。此外,和人類的眼睛關(guān)注視野中的細節(jié)一樣,cvt可以通過對大的區(qū)域里所感興趣的點進行快速計算來充分利用它有限的分辨率。
盡管在分辨率和色彩上做出了一些犧牲,cvt通過使用大規(guī)模圖像并行處理獲得的成就仍然令人印象深刻。芯片設(shè)計者可以用兩種基本的方法實現(xiàn)這一技術(shù)。第一種方法可以傳送最高幀速的圖像。它是由單一芯片組成的,這種芯片使用一種3d bump bonding的技術(shù)在處理單元頂上加上圖像感應(yīng)單元。
在數(shù)以千計的微小銦凸點上,感應(yīng)單元結(jié)合在處理單元頂部,構(gòu)成了緊密連接在一起的多層芯片。傳感器可以是傳統(tǒng)的cmos或ccd設(shè)備。但是,為了最大化性能,eutecus使用了一種少見的材料—砷化銦(ingaas)。砷化銦(ingaas)感應(yīng)器對光的敏感度比硅感應(yīng)器高大約十倍,因此它們可以在更短的曝光時間中記錄圖像,從而滿足高幀速的要求。處理器可以用傳統(tǒng)cmos工藝制造。
第2種實現(xiàn)cvt的基本方法是分別使用成像芯片和處理器陣列。邏輯上與第1種方法一樣,但物理結(jié)構(gòu)不盡相同。雖然有一個高速并行接口將成像
如果一幅圖像的數(shù)據(jù)量相當于一千個字符,那么100,000幅圖像的數(shù)據(jù)量有多大?能否設(shè)計一個數(shù)字成像系統(tǒng)來處理如此高幀速的圖像。這樣一個成像系統(tǒng)可以應(yīng)用于機器視覺,智能視頻系統(tǒng),瞬間事件的科學分析,工業(yè)過程監(jiān)控,互動游戲以及無人運輸器和導(dǎo)彈的制導(dǎo)系統(tǒng)等眾多領(lǐng)域。
2000年,來自匈牙利、西班牙和美國的科學家在布達佩斯成立了analogic計算機公司。該公司的目標就是設(shè)計每秒能存儲、分析和增強幾千幀圖像的數(shù)字成像系統(tǒng)。3年后,他們又在美國加利福尼亞州,伯克利城成立了analogic的后繼公司,eutecus。在美國導(dǎo)彈防御局以及海軍研究辦公室的許可下,他們開發(fā)了cellular visual technology(cvt).
cvt由大規(guī)模并行處理器和優(yōu)化成像處理軟件構(gòu)成。有些實現(xiàn)方法使用一種創(chuàng)新的半導(dǎo)體制造工藝把圖像傳感器和并行處理陣列直接結(jié)合在一起,創(chuàng)造出一個多層芯片。圖1是c-ton的照片。c-ton是第一款為商業(yè)市場設(shè)計的此類芯片。
公司首席技術(shù)官dr akos zarandy和dr csaba rekeczky 奔波于布達佩斯和伯克利之間。cvt技術(shù)的發(fā)明人,公司技術(shù)副主席,zarandy10月份在秋季微處理器論壇上發(fā)表了關(guān)于cvt的技術(shù)介紹。這篇文章也吸取了該技術(shù)的另一名發(fā)明人,公司研發(fā)副主席rekeczky的意見。
并非傳統(tǒng)數(shù)字相機
eutecus的設(shè)計與傳統(tǒng)數(shù)字相機以及家庭攝像機大相徑庭。經(jīng)典的數(shù)字相機有ccd或cmos成像傳感器,這些傳感器由微小感應(yīng)單元組成的陣列覆蓋而成。幾乎每個感應(yīng)單元都對應(yīng)一個像素。在曝光過程中,照射到感應(yīng)單元的光被轉(zhuǎn)化為電。也就是說,感應(yīng)單元將光子轉(zhuǎn)化為電子。照射到感應(yīng)單元上的光子越多,產(chǎn)生的電子越多,從而形成的像素越亮。經(jīng)過模數(shù)轉(zhuǎn)換,嵌在risc核中的傳統(tǒng)微處理器讀取每個感應(yīng)單元的值把像素聚合成圖像。然后經(jīng)過增強的圖像被存儲到照相機的閃存或其它存儲媒介上之前。
傳統(tǒng)數(shù)字相機的幀速很低,經(jīng)常是幾秒一幀而不是一秒幾幀。處理器讀取感應(yīng)單元數(shù)據(jù)和聚合圖像很費時間。為了解決這一問題,幾乎所有的數(shù)字相機都有緩存。前一次曝光的數(shù)據(jù)就存在這些緩存中供處理器進行處理,以便相機進行下一次曝光。
家庭數(shù)字攝像機有更大的緩存。通過降低像素分辨率,它每秒可以處理25到30幀圖像,滿足pal,secam或ntsc視頻的要求。通過使用更大的成像傳感器,高清晰度家庭數(shù)字攝像機可以錄制更高幀速和畫質(zhì)更好的圖像。當然,由于使用了更大的傳感器,這種攝像機的價錢更高。但是,傳統(tǒng)攝像機無法在超高幀速下錄制和處理圖像。
圖像處理是實現(xiàn)高速成像的主要障礙:所有的光子幾乎在同一瞬間到達各感應(yīng)單元并被計入同一“時間窗”,但是聚合圖像的處理器卻是順序處理這些數(shù)據(jù)。圖像感應(yīng)幾乎是并行的,圖像處理卻不是。因此,從邏輯上解決該問題的方案是應(yīng)用大規(guī)模并行處理。所以,每一個或每一組感應(yīng)單元應(yīng)該有專屬的處理器。除此之外為了實現(xiàn)高速成像,eutecus還應(yīng)用了人眼視覺特性仿真的技術(shù)。
大規(guī)模圖像并行處理
首先,我們要注意的是eutecus為了達到夢幻般的幀速這一目標使用了大規(guī)模并行處理,但同時還是犧牲了像素的分辨率和色彩。這是在目前半導(dǎo)體技術(shù)水平下無法避免的。eutecus最新的cvt感應(yīng)處理器僅能處理64×64像素,8或16位灰度級或者完全黑白的圖像。eutecus相信在同樣工藝結(jié)構(gòu)下可以制造出處理能力達到256×256像素圖像的芯片,大概是0.06兆像素。
與現(xiàn)今流行的10.2兆像素數(shù)字slr (single-lens teflex)相比,cvt的分辨率看起來有些低。但是這種分辨率已經(jīng)可以滿足很多應(yīng)用領(lǐng)域。例如,機器視覺,低分辨率的圖像足以讓機器人繞開小的物體和避免撞墻。在另一些應(yīng)用領(lǐng)域中,與記錄更多的細節(jié)相比,瞬間檢測高速進程中變化的能力更重要。比如就有客戶使用cvt成像系統(tǒng)研究玻璃摔碎瞬間碎片產(chǎn)生的過程。此外,和人類的眼睛關(guān)注視野中的細節(jié)一樣,cvt可以通過對大的區(qū)域里所感興趣的點進行快速計算來充分利用它有限的分辨率。
盡管在分辨率和色彩上做出了一些犧牲,cvt通過使用大規(guī)模圖像并行處理獲得的成就仍然令人印象深刻。芯片設(shè)計者可以用兩種基本的方法實現(xiàn)這一技術(shù)。第一種方法可以傳送最高幀速的圖像。它是由單一芯片組成的,這種芯片使用一種3d bump bonding的技術(shù)在處理單元頂上加上圖像感應(yīng)單元。
在數(shù)以千計的微小銦凸點上,感應(yīng)單元結(jié)合在處理單元頂部,構(gòu)成了緊密連接在一起的多層芯片。傳感器可以是傳統(tǒng)的cmos或ccd設(shè)備。但是,為了最大化性能,eutecus使用了一種少見的材料—砷化銦(ingaas)。砷化銦(ingaas)感應(yīng)器對光的敏感度比硅感應(yīng)器高大約十倍,因此它們可以在更短的曝光時間中記錄圖像,從而滿足高幀速的要求。處理器可以用傳統(tǒng)cmos工藝制造。
第2種實現(xiàn)cvt的基本方法是分別使用成像芯片和處理器陣列。邏輯上與第1種方法一樣,但物理結(jié)構(gòu)不盡相同。雖然有一個高速并行接口將成像
上一篇:大功率LED品質(zhì)測試
熱門點擊
- CMOS圖像傳感器簡議
- 用加速度傳感器來進行手勢識別器的設(shè)計
- 超聲波傳感器及應(yīng)用
- 超小型遙控直升機飛行姿態(tài)穩(wěn)定器的設(shè)計
- 汽車爆震傳感器測試系統(tǒng)
- 水工MPX2100壓力傳感器及其應(yīng)用
- 單電容式及差分電容式MEMS傳感器檢測系統(tǒng)
- MagnaChip 為 VGA CMOS推出
- 新一代晶圓級封裝技術(shù)解決圖像傳感器面臨的各種
- 基于三軸加速度傳感器的跌倒探測儀的研制
推薦技術(shù)資料
- 扇出型面板級封裝(FOPLP)
- 全球首款無掩模光刻系統(tǒng)—DSP
- 紫光閃存E5200 PCIe 5.0 企業(yè)級
- NAND Flash 技術(shù)和系
- 高性能DIMM 內(nèi)存數(shù)據(jù)技術(shù)封
- PCIe Gen4 SSD主控
- 多媒體協(xié)處理器SM501在嵌入式系統(tǒng)中的應(yīng)用
- 基于IEEE802.11b的EPA溫度變送器
- QUICCEngine新引擎推動IP網(wǎng)絡(luò)革新
- SoC面世八年后的產(chǎn)業(yè)機遇
- MPC8xx系列處理器的嵌入式系統(tǒng)電源設(shè)計
- dsPIC及其在交流變頻調(diào)速中的應(yīng)用研究