機(jī)器人視覺(jué)與觸覺(jué)的融合在智能機(jī)器人中，手眼系統(tǒng)是最具有代表性的，通過(guò)這AD8611ARZ些機(jī)器人可以進(jìn)行物體的識(shí)別、測(cè)量和控制。由于有了可以進(jìn)行觸摸的機(jī)械手，可以用視覺(jué)信息引導(dǎo)觸覺(jué)系統(tǒng)的運(yùn)動(dòng)，同時(shí)觸覺(jué)系統(tǒng)反過(guò)來(lái)又能驗(yàn)證視覺(jué)系統(tǒng)的結(jié)果。圖5-50所示是一個(gè)典型的手眼系統(tǒng)，可以用來(lái)識(shí)別普通的沒(méi)有明顯紋理特征及顏色相近的物品，這對(duì)于單純的視覺(jué)系統(tǒng)來(lái)說(shuō)是非常困難的。如果這時(shí)只利用視覺(jué)識(shí)別系統(tǒng)，那么就會(huì)缺少用以匹配及深度分析的特征。通過(guò)融合視覺(jué)信息和觸覺(jué)信息可以有效地識(shí)別洞、坑和曲面形狀等信息。

   這種手眼系統(tǒng)的一殷工作可分為如下五個(gè)步驟。

   ①利用二維視覺(jué)處理技術(shù)確定邊界區(qū)域，利用立體視覺(jué)確定物體的質(zhì)心，由此作為觸覺(jué)探測(cè)的起點(diǎn)，同時(shí)立體視覺(jué)可以提供對(duì)深度和朝向的初步計(jì)算結(jié)果，并除去由遮攔、噪聲等原因形成的孤立特征。在只有視覺(jué)處理的系統(tǒng)中，對(duì)于非稠密的深度只有通過(guò)內(nèi)插來(lái)估計(jì)。借助于觸覺(jué)可以大大提高內(nèi)插的精度。

   ②利用觸覺(jué)系統(tǒng)進(jìn)一步檢查視覺(jué)系統(tǒng)識(shí)別到每個(gè)區(qū)域，以決定其是表面還是洞或坑。

   ③對(duì)于平滑區(qū)域，利用視覺(jué)和前面觸覺(jué)的結(jié)果以及當(dāng)前的觸覺(jué)信息相融合，生成與模型數(shù)據(jù)庫(kù)相匹配的三維表面，從與表面相連的位置開(kāi)始。觸覺(jué)通道利用結(jié)點(diǎn)決定表面蹤跡的方向，將這些點(diǎn)沿著每條蹤跡連接成閉合曲線，用以補(bǔ)充立體視覺(jué)處理過(guò)程中獲取的信息。

   ④利用表面和閉合曲線（對(duì)應(yīng)孔或坑）與模型數(shù)據(jù)庫(kù)相匹配，得到與傳感信息一致的物體。如果一致的物體是多個(gè)，那么用概率測(cè)量，需要驗(yàn)證的物體進(jìn)行排隊(duì)。

   ⑤一旦確定了與數(shù)據(jù)庫(kù)對(duì)應(yīng)的物體，下一步需要對(duì)未被感知的特征進(jìn)行驗(yàn)證。對(duì)于視覺(jué)上被遮擋的洞和坑就需要用觸覺(jué)感知來(lái)檢測(cè)，但只靠觸覺(jué)感很難的，因此視覺(jué)檢測(cè)在這里所起的作用是對(duì)觸覺(jué)系統(tǒng)的引導(dǎo)和確定，需要觸覺(jué)探測(cè)的區(qū)域。