視覺傳感器在爬壁清洗機(jī)器人中的應(yīng)用

視覺傳感器在爬壁清洗機(jī)器人中的應(yīng)用,視覺,傳感器,清洗,機(jī)器人,中的,應(yīng)用,利用,運(yùn)用 視覺傳感器在爬壁清洗機(jī)器人中的應(yīng)用 摘要 本論文描述了視覺傳感器在高樓幕墻清洗機(jī)器人中的應(yīng)用。該機(jī)器人利用真空吸盤吸附移動(dòng)與于玻璃表面，并通過轉(zhuǎn)動(dòng)機(jī)器人靈活的關(guān)節(jié)以調(diào)整機(jī)器人的方向。由一個(gè)CCD相機(jī)和兩個(gè)激光二極管組成的視覺傳感器通常是來測(cè)量機(jī)器人相對(duì)的窗框玻璃表面位置和方向。視覺傳感器也用于要定位的清洗位置。本文還討論了視覺傳感器中的數(shù)學(xué)模型和評(píng)價(jià)方法。通過實(shí)驗(yàn)校準(zhǔn)的傳感器用于測(cè)量機(jī)器人的位置和方向，并且測(cè)量需要定位清洗的位置。實(shí)驗(yàn)結(jié)果證明了該方法的有效性。 關(guān)鍵字：爬壁機(jī)器人；視覺傳感； 玻璃清洗； 激光二極管 1.引言 為減輕人類從事危險(xiǎn)的工作,如清潔高樓大廈的玻璃表面、消防搶救、及檢查高木板及墻壁等，研發(fā)各種服務(wù)機(jī)器人的需求不斷增加。 圖1可以表明我們最近開發(fā)的攀登機(jī)器人系統(tǒng)其目的是利用吸力杯和一個(gè)移動(dòng)轉(zhuǎn)換機(jī)制來清潔高樓大廈玻璃。這種機(jī)器人最快速度能達(dá)到300米/分鐘，并有能力跨越裂縫和繞過小于35毫米高80毫米寬的障礙.機(jī)器人利用其靈活的腰部可輕易調(diào)整自己的方向。 要做好玻璃表面上的清潔工作，清掃機(jī)器人必須知道什么時(shí)候開始或停止的清潔工作， 如何控制方向(或移動(dòng)方向),及如何越過窗框。因此，有必測(cè)量機(jī)器人的方向， 機(jī)器人和窗框之間的距離, 機(jī)器人與污垢處的距離。 最近在[7.8]中報(bào)道了一些關(guān)于工程傳感系統(tǒng)清洗機(jī)器人的文章。在[7]中，超聲波聲納被應(yīng)用于自動(dòng)定位。在[8]中，所謂的‘合作定位系統(tǒng)’提出了重復(fù)搜索過程，直至達(dá)到目標(biāo)位置。然而，在玻璃表面爬墻機(jī)器人中，許多利用激光和超聲波傳感器等傳統(tǒng)的探測(cè)方法，不適用于測(cè)量機(jī)器人和窗戶框的距離。 這是因?yàn)榇翱虻母叨韧ǔ］^低而傳感器發(fā)出的光柱是難以達(dá)到這一高度的，除非架梁正平行于玻璃表面。 由于難以避免的安裝錯(cuò)誤，傳感器通常是很難確保光束平行于玻璃表面。因此，在機(jī)器人清洗玻璃表面的應(yīng)用中，這一問題需要得到解決。 1. X向氣缸 2. 清洗刷 3. 視覺傳感器 4. Y向氣缸 5. 吸盤 6. Z向氣缸 7. CPU 8. 旋轉(zhuǎn)氣缸 圖1. 爬壁機(jī)器人的主體結(jié)構(gòu) 攝像機(jī)常常用于機(jī)器人的定位，視覺伺服及視覺引導(dǎo) [9-15]。Malis [9]使用兩部相機(jī)來進(jìn)行2-D及5/2-D的視覺伺服且提出了多攝像機(jī)視覺伺服方法。不過，使用的一些鏡頭可能不適合的爬墻機(jī)器人，這是因?yàn)椋?）當(dāng)使用幾個(gè)鏡頭時(shí)，很難建立一個(gè)大區(qū)的交匯點(diǎn)，（2）使用一些相機(jī)增加了爬墻機(jī)器人的負(fù)荷重量,從而影響其安全?；谔卣骺臻g分析， 可以用一個(gè)相機(jī)從一個(gè)位置的多方向來確定機(jī)器人的位置。這種方法的缺點(diǎn)是測(cè)量結(jié)果可能隨環(huán)境變化而變化。 此外，深入的資料可能會(huì)遺失并且照相機(jī)和目標(biāo)物體的距離不能用傳統(tǒng)的相機(jī)測(cè)出。 在這項(xiàng)研究中,視覺傳感系統(tǒng)已成功地應(yīng)用于爬墻機(jī)器人，它是由一個(gè)能夠被定位的CCD相機(jī)和兩個(gè)固定在攝影機(jī)上的激光二極管組成。 使用單一相機(jī)有助于簡(jiǎn)化安裝和減輕整個(gè)系統(tǒng)的重量。兩架輕型激光器則固定在相機(jī)上，是視覺傳感器的‘眼睛' 。相機(jī)可以調(diào)整,以確保發(fā)現(xiàn)窗框或污垢處。 有了一只這樣的‘眼睛',機(jī)器人和窗框及污垢處的距離就可以測(cè)量出來。 有兩只的話,就可確定玻璃表面機(jī)器人的位置.擬議視覺傳感系統(tǒng)有三重優(yōu)點(diǎn)：第一，視覺傳感器可以根據(jù)三角理論，輕易而有效地測(cè)量出機(jī)器人的位置和方向。第二，有兩束激光二極管固定其上的照相機(jī)使機(jī)器人重量增加不及10克，因?yàn)閳D像處理系統(tǒng)安裝在地面上的主電腦上 。第三，它提供了電腦視頻,操作人可以直接監(jiān)督機(jī)器人的運(yùn)動(dòng)。 2.機(jī)器人系統(tǒng)的結(jié)構(gòu) 清洗機(jī)器人系統(tǒng)包括一個(gè)移動(dòng)式爬壁機(jī)器人,輔助車輛,壓縮機(jī)和一臺(tái)電腦,如圖2所示。攀登機(jī)器人貼在玻璃表面進(jìn)行清潔工作， 配套機(jī)車為其提供電力及清洗液，壓縮機(jī)當(dāng)作氣源.由于機(jī)器人和電腦相聯(lián)結(jié),操作人可以檢查和控制機(jī)器人的運(yùn)作。 圖2. 清洗機(jī)器人系統(tǒng) 圖3. 爬壁機(jī)器人的主要結(jié)構(gòu) 先進(jìn)的爬墻機(jī)器人長(zhǎng)1220毫米,寬1340毫米, 高370毫米,重量為30公斤. 機(jī)器人的身體主要是由兩個(gè)相互垂直桿缸組成, 如圖2所示。水平桿缸長(zhǎng)400毫米，垂直的是500毫米。交替發(fā)動(dòng)這兩個(gè)桿缸 ，機(jī)器人就會(huì)沿X或Y方向的運(yùn)動(dòng) 。如圖3所示，有四個(gè)較短z桿缸安裝在各桿缸兩端。伸縮或后退這四個(gè)桿缸的橫梁, 機(jī)器人就可以在z方向運(yùn)動(dòng). 在兩桿缸交叉處, 安裝了一個(gè)轉(zhuǎn)動(dòng)圓柱，被稱為機(jī)器人的腰，有了這個(gè)機(jī)器人就可繞Z支點(diǎn)左右旋轉(zhuǎn)。在水平桿缸的兩端安裝了兩個(gè)專門設(shè)計(jì)的刷子，它們都由一個(gè)擦吸系統(tǒng)構(gòu)成。 該擦拭裝置通過配套機(jī)車提供的清洗液擦洗臟黑的玻璃表面。吸收系統(tǒng)搜集污水并把它們返回至配套機(jī)車進(jìn)行回收。 機(jī)器人用吸管袋進(jìn)行粘連。在機(jī)器人的每只腳下都安裝了四個(gè)直徑為100毫米的吸管袋。這16個(gè)吸管袋足以承受15公斤的負(fù)荷。該機(jī)器人采用了平移機(jī)制的運(yùn)動(dòng)。 隨著運(yùn)作模式的粘,機(jī)器人可以完成一系列的提案,包括移動(dòng),旋轉(zhuǎn)及穿越障礙。旋轉(zhuǎn)機(jī)器人受可調(diào)旋轉(zhuǎn)桿缸的控制。機(jī)器人每步可繞z支點(diǎn)轉(zhuǎn)動(dòng)1.6度左右，直到達(dá)到預(yù)期的態(tài)勢(shì)。 該機(jī)器人的控制系統(tǒng)的基礎(chǔ)是一個(gè)主輔電腦。 主計(jì)算機(jī)(見圖 2)總部設(shè)在地面并直接受人操縱。 輔計(jì)算機(jī)嵌于在機(jī)器體中如圖3所示。 利用安裝在機(jī)器人上的信號(hào)傳感器發(fā)出的反饋信息，輔助計(jì)算機(jī)控制機(jī)器人的移動(dòng)和姿態(tài)來實(shí)現(xiàn)在玻璃表面上的自動(dòng)導(dǎo)航。通過視覺傳感系統(tǒng)及主輔計(jì)算機(jī)與RS422的連接，主電腦可獲取信息，查明機(jī)器人的位置。 在緊急情況下,操作員可根據(jù)實(shí)際情況直接控制機(jī)器人。 圖4. 攀登機(jī)器人在商業(yè)大廈外的現(xiàn)場(chǎng)演示 機(jī)器人通過交替吸吮及釋放安裝在縱橫交叉桿缸上的吸管杯來實(shí)現(xiàn)移動(dòng)的。輔助電腦打開或關(guān)閉信號(hào)來連接或拔下真空發(fā)生器的氣源, 實(shí)現(xiàn)吸吮或釋放相應(yīng)的吸管杯。真空公尺可衡量相關(guān)的真空吸管杯和檢查機(jī)器人的安全性。如果真空吸管杯指數(shù)少于40kpa, 主計(jì)算機(jī) 就收到一條警報(bào)信號(hào)。圖 4描繪了一架先進(jìn)的清洗機(jī)器人攀爬坐落在香港城市廣場(chǎng)的一棟商業(yè)大廈。 3. 視覺傳感技術(shù) 3.1視覺傳感硬件系統(tǒng) 視覺傳感硬件系統(tǒng)包括一個(gè)型號(hào)為索尼EVI-d30(j)面向CCD相機(jī), 兩根激光二極管及捕獲卡,如圖5所示. 照相機(jī)的控制弦接收來自計(jì)算機(jī)的指令。 照相機(jī)的視頻輸出舷將視頻信號(hào)發(fā)送到采集卡然后是顯示在電腦屏幕上,使操作人可以關(guān)注玻璃表面上機(jī)器人周圍的情況。固定在相機(jī)上的兩束激光二極管作為傳感系統(tǒng)的'眼睛', 會(huì)釋放出兩束激光以找到窗框并產(chǎn)生兩個(gè)激光點(diǎn)。相機(jī)和激光二極管的擺放姿態(tài)要隨電腦改變，確保光源能到達(dá)窗框。激光器的發(fā)射點(diǎn)是機(jī)器人的參考點(diǎn)。參考點(diǎn)到窗框的距離及機(jī)器人相對(duì)窗框的位置可以通過分析兩激光點(diǎn)在平面圖上的像素坐標(biāo)U和V來確定。 3.2 位置測(cè)量 測(cè)量中將會(huì)運(yùn)用到三角理論。 圖6（左視圖）說明了如何利用視覺傳感系統(tǒng)測(cè)量機(jī)器人的位置。 L表示激光器的發(fā)射點(diǎn)，L1是激光射在窗框的點(diǎn)， L2是L1在圖像平面上的對(duì)應(yīng)點(diǎn), 此處就是I表示的中央圖形。把相機(jī)的焦點(diǎn)看作起點(diǎn)并用F表示，建立一個(gè)用F-xbybzb表示的基地坐標(biāo)，此處xb坐標(biāo)軸平行于玻璃表面，垂直于窗框, yb坐標(biāo)軸則與玻璃表面和窗框都平行，zb坐標(biāo)軸垂直于xb-yb平面，如圖6所示。把F為同一起點(diǎn),可建立另一個(gè)被命名為照相機(jī)坐標(biāo)的框架，用F-xyz表示,此處的x軸平行與直線I-F即相機(jī)的主要輕支點(diǎn)，y同yb一樣都是坐標(biāo)框架的基礎(chǔ)，z垂直于x-y平面。 [x0,y0, z0]T、[x1,y1, z1]T [ x2,y2, z2]T分別表示點(diǎn)L, L1 L2的坐標(biāo)。用U和V表示坐標(biāo)在圖象平面上的坐標(biāo)，u0,v0為像素中央點(diǎn)I的坐標(biāo)。 因?yàn)榻裹c(diǎn)F位于線L1–L2上，則線L1–L2可用下式表示： （1） 定義為激光器相對(duì)照相機(jī)的傾斜角（繞y軸，逆時(shí)針）C為泛角（繞z軸，逆時(shí)針）。則線L–L1就可這樣表示： （2） 圖5 視覺傳感硬件系統(tǒng) 圖6 機(jī)器人位置的測(cè)量 從(1)和(2)中我們可以得出的坐標(biāo)點(diǎn)L1像素坐標(biāo)u, i.e。 [x1,y1, z1]T= +[x0,y0, z0]T （3） 其中 ， 其中dx和dy是兩個(gè)相鄰像素在兩個(gè)方向的圖像平面距離, 而F表示焦距。 L和L1的距離用|LL1|表示， （4） 定義a為相機(jī)在基地坐標(biāo)框架上的傾斜角度。L–L1與L–L3（平行與xb軸）之間的角度為 （5） 那么,點(diǎn)L和窗戶框的距離為： （6） 把(3)–(5)代入(6)中得出像素坐標(biāo)u,i.e中的d （7） 圖7. 機(jī)器人在玻璃面上 同樣的，如果機(jī)器人與兩窗框的距離d1和d2能用擬議視覺傳感方法測(cè)出，則d也可求出。值得注意是在測(cè)量距離時(shí)只需要一個(gè)激光二極管。 3.3 定位測(cè)量 圖8（視圖）描述了利用視覺傳感系統(tǒng)測(cè)量機(jī)器人的位置,此時(shí)需要兩個(gè)激光二極管。點(diǎn)A、B分別是激光二級(jí)光的發(fā)射點(diǎn)1和2。點(diǎn)A1和B1是窗框上相應(yīng)激光點(diǎn)。 C1和C2是激光二極管1和2相對(duì)相機(jī)的泛角。分別用[xL,yL, zL]T和[ xR,yR, zR]T表示左點(diǎn)A與右點(diǎn)B在相機(jī)坐標(biāo)框架中的位置。在x–y平面上，A–A1可以用表示為： （8） 注意像素坐標(biāo)的激光點(diǎn)A2在圖像平面上是ul和vl。在x-y平面, A2的坐標(biāo)是(f,dx(u0-ul))。那么 ，線F–A1可表示為： （9） 結(jié)合(8)和(9),可導(dǎo)出點(diǎn)A1的坐標(biāo)： （10） （11） 圖8. 機(jī)器人定位測(cè)量 圖9. 污垢位置的測(cè)量 同樣，假設(shè)xB1和 yB1,，可以推導(dǎo)出點(diǎn)B1的坐標(biāo)。最后，機(jī)器人相對(duì)窗框的泛角可得為： （12） 圖8所示，h表示機(jī)器人在玻璃上的位置，基于此機(jī)器人才可轉(zhuǎn)動(dòng)其腰部,以達(dá)成預(yù)期的態(tài)勢(shì)。 3.4 污垢位置的測(cè)量 圖 9(視圖)說明如何運(yùn)用定位傳感系統(tǒng)確定污垢處。 首先,激光二極管掃描整個(gè)窗戶玻璃面。然后,利用相機(jī)和兩臺(tái)激光二極管找到污垢并記錄起圖象。不需要太多時(shí)間去完成這些步驟,因?yàn)椴僮魅藛T可以幫助機(jī)器人很快找到污垢,然后向機(jī)器人發(fā)出進(jìn)測(cè)量指令。二極管是固定在相機(jī)上的，它們的相對(duì)位置和姿態(tài)在獲取污垢位置的過程中不能改變。 用3.2部分的同樣方法，通過分析激光點(diǎn)在圖像平面上的U或V坐標(biāo)可測(cè)出機(jī)器人和污垢處的距離。在得出機(jī)器人與污垢間距離及相機(jī)泛角的基礎(chǔ)上，就可確定污垢位置。 4.試驗(yàn) 室內(nèi)實(shí)驗(yàn)是測(cè)量機(jī)器人和窗框的距離，確定機(jī)器人位置；測(cè)量機(jī)器人相對(duì)窗框的泛角,以確定該機(jī)器人方向；確定污垢位置。在實(shí)驗(yàn)中,相機(jī)的姿勢(shì)，泛度(-100度到100度)和傾斜角(-25度到25度),受主計(jì)算機(jī)的調(diào)控。用模式識(shí)別技術(shù)來確定是否光源到達(dá)了窗框以獲得對(duì)激光點(diǎn)在窗框的圖象。 4.1機(jī)器人位置的測(cè)量 首先，通過獲取機(jī)器人在玻璃表面不同標(biāo)定位置的圖象及分析激光點(diǎn)U或V的座標(biāo)可以標(biāo)定視覺傳感系統(tǒng)。用最小二乘擬合 距離這次機(jī)器人和窗框可從刻度為2293mm u坐標(biāo)左邊的激光點(diǎn)ul(像素)和傾斜角度的相機(jī)(deg)。 詳細(xì)的程序標(biāo)定列在以下方面: 1. 讓機(jī)器人向任意位置移動(dòng)，并測(cè)量機(jī)器人與窗框之間的距離 （例如距離D為100毫米) 然后用相機(jī)記錄下傾斜角a和像素坐標(biāo)ur(和UL)。 2. 讓機(jī)器人移動(dòng)到其他位置,并且并取得了一系列的校驗(yàn)數(shù)據(jù)。 3. 從等式(7)中用最小二乘擬合方法得到系數(shù)a1、a2、a3和b 通過以上校準(zhǔn)程序,我們得到a1=16.67、a2=185839.97和a3 = 1286.21。 （13） 用類似的方法, 距離D可轉(zhuǎn)換成激光點(diǎn)u坐標(biāo)的功能，比如： （14） 兩束激光點(diǎn)v坐標(biāo)的距離功能在不斷變化。通過對(duì)比，我們發(fā)現(xiàn)在這個(gè)實(shí)驗(yàn)中用u坐標(biāo)測(cè)出的距離比用更精確V坐標(biāo)測(cè)出的更精確. 圖10 和11分別描述了等式(13)及(14)的 關(guān)系。 在隨后的實(shí)驗(yàn) ，等式 (13)被用來測(cè)量機(jī)器人在玻璃表面上的位置. 實(shí)驗(yàn)結(jié)果即測(cè)量誤差與測(cè)量距離之間的關(guān)系如圖 12中所示，此處平方點(diǎn)代表不同距離的測(cè)量誤差, 而固體線指的是一種隨距離增加而產(chǎn)生的測(cè)量誤差趨勢(shì). 當(dāng)照相機(jī)逆時(shí)針轉(zhuǎn)動(dòng)90度時(shí),機(jī)器人與左窗框之間的距離及像機(jī)傾角就可以測(cè)量出來。 為了解決這個(gè)測(cè)量距離誤差累積的問題，視覺傳感器在一系列測(cè)量后需要復(fù)位。值得注意的是相機(jī)畸變可能會(huì)影響測(cè)量d。從圖12可以看到當(dāng)距離不是很大(即<1000毫米)是測(cè)量誤差是很小的。在發(fā)生大的距離，鏡頭畸變就應(yīng)該加以考慮。 圖10 機(jī)器人與窗框距離---左側(cè)激光點(diǎn)u坐標(biāo)及相機(jī)傾角 圖11 機(jī)器人與窗框距離---右側(cè)激光點(diǎn)u坐標(biāo)及相機(jī)傾角 圖12 機(jī)器人測(cè)量誤差趨勢(shì) 4.2　機(jī)器人方向的測(cè)量 通過找到機(jī)器人方向和圖象中左右激光點(diǎn)的U坐標(biāo)之間的關(guān)系，視覺傳感系統(tǒng)可得到進(jìn)一步標(biāo)定 。用最小二乘法,可以從標(biāo)定中得出以下關(guān)系： ,　　　　 （15）　 圖13說明了泛角h與ul和ur坐標(biāo)之間的關(guān)系，泛角與測(cè)量誤差之間的關(guān)系已在圖14中顯示。此處平方點(diǎn)代表不同距離的測(cè)量誤差, 而固體線指的是一種隨距離增加而產(chǎn)生的測(cè)量誤差趨勢(shì)。應(yīng)該注意泛角誤差對(duì)整個(gè)測(cè)量誤差可能會(huì)產(chǎn)生影響。然而在某些應(yīng)用方面，泛角誤差對(duì)距離測(cè)量誤差的影響不是很大。在我們的實(shí)驗(yàn)中，發(fā)現(xiàn)當(dāng)機(jī)器人在玻璃表面爬行超過水平方向2米時(shí)，機(jī)器人的泛角將會(huì)小于6度。 重力的作用將會(huì)影響機(jī)器人的位置，尤其是當(dāng)這個(gè)機(jī)器人在水平方向爬行時(shí)，在我們的實(shí)驗(yàn)中，發(fā)現(xiàn)當(dāng)機(jī)器人在玻璃表面爬行超過水平方向2米時(shí)，機(jī)器人的泛角將會(huì)小于6度。當(dāng)這個(gè)泛角按順時(shí)針測(cè)量時(shí)，機(jī)器人就會(huì)順時(shí)針旋轉(zhuǎn)它的腰，以達(dá)到預(yù)期的水平或垂直的位置。當(dāng)這個(gè)泛角按逆時(shí)針測(cè)量時(shí)，機(jī)器人就會(huì)逆時(shí)針旋轉(zhuǎn)它的腰，以達(dá)到預(yù)期的位置。 圖13 基于機(jī)器人位置的測(cè)量 圖14 位置測(cè)量誤差趨向 4．3 污垢位置的測(cè)量 模式識(shí)別技術(shù)用于找出污垢進(jìn)行清理,然后獲取激光點(diǎn)的圖象。圖15描繪了圖象定位污垢處。等式（14)被用來測(cè)量機(jī)器人和污垢處的距離。在測(cè)量了距離及相機(jī)泛角度的基礎(chǔ)上, 才能確定污垢的位置。定位污垢處的實(shí)驗(yàn)結(jié)果見表1 圖15 用于定位污垢的圖象 (deg) 傾斜角度 像素坐標(biāo)u（piexl） D（mm） 測(cè)量錯(cuò)誤（mm） 1 37 11 1364 798．2 （2.6,3.7） 2 65 17 1400 633.3 (3.2,1.6) 3 52 22 1410 577.0 (2.5,2.1) 4 53 11.6 1370 768.6 (3.5,2.6) 5 54 5 1325 1066.1 (7.1,3.4) 6 75 2.4 1311 1205.6 (10.3,2.0) 7 67 9 1348 890.3 (6.1,2.0) 8 65 5 1327 1050.1 (7.7,2.6) 9 78 10.4 1358 830.0 (5.9,1.4) 表一 用于定位污垢的試驗(yàn)結(jié)果 5.結(jié)論 本文描述了視覺傳感應(yīng)用的爬墻機(jī)器人清洗玻璃的高樓大廈。機(jī)器人以黏附的方式吸附在墻面上，并可以方便地移動(dòng)和轉(zhuǎn)動(dòng)。在機(jī)器人上安裝的視覺傳感系統(tǒng)是由一臺(tái)已經(jīng)定位的CCD照相機(jī)，二個(gè)激光二極管和其他輔助部分組成。基于校準(zhǔn)實(shí)驗(yàn)，已經(jīng)定位的機(jī)器人有其位置定向之間的關(guān)系， 在這幅圖像內(nèi)可以知道的兩個(gè)激光點(diǎn)的同等物，和照相機(jī)的傾斜角度。使用這些關(guān)系，可以方便地測(cè)量出機(jī)器人的位置和方向，并且要被清潔的臟的地方也可以找到。實(shí)驗(yàn)結(jié)果證明這個(gè)視覺傳感系統(tǒng)應(yīng)用在爬壁機(jī)器人是有效的。