基于機(jī)器視覺(jué)的工件智能抓取技術(shù)研究薈萃資料

《基于機(jī)器視覺(jué)的工件智能抓取技術(shù)研究薈萃資料》由會(huì)員分享，可在線(xiàn)閱讀，更多相關(guān)《基于機(jī)器視覺(jué)的工件智能抓取技術(shù)研究薈萃資料（20頁(yè)珍藏版）》請(qǐng)?jiān)谘b配圖網(wǎng)上搜索。

1、 基于機(jī)器視覺(jué)的工業(yè)機(jī)器人工件搬運(yùn)技術(shù)研究 1.1研究背景 自 19 世紀(jì) 60 年代問(wèn)世以來(lái)，工業(yè)機(jī)器人不斷發(fā)展和完善，現(xiàn)已得到廣泛應(yīng)用，機(jī)器人產(chǎn)業(yè)也逐漸成熟。目前，全世界已擁有 100 多萬(wàn)臺(tái)工業(yè)機(jī)器人廣泛應(yīng)用在焊接、搬運(yùn)、裝配、噴涂、修邊、拾料、包裝、堆垛和上下料等單調(diào)或復(fù)雜的作業(yè)中，為企業(yè)節(jié)約了大量的勞動(dòng)成本，大大提高了勞動(dòng)生產(chǎn)率。工業(yè)機(jī)器人是面向工業(yè)領(lǐng)域的多關(guān)節(jié)機(jī)械手或多自由度的機(jī)器人，它在穩(wěn)定產(chǎn)品品質(zhì)、提高生產(chǎn)效率和改善勞動(dòng)條件等方面有著十分重要的作用，它的應(yīng)用能夠使企業(yè)大大縮短新產(chǎn)品的換產(chǎn)周期和節(jié)約勞動(dòng)成本，從而提高了產(chǎn)品的市場(chǎng)競(jìng)爭(zhēng)力。 隨著當(dāng)代工業(yè)革命深入發(fā)展，工業(yè)生產(chǎn)

2、日益趨向自動(dòng)化，工業(yè)機(jī)器人技術(shù)也正朝著智能、柔性的方向發(fā)展。許多發(fā)達(dá)國(guó)家對(duì)于智能工業(yè)機(jī)器人的研究都較為重視，我國(guó)也早已將其納入國(guó)家高科技發(fā)展規(guī)劃。國(guó)家層面的重視也必將給工業(yè)機(jī)器人技術(shù)帶來(lái)新的跨越式發(fā)展，機(jī)器人的發(fā)展也必將對(duì)社會(huì)經(jīng)濟(jì)和生產(chǎn)力的發(fā)產(chǎn)生更加深遠(yuǎn)的影響 1.2 研究目的和意義 對(duì)于工作在自動(dòng)化生產(chǎn)線(xiàn)上或柔性制造系統(tǒng)中的工業(yè)機(jī)器人來(lái)說(shuō)，其完成最多的一類(lèi)操作是“抓取—放置”動(dòng)作，比如流水線(xiàn)上的工件搬運(yùn)、裝配以及各工位之間的工件轉(zhuǎn)移和上下料。機(jī)器人要完成這類(lèi)操作是經(jīng)過(guò)復(fù)雜計(jì)算的：首先，機(jī)器人必須知道怎么抓，其次機(jī)器人應(yīng)該知道怎么放；同時(shí)在這個(gè)過(guò)程還要伴隨著機(jī)器人運(yùn)動(dòng)學(xué)分析的過(guò)程。傳統(tǒng)的工

3、業(yè)機(jī)器人完成這類(lèi)操作，必須經(jīng)過(guò)精確的逐點(diǎn)示教后，才能一步一步的按照固定程序執(zhí)行。在這個(gè)過(guò)程中，工件相對(duì)于機(jī)器人的初始位姿（位置和姿態(tài)）和終止位姿是事先規(guī)定的，但很多情況下，特別是流水線(xiàn)場(chǎng)合，工件的位姿常常是不固定的。這就導(dǎo)致實(shí)際目標(biāo)工件的位姿與理想工件位姿總是有偏差的，這種偏差哪怕很小都會(huì)導(dǎo)致機(jī)器人操作任務(wù)的失敗。這種由于環(huán)境的變化而導(dǎo)致機(jī)器人不能很好地完成任務(wù)的情況極大地限制了機(jī)器人的實(shí)際應(yīng)用。這就要求工業(yè)機(jī)器人具備一定的環(huán)境適應(yīng)能力，即工業(yè)機(jī)器人智能化。智能工業(yè)機(jī)器人的智能特征在于它具有與外部世界、對(duì)象、環(huán)境和人相互協(xié)調(diào)的工作機(jī)能，具體表現(xiàn)在機(jī)器視覺(jué)、接近覺(jué)、觸覺(jué)和力覺(jué)等方面。機(jī)器視覺(jué)是用

4、機(jī)器代替人眼來(lái)做測(cè)量和判斷的，其本質(zhì)是使計(jì)算機(jī)具有認(rèn)知周?chē)h(huán)境信息的能力。這種能力不僅使機(jī)器能感知周?chē)矬w的形狀、位置、姿態(tài)、運(yùn)動(dòng)等等信息，而且能相應(yīng)地對(duì)這些信息進(jìn)行描述、理解和識(shí)別。將機(jī)器視覺(jué)與機(jī)器人結(jié)合到一起，也就產(chǎn)生了機(jī)器人視覺(jué)。機(jī)器人視覺(jué)技術(shù)是用來(lái)模擬人類(lèi)視覺(jué)，使機(jī)器人通過(guò)獲取視覺(jué)信息從而對(duì)操作環(huán)境進(jìn)行判別，給機(jī)器人賦予更強(qiáng)大的應(yīng)對(duì)能力，大大增強(qiáng)了機(jī)器人的柔性。因而基于視覺(jué)引導(dǎo)的機(jī)器人擁有著廣闊的發(fā)展空間，具有重要的科研和應(yīng)用價(jià)值。 1.3 國(guó)內(nèi)外現(xiàn)狀 目前，機(jī)器視覺(jué)技術(shù)已經(jīng)從最初的實(shí)驗(yàn)室階段逐漸走向成熟，并且在工業(yè)生產(chǎn)線(xiàn)上已經(jīng)有實(shí)際應(yīng)用。德國(guó)、日本、美國(guó)和韓國(guó)處在智能工業(yè)機(jī)器人領(lǐng)

5、域應(yīng)用研究的前沿。日本從最初的模仿到現(xiàn)在的獨(dú)創(chuàng)，找到了自己的技術(shù)創(chuàng)新之路。德國(guó)西門(mén)子公司也緊跟著時(shí)代的步伐，將機(jī)器視覺(jué)滲透到各個(gè)領(lǐng)域，應(yīng)用到汽車(chē)發(fā)動(dòng)機(jī)裝配，生產(chǎn)線(xiàn)工件分揀等領(lǐng)域。美國(guó)更是機(jī)器人技術(shù)的創(chuàng)新發(fā)源地，其機(jī)器視覺(jué)廣泛應(yīng)用在工業(yè)和軍事上，機(jī)械手經(jīng)銷(xiāo)商，包括 Fanuc 公司，Motman 公司和 Staubli 公司都推出了“揀選”系統(tǒng)。 如圖 1.1 所示，日本川崎設(shè)計(jì)的工業(yè)機(jī)器人主要應(yīng)用在基于視覺(jué)系統(tǒng)的大型物品裝卸、樹(shù)脂成形機(jī)械抓取和汽車(chē)車(chē)門(mén)的邊角打磨工程等領(lǐng)域。這種機(jī)器人可以結(jié)合具體的實(shí)際應(yīng)用和目標(biāo)方法，配置不同的選裝件和相關(guān)參數(shù)，能夠適應(yīng)各種應(yīng)用場(chǎng)合。通過(guò)使用機(jī)器人內(nèi)部搭載標(biāo)準(zhǔn)

6、的機(jī)器人語(yǔ)言，它還可以實(shí)現(xiàn)高性能的動(dòng)作控制和時(shí)序控制。 圖 1.1基于視覺(jué)系統(tǒng)的大型物品裝卸 圖 1.2所示的是美國(guó)普渡大學(xué)研究的一種基于視覺(jué)控制的 Bin-picking 系統(tǒng)，該系統(tǒng)可以從多種零件中分揀出圓形零件，它是通過(guò)簡(jiǎn)單的圓弧邊界特征來(lái)識(shí)別圓形零件的。圖 1.3 所示的是瑞典 ABB 公司最新推出的第二代拾取機(jī)器人 FlexPicker IRB360，該機(jī)器人擁有有效載荷大、操作速度快、簡(jiǎn)單有效等優(yōu)點(diǎn)，能夠在 2D 視覺(jué)的幫助下，以高達(dá) 2 次/秒的速度撿取傳送帶上的物品?？偟膩?lái)說(shuō)，美國(guó)、日本、歐洲一些發(fā)達(dá)國(guó)家在機(jī)器人視覺(jué)技術(shù)有著豐富的經(jīng)驗(yàn)，已經(jīng)開(kāi)發(fā)出多款成熟產(chǎn)品，廣泛應(yīng)

7、用在微裝配、空間和軍事領(lǐng)域。 圖1.2 Bin-Picking機(jī)器人 圖1.3 ABB Flex-Picker機(jī)器人 我國(guó)對(duì)工業(yè)機(jī)器人的研究起步較晚，從 90 年代初期起，我國(guó)在工業(yè)機(jī)器人領(lǐng)域才取得一定的進(jìn)展。隨著近幾年科技的進(jìn)步，我國(guó)在這方面發(fā)展迅速，取得了不少科研成果，機(jī)器人的結(jié)構(gòu)和控制理論不斷得到創(chuàng)新，生產(chǎn)制造工藝也逐漸成熟，不斷有自主知識(shí)產(chǎn)權(quán)的機(jī)器人產(chǎn)品相繼問(wèn)世，此外還相繼建立了 20 多個(gè)機(jī)器人產(chǎn)業(yè)化基地，實(shí)施了 100 多項(xiàng)機(jī)器人應(yīng)用工程，機(jī)器人產(chǎn)業(yè)不斷壯大和發(fā)展。 新松機(jī)器人自動(dòng)化股份有限公司研制機(jī)器人是擁有自主

8、知識(shí)產(chǎn)權(quán)和核心技術(shù)的工業(yè)搬運(yùn)機(jī)器人，它可用于鍛造生產(chǎn)和鑄件落砂等工作條件惡劣的場(chǎng)合，降低工人的勞動(dòng)強(qiáng)度。北京航空航天大學(xué)于 1994 年成功研制了七自由度機(jī)器人操作臂，并且研制出一系列改進(jìn)型的冗余自由度機(jī)器人實(shí)驗(yàn)樣機(jī)。方躍提出了采用靈活角來(lái)度量操作器靈活程度，將機(jī)器人的工作空間根據(jù)靈活程度的不同劃分為相應(yīng)的有限靈活工作空間，高同以梯度投影法為基礎(chǔ)，采用線(xiàn)性加權(quán)法，研究冗余度機(jī)器人的多指標(biāo)融合優(yōu)化問(wèn)題。冗余自由度機(jī)器人另一個(gè)研究重點(diǎn)是運(yùn)動(dòng)學(xué)逆解，如圖 1.5所示，為深圳眾為興技術(shù)股份有限公司生產(chǎn)的四自由度分揀機(jī)器人。該機(jī)器人在分類(lèi)分揀的應(yīng)用中具有視覺(jué)導(dǎo)引功能，重點(diǎn)介紹了眾為興 SCARA 機(jī)器人

9、及視覺(jué)系統(tǒng)，并在現(xiàn)場(chǎng)用實(shí)物生動(dòng)展示了具有視覺(jué)功能的眾為興機(jī)器人在分類(lèi)分揀的應(yīng) 用。眾為興公司開(kāi)發(fā)研制的 SCARA 機(jī)器人，可應(yīng)用在搬運(yùn)、分揀一些較小的規(guī)則工件。 圖1.5眾為興展出的SCARA機(jī)器人 1.4 本課題的研究?jī)?nèi)容 本文是針對(duì)基于視覺(jué)引導(dǎo)的工業(yè)機(jī)器人工件搬運(yùn)技術(shù)進(jìn)行的研究，簡(jiǎn)單的講，就是在一臺(tái) 6 軸的工業(yè)機(jī)器人的基礎(chǔ)上引入機(jī)器視覺(jué)，利用機(jī)器人對(duì)視覺(jué)的理解，完成工業(yè)生產(chǎn)中工件的抓取和放置操作。在這個(gè)操作過(guò)程中，工件識(shí)別與定位和機(jī)器人運(yùn)動(dòng)學(xué)反解是兩個(gè)關(guān)鍵環(huán)節(jié)。工件識(shí)別與定位是為機(jī)器人提供操作和如何操作的信息，而機(jī)器人運(yùn)動(dòng)學(xué)反解的準(zhǔn)確性直接影響到操作能否完成和相應(yīng)的操作精度

10、。整個(gè)工件搬運(yùn)的具體流程是：在機(jī)器人工作之前，先通過(guò)上方攝像機(jī)實(shí)時(shí)地采集工件圖像，并送到圖像處理系統(tǒng)，以便確定所感興趣的工件以及該工件相對(duì)于機(jī)器人的位姿，最后將位姿信息反解成工業(yè)機(jī)器人熟悉的關(guān)節(jié)角度和角度控制信息，從而實(shí)現(xiàn)利用視覺(jué)引導(dǎo)機(jī)器人準(zhǔn)確地抓取工件。同時(shí)根據(jù)已抓取工件的放置要求，進(jìn)一步引導(dǎo)機(jī)器人完成工件的定點(diǎn)放置，從而實(shí)現(xiàn)機(jī)器人搬運(yùn)操作。 本課題的研究?jī)?nèi)容圍繞物體識(shí)別這個(gè)中心展開(kāi)，主要包括以下幾個(gè)方面： 1. 如何獲取圖像 獲取圖像是進(jìn)行本課題研究的前提，順利的通過(guò)攝像頭設(shè)備獲取到原始圖像是一切研究的根本 2. 如何對(duì)圖像進(jìn)行預(yù)處理 視覺(jué)系統(tǒng)中直接使用的圖像，必須在進(jìn)行

11、灰度校正、噪聲過(guò)濾等圖像預(yù)處理。將圖像中感興趣的特征有選擇地突出，衰減其不需要的特征，預(yù)處理后的輸出圖像并不需要去逼近原圖像。 3. 如何對(duì)預(yù)處理以后的圖像進(jìn)行特征識(shí)別和特征提取 已經(jīng)把待測(cè)目標(biāo)工件進(jìn)行過(guò)圖像預(yù)處理，接下來(lái)要針對(duì)靜態(tài)工件的特征提取，最后要根據(jù)已經(jīng)提取的目標(biāo)工件的特征進(jìn)行分類(lèi)。特征提取的意義于要區(qū)分不同種類(lèi)的工件就要把它們之間不同的信息提取出來(lái)，作為識(shí)別的前提條件。一般來(lái)說(shuō)，提取普通特征包括周長(zhǎng)、邊緣、面積、曲率、角度和物體質(zhì)心等 4. 如何根據(jù)提取的特征對(duì)目標(biāo)進(jìn)行分類(lèi)和目標(biāo)定位 目標(biāo)分類(lèi)是指對(duì)得到的不同目標(biāo)進(jìn)行區(qū)分并將其歸為某一已知類(lèi)的過(guò)程。對(duì)于圖像目標(biāo)來(lái)說(shuō)通常利用圖像

12、特征來(lái)對(duì)目標(biāo)進(jìn)行描述，然后對(duì)其分類(lèi)。通過(guò)模版匹配計(jì)算目標(biāo)上空間點(diǎn)和像素點(diǎn)之間的對(duì)應(yīng)關(guān)系。然后創(chuàng)建模版，對(duì)后續(xù)的圖像進(jìn)行目標(biāo)定位。 5. 如何跟蹤目標(biāo) 對(duì)于運(yùn)動(dòng)的目標(biāo)，通過(guò)跟蹤能夠得到目標(biāo)的速度和加速度，并可以對(duì)將來(lái)目標(biāo)出現(xiàn)的位置進(jìn)行預(yù)測(cè) 6.如何將目標(biāo)在圖像中的位置轉(zhuǎn)化到機(jī)器人基坐標(biāo)系中并進(jìn)行機(jī)器人運(yùn)動(dòng)學(xué)反解 通過(guò)相機(jī)標(biāo)定得到圖像坐標(biāo)與機(jī)器人基坐標(biāo)之間的轉(zhuǎn)換關(guān)系，將目標(biāo)在圖像中的位置信息轉(zhuǎn)化為機(jī)器人基坐標(biāo)系中的具體坐標(biāo)，并通過(guò)該坐標(biāo)進(jìn)行機(jī)器人運(yùn)動(dòng)學(xué)逆解，得到關(guān)節(jié)運(yùn)動(dòng)信息 7. 如何規(guī)劃路徑并控制機(jī)器人進(jìn)行目標(biāo)抓取 通過(guò)前面得到的運(yùn)動(dòng)學(xué)逆解，合理的設(shè)置機(jī)器人抓取運(yùn)動(dòng)規(guī)劃，包括路徑規(guī)劃

13、和手部抓取規(guī)劃，路徑規(guī)劃是研究按照何種路徑，將機(jī)器人手部坐標(biāo)系的原點(diǎn)和目標(biāo)抓取坐標(biāo)系的原點(diǎn)重合的問(wèn)題，抓取點(diǎn)規(guī)劃是針對(duì)不同形狀的物體，如何選擇合適夾持點(diǎn)位置的問(wèn)題。 1.5本課題的研究方法 1.5.1獲取圖像 1)硬件介紹 一個(gè)穩(wěn)定的視覺(jué)系統(tǒng)的構(gòu)建需要根據(jù)任務(wù)的特點(diǎn)和現(xiàn)場(chǎng)環(huán)境的特點(diǎn)進(jìn)行，例如精度，目標(biāo)尺寸，檢測(cè)速度，安裝空間大小等要求，都將影響系統(tǒng)硬、軟件的選擇。典型的視覺(jué)系統(tǒng)包括的硬件很多，但最重要的最基本的三件設(shè)備是：光源、鏡頭和相機(jī)。本節(jié)主要給出本系統(tǒng)所用硬件的參數(shù)并對(duì)其進(jìn)行簡(jiǎn)單介紹 1.光源 由于所有非發(fā)光物體都是通過(guò)反射光才能在傳感器上留下影像，所以光源的正確選擇是保證視

14、覺(jué)系統(tǒng)正常工作的基礎(chǔ)。在選擇視覺(jué)系統(tǒng)光源時(shí)要注意，使用的光源要把感興趣目標(biāo)和背景區(qū)分開(kāi)來(lái)，削減非關(guān)心目標(biāo)或噪聲的干擾，并且光源本身不會(huì)帶來(lái)額外的干擾， 2. 鏡頭 鏡頭與人眼的晶狀體具有類(lèi)似的功能，如果沒(méi)有安裝鏡頭進(jìn)行拍攝，得到的圖像將是花白色，不包含任何場(chǎng)景信息。所以鏡頭的作用是匯聚目標(biāo)反射回的光，在感光原件上產(chǎn)生細(xì)節(jié)豐富，銳利的圖像。鏡頭的參數(shù)選擇一般是根據(jù)配用的攝像機(jī)感光原件的大小來(lái)進(jìn)行的，如果二者的參數(shù)不合適，將出現(xiàn)圖像記錄不完整，視場(chǎng)角不符合要求或者畫(huà)面在焦點(diǎn)外的問(wèn)題本文選擇的是COMUPTAR公司的M0814-MP2型號(hào)的鏡頭，參數(shù)如表所示： 性能指標(biāo) 參數(shù) 靶面尺寸

15、2/3’’ 焦距 8 最大成像尺寸 8.8*6.6 控制 光圈 手動(dòng) 聚焦 手動(dòng) 變焦 手動(dòng) 接口 C-接口 尺寸 33.5*28.2 3. 攝像機(jī) 本系統(tǒng)使用的是Basler公司的acA2500-14gm型號(hào)的工業(yè)相機(jī)，如圖所示，該相機(jī)的性能指標(biāo)和參數(shù)如表所示： 圖3 Basler acA2500-14gm型號(hào)工業(yè)相機(jī) 性能指標(biāo) 參數(shù) 傳感器類(lèi)型 Aptina MT9P CMOS, rolling shutter 有效圖像元素 2592*1944 像素尺寸 2.2 x 2.2 數(shù)據(jù)位數(shù) 12 鏡頭接口 C-mount, CS

16、-mount 傳輸方式 Gigabit Ethernet 幀率 14 供電要求 Via Power over Ethernet (802.3af) or + 12VDC (± 10%) via the camera′s 6-pin Hirose connector 外形尺寸 42 x 29 x 29 表1 Basler acA2500-14gm型號(hào)工業(yè)相機(jī)參數(shù) 5. 拍攝參數(shù)設(shè)定 為了提高圖像處理速度并兼顧分辨率，選擇的拍攝參數(shù)如下表： 圖像尺寸 待定 色彩 待定 ISO速度 待定 幀頻 待定 記錄頻率 待定 2）軟件介紹 OpenCV的全稱(chēng)是

17、：Open Source Computer Vision Library。OpenCV是一個(gè)基于（開(kāi)源）發(fā)行的跨平臺(tái)計(jì)算機(jī)視覺(jué)庫(kù)，可以運(yùn)行在Linux、Windows和Mac OS操作系統(tǒng)上。它輕量級(jí)而且高效——由一系列 C 函數(shù)和少量 C++ 類(lèi)構(gòu)成，同時(shí)提供了Python、Ruby、MATLAB等語(yǔ)言的接口，實(shí)現(xiàn)了圖像處理和計(jì)算機(jī)視覺(jué)方面的很多通用算法，它可以完成以下工作： 1.圖像數(shù)據(jù)操作（內(nèi)存分配與釋放，圖像復(fù)制、設(shè)定和轉(zhuǎn)換） 2.圖像/視頻的輸入輸出（支持文件或攝像頭的輸入，圖像/視頻文件的輸出） 3.矩陣/向量數(shù)據(jù)操作及線(xiàn)性代數(shù)運(yùn)算（矩陣乘積、矩陣方程求解、特征值、奇異值分解

18、） 支持多種動(dòng)態(tài)數(shù)據(jù)結(jié)構(gòu)（鏈表、隊(duì)列、數(shù)據(jù)集、樹(shù)、圖） 4.基本圖像處理（去噪、邊緣檢測(cè)、角點(diǎn)檢測(cè)、采樣與插值、色彩變換、形態(tài)學(xué)處理、直方圖、圖像金字塔結(jié)構(gòu)） 5.結(jié)構(gòu)分析（連通域/分支、輪廓處理、距離轉(zhuǎn)換、圖像矩、模板匹配、霍夫變換、多項(xiàng)式逼近、曲線(xiàn)擬合、橢圓擬合、狄勞尼三角化） 6.攝像頭定標(biāo)（尋找和跟蹤定標(biāo)模式、參數(shù)定標(biāo)、基本矩陣估計(jì)、單應(yīng)矩陣估計(jì)、立體視覺(jué)匹配） 7.運(yùn)動(dòng)分析（光流、動(dòng)作分割、目標(biāo)跟蹤） 8.目標(biāo)識(shí)別（特征方法、HMM模型） HALCON軟件介紹 HALCON是一款來(lái)自德國(guó)慕尼黑的世界頂級(jí)機(jī)器視覺(jué)編程環(huán)境，該軟件以面向問(wèn)題為基礎(chǔ)，涉及工業(yè)領(lǐng)域中光學(xué)工

19、程、精密制造、包裝、半導(dǎo)體、印刷、機(jī)械等行業(yè)。使用它可以迅速構(gòu)建一個(gè)準(zhǔn)確、穩(wěn)定、高效率的視覺(jué)解決方案。該軟件具有強(qiáng)大的函數(shù)庫(kù)，能導(dǎo)出C++、C、VB等語(yǔ)言，縮短了代碼編寫(xiě)時(shí)間，為構(gòu)建獨(dú)立的視覺(jué)系統(tǒng)提供了方便。利用HALCON軟件構(gòu)建一個(gè)獨(dú)立視覺(jué)系統(tǒng)分為三個(gè)步驟： 該軟件最大特點(diǎn)是模范化和模塊化，所有的算子都具有同一的輸入輸出格式，下面是一個(gè)典型的算子結(jié)構(gòu)：Operator(iconic input:iconic output:control input:control output) HALCON語(yǔ)言的數(shù)據(jù)有兩種：一種是控制參數(shù)，包含數(shù)字、數(shù)組，字符串等；另一種是圖形參數(shù)，包含圖像，區(qū)

20、域和邊緣數(shù)據(jù)等。從典型算子結(jié)構(gòu)可以看出，圖形參數(shù)首先輸入的參數(shù)，然后是控制參數(shù)，并且順序是輸入數(shù)據(jù)和輸出數(shù)據(jù)相間隔，也即是：Operator(輸入圖形參數(shù)：輸出圖形參數(shù)：輸入控制參數(shù)：輸出控制參數(shù)）。 1.5.2圖像預(yù)處理 1） 圖像灰度化 將RGB彩色圖像轉(zhuǎn)化為單通道圖像，灰度范圍為0-255，可以很大程度上提高運(yùn)算的速度 Image cam_gray=cam.Convert(); Cam是攝像機(jī)采集的彩色圖像 2） 直方圖均衡化 對(duì)于工件和背景灰度相差不大的情況，可以通過(guò)直方圖均衡化增加圖像的對(duì)比度，使工件在背景中更突出

21、cvEqualizeHist函數(shù)可以增大圖像灰度的動(dòng)態(tài)范圍，從而增加對(duì)比度 3） 圖像濾波消除噪聲信息 對(duì)于環(huán)境中的各種干擾，相機(jī)的成像噪聲，可以通過(guò)預(yù)處理階段消除或者削弱噪聲的影響，具體可以使用各種濾波算子，如中值濾波，高斯平滑濾波，均值濾波，在OpenCV中都有對(duì)應(yīng)的函數(shù)可以調(diào)用 1.5.3圖像識(shí)別 模式識(shí)別應(yīng)用與圖像信號(hào)處理領(lǐng)域就成為了圖像識(shí)別，它是一種利用計(jì)算機(jī)對(duì)圖像進(jìn)行描述和分類(lèi)的技術(shù)，在機(jī)器視覺(jué)中具有廣泛的應(yīng)用，涉及文字，條碼，車(chē)牌識(shí)別，目標(biāo)分類(lèi)等應(yīng)用場(chǎng)合，識(shí)別的過(guò)程其實(shí)是一個(gè)分類(lèi)的過(guò)程，將滿(mǎn)足判斷條件的對(duì)象歸為一類(lèi)，而不滿(mǎn)足條件的劃分為其他類(lèi)，首先對(duì)目標(biāo)圖像進(jìn)行特征提取，

22、然后將它和已知的模式向量進(jìn)行比較，比較的過(guò)程是函數(shù)計(jì)算的過(guò)程，通過(guò)計(jì)算得到相似程度值，根據(jù)該值判斷目標(biāo)是否與已知庫(kù)中的目標(biāo)相似，從而得到相應(yīng)的識(shí)別或者不識(shí)別信號(hào)，根據(jù)分類(lèi)標(biāo)準(zhǔn)選擇的不同，可以將識(shí)別方法分為：基于概率統(tǒng)計(jì)方法的識(shí)別，基于模版匹配方法的識(shí)別，基于多傳感器信息融合方法的識(shí)別等。通常，圖像識(shí)別有以下三步，如圖所示 圖3 圖像識(shí)別的步驟 主要有三個(gè)任務(wù)：圖像分割、目標(biāo)分類(lèi)、圖像匹配 1） 圖像分割 要將圖像分割為區(qū)域，就要有分割的標(biāo)準(zhǔn)，這個(gè)標(biāo)準(zhǔn)就叫做閾值，獲取合適閾值的方法很多，通常可以分為手動(dòng)獲取和自動(dòng)獲取，當(dāng)進(jìn)行手動(dòng)獲取時(shí)，通常借鑒圖像灰度直方圖的分布來(lái)幫助選擇，最簡(jiǎn)

23、單的自動(dòng)全局閾值的方法是：首先選擇一個(gè)初始閾值估計(jì)值（ 然后利用該閾值對(duì)圖像進(jìn)行初始分割得到G1和G2區(qū)域。對(duì)G1和G2區(qū)域中所有像素計(jì)算灰度平均值，計(jì)算得到的新閾值為T(mén)=，利用新閾值對(duì)圖像進(jìn)行重新分割，然后重復(fù)前面兩步，直至前后兩次T值之差小于設(shè)定值時(shí)停止。然后利用最終得到的最佳閾值將區(qū)域分割為兩部分，從而得到二值圖像： 對(duì)于本系統(tǒng)，由于拍攝到的目標(biāo)圖像和背景灰度差別較大，可以直接確定閾值范圍，此方法進(jìn)行分割的結(jié)果如圖所示，從圖中可以看出，目標(biāo)區(qū)域和背景區(qū)域分割的較好，但是有許多非目標(biāo)的區(qū)域也被劃分為一類(lèi)（主要是傳送帶的邊緣），所以還需要后續(xù)的區(qū)域標(biāo)記方法，利用區(qū)域的連通性將這些目標(biāo)

24、區(qū)域和非目標(biāo)區(qū)域給分開(kāi)來(lái) 區(qū)域聯(lián)通標(biāo)記是建立在像素點(diǎn)鄰接性的基礎(chǔ)之上的，鄰接性是一種相似性的度量方法，常用的類(lèi)型有4-鄰接、8-鄰接、和對(duì)角鄰接 X X P X X 4-鄰接 X X X X P X X X X 8-鄰接 X X P X X 對(duì)角鄰接 提取連通成分的過(guò)程實(shí)際上也是標(biāo)記連通成分的過(guò)程，通常的做法是給圖像中的每個(gè)連通區(qū)域分配一個(gè)唯一的編號(hào)，這樣的圖像成為標(biāo)注圖像。得到各個(gè)編號(hào)區(qū)域，就能計(jì)算區(qū)域的面積，中重心，圓度，外接/內(nèi)切圓半徑等特征參數(shù)，以供所需區(qū)域

25、的選擇，本例采用面積特征進(jìn)行選擇，得到目標(biāo)模版圖像 2. 目標(biāo)分類(lèi) 目標(biāo)分類(lèi)是對(duì)得到的不同目標(biāo)進(jìn)行區(qū)分并將其歸為某一已知類(lèi)的過(guò)程。對(duì)于圖像目標(biāo)來(lái)說(shuō)通常利用圖像特征來(lái)對(duì)目標(biāo)進(jìn)行描述，然后再對(duì)其分類(lèi)，目標(biāo)分類(lèi)是目標(biāo)識(shí)別過(guò)程中的重要步驟目前已經(jīng)廣泛應(yīng)用于圖像分割，目標(biāo)識(shí)別，變化檢測(cè)，字符識(shí)別等場(chǎng)合。 根據(jù)待分類(lèi)目標(biāo)的外形，可將分類(lèi)任務(wù)分為兩類(lèi)。第一類(lèi)是針對(duì)搜索目標(biāo)外形固定，并且不同類(lèi)型目標(biāo)的特征區(qū)域明顯，這種情況可以采用模版匹配的方法對(duì)其進(jìn)行分類(lèi)，第二類(lèi)是針對(duì)目標(biāo)外形不是特別明顯，人工無(wú)法選擇出合適的分類(lèi)方法對(duì)其進(jìn)行分類(lèi)，這種情況下就需要利用已知類(lèi)型信息的目標(biāo)圖像對(duì)分類(lèi)器進(jìn)

26、行訓(xùn)練，讓分類(lèi)器對(duì)后續(xù)的圖像進(jìn)行分類(lèi)。常用的分類(lèi)器有三種，分別是基于多層感知分類(lèi)器MLP，基于支持向量機(jī)分類(lèi)器SVM，基于高斯混合模型分類(lèi)器GMM，本文采用MLP分類(lèi)器，具體步驟為： 圖X 目標(biāo)分類(lèi)的一般步驟 首先創(chuàng)建某一類(lèi)型的分類(lèi)器，然后對(duì)一直目標(biāo)進(jìn)行分析，得到描述該類(lèi)型目標(biāo)的特征向量，然后利用特征向量對(duì)分類(lèi)器進(jìn)行訓(xùn)練，得到判別函數(shù)，這時(shí)分類(lèi)器就獲得了分類(lèi)的原則，然后對(duì)后續(xù)的未知目標(biāo)進(jìn)行分類(lèi)，同樣也需要對(duì)目標(biāo)進(jìn)行特征提取得到特征向量，然后利用分類(lèi)器對(duì)向量進(jìn)行計(jì)算，得到分類(lèi)結(jié)果。這里使用的是OpenCV或者Halcon中提供的分類(lèi)器 3圖像匹配 用創(chuàng)建模版圖像的方法可以

27、用于檢測(cè)圖像來(lái)確定目標(biāo)的位置，但是通過(guò)圖像分割的方法來(lái)得到一個(gè)穩(wěn)定的目標(biāo)識(shí)別系統(tǒng)是非常困難的。例如背景發(fā)生拜年話(huà)，目標(biāo)被部分遮擋，目標(biāo)與攝像機(jī)間距離變化，多個(gè)目標(biāo)出現(xiàn)等都導(dǎo)致分割的困難，而圖像匹配可以解決這些問(wèn)題。 圖像匹配是指利用已知的目標(biāo)模式，對(duì)不同時(shí)刻或視角下拍攝的兩幅圖像間尋找相同或相近的目標(biāo)模式，使期望的目標(biāo)建立起對(duì)應(yīng)關(guān)系的過(guò)程，圖像匹配算法按照特征選擇層次的不同分為兩大類(lèi)， 基于灰度值相關(guān)的匹配是利用圖像的直接灰度值特征，其計(jì)算過(guò)程為：移動(dòng)模版至待匹配圖像的各個(gè)位置，計(jì)算每個(gè)位置時(shí)模版本身與所覆蓋區(qū)域的相似性計(jì)算值，將得到的一系列計(jì)算值進(jìn)行比較，極值處便是目標(biāo)所

28、在的位置。這種方法計(jì)算量大，達(dá)不到實(shí)時(shí)性要求，并且不能適應(yīng)光照條件變化、尺度變化，遮擋等情況，為了解決實(shí)時(shí)性要求，采用基于圖像特征的匹配方法，這種匹配方法有很好的魯棒性，基于特征的匹配是指，對(duì)模版圖像和匹配圖像分別進(jìn)行特征提取，用相似性度量函數(shù)計(jì)算對(duì)應(yīng)特征之間的相似程度的匹配方法，特征的選擇有很多，一般來(lái)說(shuō)灰度變化大的地方是信息量最豐富的地方，比如，角點(diǎn)，輪廓，邊緣，直線(xiàn)，紋理等。本文采用的是基于形狀匹配的方法，該方法是多種技術(shù)的綜合，既用到了金字塔匹配模型，也用到了圖像的輪廓特征，該方法的一般流程如圖，匹配后得到目標(biāo)在圖像中的位置坐標(biāo)如下表： 序號(hào) 目標(biāo)個(gè)數(shù) 坐標(biāo) 角度 準(zhǔn)確度

29、1 1 （289.042，311.058） -0.00052 98.365 2 1 （145.325，178.698） 6.32541 99.452 .... ...... ...... ..... ...... 圖X.基于形狀匹配的步驟 4. 目標(biāo)跟蹤 目標(biāo)跟蹤是一個(gè)對(duì)運(yùn)動(dòng)目標(biāo)或者運(yùn)動(dòng)相機(jī)采集到的圖像序列進(jìn)行連續(xù)確定目標(biāo)位置的過(guò)程，目標(biāo)定位是目標(biāo)跟蹤的基礎(chǔ)，通過(guò)跟蹤能夠得到目標(biāo)的運(yùn)動(dòng)軌跡從而可以對(duì)將來(lái)目標(biāo)出現(xiàn)的位置進(jìn)行預(yù)測(cè)，通過(guò)軌跡能夠得到目標(biāo)的速度和加速度，從而可以為運(yùn)動(dòng)學(xué)研究提供一種測(cè)量手段。此外，通過(guò)目標(biāo)跟蹤可以對(duì)預(yù)先設(shè)定好出現(xiàn)范圍和形狀的目標(biāo)

30、進(jìn)行監(jiān)視，如果其出現(xiàn)范圍或者形狀發(fā)生變化時(shí)，便發(fā)出相應(yīng)的報(bào)警信號(hào)。 目標(biāo)跟蹤可以分為兩大方法：第一類(lèi)是基于邊緣特征的方法;第二類(lèi)是基于目標(biāo)內(nèi)部投影點(diǎn)信息的方法，如光流法，模版匹配法。本位采用第二類(lèi)中的模版匹配方法，由于匹配計(jì)算量較大，可采用以下途徑減少運(yùn)算量：首先計(jì)算第一副圖像中目標(biāo)的位姿，由于目標(biāo)運(yùn)動(dòng)的連續(xù)性，對(duì)得到的位姿進(jìn)行限制，定義一個(gè)跟蹤范圍圓（下一個(gè)目標(biāo)可能出現(xiàn)的區(qū)域），然后在指定范圍內(nèi)對(duì)后續(xù)圖像進(jìn)行目標(biāo)匹配。由于本文采用的傳送帶運(yùn)動(dòng)狀態(tài)為勻速直線(xiàn)運(yùn)動(dòng)，因此只要計(jì)算出目標(biāo)的速度和位置便能寫(xiě)出軌跡方程來(lái)。 定義參考坐標(biāo)系： 在傳送帶上定義參考坐標(biāo)系的目的，是為了將目標(biāo)位姿與機(jī)器人

31、基坐標(biāo)系聯(lián)系起來(lái)。參考坐標(biāo)系的X軸與傳送帶中線(xiàn)重合，方向指向目標(biāo)運(yùn)動(dòng)方向，y軸指向機(jī)器人一側(cè)，Z軸垂直于傳送帶平面向上。 左側(cè)方框區(qū)域代表相機(jī)的視野范圍，右側(cè)外圓區(qū)域?yàn)闄C(jī)器人工作空間范圍，內(nèi)圓區(qū)域代表機(jī)器人工作空間與傳送帶在平面相交區(qū)域。工件從左側(cè)進(jìn)入，在計(jì)時(shí)起點(diǎn)處開(kāi)始計(jì)時(shí)。相機(jī)對(duì)經(jīng)過(guò)計(jì)時(shí)起點(diǎn)的目標(biāo)進(jìn)行連續(xù)拍照，估算出目標(biāo)重心在參考坐標(biāo)系中的坐標(biāo)和速度。在進(jìn)行實(shí)驗(yàn)之前通過(guò)離線(xiàn)測(cè)量的方法，得到參考坐標(biāo)系與機(jī)器人基座之間的相對(duì)位姿，同樣可以計(jì)算出參考坐標(biāo)系在攝像機(jī)坐標(biāo)系下的位姿 由離線(xiàn)測(cè)量得到的位姿關(guān)系和，可以計(jì)算出機(jī)器人基座于攝像機(jī)之間的位姿矩陣。 然后通過(guò)目標(biāo)定位得到目標(biāo)的位

32、姿，再計(jì)算出目標(biāo)重心相對(duì)于參考坐標(biāo)系的位姿，由可以得到目標(biāo)重心的坐標(biāo)（），過(guò)重心點(diǎn)做一條平行于參考坐標(biāo)系x軸的直線(xiàn)，與機(jī)器人工作空間區(qū)域相交與兩點(diǎn)：，。這兩點(diǎn)便是目標(biāo)進(jìn)出工作空間的坐標(biāo)點(diǎn)。由這兩點(diǎn)結(jié)合運(yùn)動(dòng)速度就可以計(jì)算出目標(biāo)何時(shí)進(jìn)入和離開(kāi)機(jī)器人的工作空間范圍，在這個(gè)時(shí)間段中選擇任一時(shí)刻即可對(duì)目標(biāo)進(jìn)行抓取。 目標(biāo)速度V的計(jì)算，可以在攝像機(jī)視野內(nèi)，取間隔10張的兩幅圖像，計(jì)算目標(biāo)中心在運(yùn)動(dòng)方向的位移，除以拍攝這10張圖像所經(jīng)歷的時(shí)間，即可得到目標(biāo)的速度。 1.5.6IRB120型機(jī)器人控制 工業(yè)機(jī)器人的控制方法分類(lèi)： 分類(lèi)依據(jù) 類(lèi)型 特點(diǎn) 根據(jù)控制量所處空間 關(guān)節(jié)空間 運(yùn)動(dòng)規(guī)劃和

33、控制對(duì)象為各個(gè)關(guān)節(jié)角，是其他控制方法的基礎(chǔ) 笛卡爾空間 在關(guān)節(jié)空間控制的基礎(chǔ)上實(shí)現(xiàn)通過(guò)給定路徑上各點(diǎn)出的位姿，來(lái)保證運(yùn)動(dòng)的確定性 根據(jù)控制量 位置 以末端執(zhí)行器的位置為被控對(duì)象，在三維空間或者關(guān)節(jié)空間對(duì)機(jī)器人進(jìn)行控制 速度 使任務(wù)動(dòng)作以指定的速度進(jìn)行，例如目標(biāo)跟蹤過(guò)程 加速度 考慮到機(jī)器人的慣性負(fù)載，對(duì)加速段和減速段之間的過(guò)度進(jìn)行規(guī)劃，使之運(yùn)行平穩(wěn) 力（力矩） 考慮到目標(biāo)抓取時(shí)的握緊力或者使用工具時(shí)的力矩等因素 根據(jù)控制算法 PID控制 由比例、積分和微分單元構(gòu)成，理論成熟 自適應(yīng)控制 系統(tǒng)的舒服發(fā)生變化或者收到干擾時(shí)，系統(tǒng)通過(guò)改變自身參數(shù)來(lái)自我調(diào)節(jié)，使輸出仍滿(mǎn)

34、足性能要求 神經(jīng)網(wǎng)絡(luò)控制 屬于黑箱控制，具有較好的學(xué)習(xí)能力 本研究所完成的內(nèi)容屬于較為簡(jiǎn)單的抓取任務(wù)，所以使用位置控制方法就能滿(mǎn)足要求 2. 機(jī)器人抓取運(yùn)動(dòng)規(guī)劃 機(jī)器人抓取運(yùn)動(dòng)規(guī)劃包括路徑規(guī)劃和手部抓取方式規(guī)劃。路徑規(guī)劃是研究按照何種路徑，將機(jī)器人手部坐標(biāo)系原點(diǎn)與目標(biāo)抓取坐標(biāo)系原點(diǎn)重合的問(wèn)題；抓去店規(guī)劃是針對(duì)不同形狀的物體，如何選擇合適夾持點(diǎn)位置的問(wèn)題 路徑點(diǎn) 動(dòng)作 目標(biāo) P0 INIT 初始位置 P1 MOVE 到達(dá) P1 GRASP 抓取 P2 MOVE 提升 P3 MOVE 移至待放置位置上方 P4 MOVE 到達(dá)放置位置

35、 P4 RELEASE 松開(kāi) P5 MOVE 提升 P0 MOVE 回位 1.6本課題的重點(diǎn)難點(diǎn) 實(shí)時(shí)性是在線(xiàn)抓取的一項(xiàng)重要指標(biāo)，算法的速度是必須考慮的，因?yàn)樵诠I(yè)生產(chǎn)線(xiàn)中，速度性能是最重要的指標(biāo)，工件分揀的要求更是嚴(yán)格，要求算法識(shí)別的速度相當(dāng)快，這樣才能帶來(lái)經(jīng)濟(jì)效益，所以如何在傳送帶速度比較高的情況下仍然保持識(shí)別定位的準(zhǔn)確性是本課題的一個(gè)難點(diǎn)，定位精度也是一個(gè)重點(diǎn)，這直接關(guān)系到機(jī)械手能否在正確的時(shí)間間隔內(nèi)運(yùn)動(dòng)到指定位置進(jìn)行有效抓取，如何對(duì)算法

36、進(jìn)行優(yōu)化從而提高定位算法的定位精度，也是本次研究的一個(gè)重點(diǎn)和難點(diǎn) 參考文獻(xiàn) [1] 畢勝.國(guó)內(nèi)外工業(yè)機(jī)器人的發(fā)展現(xiàn)狀.機(jī)械工程師，2008，07：5~7. [2] 吳振彪，王正家（第一版）.工業(yè)機(jī)器人.武漢：華中科技大學(xué)出版社，2006.7~9. [3] 蔡鶴皋.機(jī)器人技術(shù)的發(fā)展與在制造業(yè)中的應(yīng)用.機(jī)械制造與自動(dòng)化，2004，33(1)6~7． [4] 張廣軍.機(jī)器視覺(jué).北京:科學(xué)出版社，2005.1，34~36，38~45 [5] 權(quán)歡歡，張洛平.裝配線(xiàn)零件圖像識(shí)別與系統(tǒng)實(shí)現(xiàn)：(碩士學(xué)位論文). 河南：河南科技大學(xué)，20

37、08. [6] Rahardja K. Kosaka A. Vision-based bin-picking: recognition and localization of multiple complex objects using simple visual cues. Robot Vision Lab., Purdue Univ., West Lafayette, IN; [7] 徐方.工業(yè)機(jī)器人產(chǎn)業(yè)現(xiàn)狀與發(fā)展.機(jī)器人技術(shù)與應(yīng)用，2007. 5：2~4. [8] 趙臣，王剛.我國(guó)工業(yè)機(jī)器人產(chǎn)業(yè)發(fā)展的現(xiàn)狀調(diào)研報(bào)告.機(jī)器人技術(shù)與應(yīng)用，2009，2： 8~13. [9] 徐方，鄒風(fēng)山，鄭春暉.新松機(jī)器人產(chǎn)業(yè)發(fā)展及應(yīng)用.機(jī)器人技術(shù)與應(yīng)用，2011，(5)：14~18. [10] 倪受東，袁祖強(qiáng)，文巨峰.冗余自由度機(jī)器人機(jī)構(gòu)學(xué)研究現(xiàn)狀.南京工業(yè)大學(xué)學(xué)報(bào)，2002, 24(4)：107~110. [11]楊賀然.基于機(jī)器視覺(jué)的移動(dòng)目標(biāo)機(jī)器人抓取研究 （碩士學(xué)位論文）北京：北京化工大學(xué)2008 [12]吳源遠(yuǎn).高速分揀機(jī)械手視覺(jué)識(shí)別技術(shù)研究[D].無(wú)錫：江南大學(xué)，2009 20 驕陽(yáng)書(shū)屋#