基于視覺的工業(yè)機(jī)械手定位抓取系統(tǒng)虛擬實(shí)驗(yàn)開發(fā)帶開題報(bào)告.zip

基于視覺的工業(yè)機(jī)械手定位抓取系統(tǒng)虛擬實(shí)驗(yàn)開發(fā)帶開題報(bào)告.zip,基于,視覺,工業(yè),機(jī)械手,定位,抓取,系統(tǒng),虛擬,實(shí)驗(yàn),開發(fā),開題,報(bào)告 附錄 1：外文翻譯摘要本文介紹了機(jī)器人視覺伺服控制的入門教程，由于該課題涉及許多學(xué)科，我們的目標(biāo)僅限于提供一個(gè)基本的概念框架工作。首先，我們從機(jī)器人學(xué)和計(jì)算機(jī)視覺的前提條件，包括坐標(biāo)變換，速度表示，以及圖像形成過程的幾何方面的描述進(jìn)行簡要回顧。然后，我們提出了視覺伺服控制系統(tǒng)的分類。然后詳細(xì)討論了基于位置和基于圖像的系統(tǒng)的兩大類。由于任何視覺伺服系統(tǒng)必須能夠跟蹤圖像序列中的圖像特征，所以我們還包括基于特征和基于相關(guān)性的跟蹤方法的概述。我們結(jié)束了教程與一些服務(wù)的當(dāng)前方向的研究領(lǐng)域的視覺伺服控制當(dāng)今絕大多數(shù)增長的機(jī)器人人口都在工廠里工作，在那里工廠可以制造出適合機(jī)器人的環(huán)境。在工作環(huán)境和物體放置不能精確控制的應(yīng)用中，機(jī)器人的影響要小得多。這種局限性很大程度上是由于現(xiàn)代商業(yè)機(jī)器人系統(tǒng)固有的感覺能力不足。人們早已認(rèn)識(shí)到，傳感器集成是提高機(jī)器人的通用性和應(yīng)用領(lǐng)域的基礎(chǔ)，但迄今為止，這還沒有證明在制造業(yè)中大量的機(jī)器人應(yīng)用是有效的。機(jī)器人在日常生活中的“前沿”為這項(xiàng)研究提供了新的動(dòng)力。與制造業(yè)的應(yīng)用不同，重新設(shè)計(jì)“我們的世界”并不適合于機(jī)器人。視覺是一種有用的機(jī)器人傳感器，因?yàn)樗７氯祟惖囊曈X，并允許對環(huán)境進(jìn)行非接觸測量。自從 Shirai 和伊努埃（1）的早期工作（誰描述了如何使用視覺反饋回路來校正機(jī)器人的位置以提高任務(wù)精度），大量的 EORT 一直致力于機(jī)器人的視覺控制。機(jī)器人控制器完全集成的視覺系統(tǒng)現(xiàn)在可以從多個(gè)供應(yīng)商獲得。通常，視覺感知和操作以開環(huán)的方式組合，“看”然后“移動(dòng)”。所得到的操作的精度直接取決于視覺傳感器和機(jī)器人末端 Ecter 的精度。增加這些子系統(tǒng)的精度的一個(gè)替代方法是使用視覺反饋控制回路，這將增加系統(tǒng)的整體精度，這是大多數(shù)應(yīng)用中的一個(gè)主要問題。極端地，機(jī)器視覺可以為機(jī)器人端部控制器提供閉環(huán)位置控制。這被稱為視覺伺服。這個(gè)詞似乎已經(jīng)被 RHT 和 Park（2）在 1979 中介紹了，以區(qū)別他們的方法與先前的“塊世界”實(shí)驗(yàn)，其中系統(tǒng)在拍照和移動(dòng)之間交替。在引入這個(gè)術(shù)語之前， 一般使用較少的視覺術(shù)語視覺反饋。為了這篇文章的目的，視覺伺服中的任務(wù)是使用視覺信息來控制機(jī)器人的末端 ECT 相對于目標(biāo)對象或一組目標(biāo)特征的姿態(tài)。該任務(wù)也可用于移動(dòng)機(jī)器人，其中，它成為控制車輛的姿態(tài)相對于一些地標(biāo)。視覺伺服是融合許多領(lǐng)域的結(jié)果，包括高速圖像處理、運(yùn)動(dòng)學(xué)、動(dòng)力學(xué)、控制理論和實(shí)時(shí)計(jì)算。它與主動(dòng)視覺和運(yùn)動(dòng)結(jié)構(gòu)的研究有很多共同點(diǎn)，但與在分層任務(wù)級(jí)機(jī)器人控制系統(tǒng)中經(jīng)常使用的視覺非常不同。許多控制和視覺問題類似于那些正在建造“機(jī)器人頭”的主動(dòng)視覺研究者所反對的。然而，視覺伺服中的任務(wù)是控制機(jī)器人利用視覺來操縱環(huán)境，而不是僅僅觀察環(huán)境。本課程的教程介紹。我們的目標(biāo)是幫助其他人通過提供一致的術(shù)語和術(shù)語來創(chuàng)建視覺伺服系統(tǒng)，并欣賞可能的應(yīng)用。為了幫助新手到領(lǐng)域，我們將描述的技術(shù)，只需要簡單的視覺硬件（只是數(shù)字化儀），自由可用的 Visio 假設(shè)關(guān)于機(jī)器人及其控制系統(tǒng)。這是對許多不需要高控制和/或視覺性能的應(yīng)用程序的開始調(diào)查。在這樣一篇文章中的一個(gè)難點(diǎn)是該主題跨越許多不能在單個(gè)文章中得到充分解 決的學(xué)科。例如，底層控制問題從根本上來說是非線性的，視覺識(shí)別、跟蹤和重構(gòu)本身就是 ELD。因此，我們專注于每個(gè)學(xué)科的某些基本方面，并提供了廣泛的書目，以幫助讀者尋求更詳細(xì)的比這里可以提供。我們的偏好總是呈現(xiàn)那些我們已經(jīng)發(fā)現(xiàn)在實(shí)踐中很好地發(fā)揮作用并且具有某種通用適用性的想法和技術(shù)。另一個(gè) DICTY 是基于視覺的運(yùn)動(dòng)控制文獻(xiàn)的當(dāng)前快速增長，它包含許多涉及的理論和技術(shù)問題的解決方案和有前途的方法。我們再一次擁有提出了我們認(rèn)為是最基本的概念，并再次參考讀者的書目。本文的其余部分結(jié)構(gòu)如下。第 2 節(jié)回顧了坐標(biāo)變形、姿態(tài)表示和圖像形成的相關(guān)基礎(chǔ)。在第 3 節(jié)中，我們提出了視覺伺服控制系統(tǒng)的分類（改編自 5 ）。在第4 和第5 節(jié)中分別討論了基于位置視覺伺服系統(tǒng)和基于圖像的視覺伺服系統(tǒng)的兩大類。由于任何視覺伺服系統(tǒng)必須能夠跟蹤圖像序列中的圖像特征，所以第 6 節(jié)描述了視覺跟蹤的一些方法，這些方法具有廣泛的適用性，并且可以使用最少的專用硬件來實(shí)現(xiàn)。最后，第 7 節(jié)給出了關(guān)于視覺伺服控制研究領(lǐng)域的當(dāng)前方向的大量觀測結(jié)果。2 背景在本節(jié)中，我們提供了一些與機(jī)器人視覺伺服控制相關(guān)的機(jī)器人和計(jì)算機(jī)視覺的簡要概述。我們首先從術(shù)語和符號(hào)來表示坐標(biāo)變換和通過工作空間移動(dòng)的剛性物體的速度（第 2.1 和 2.2 節(jié)）。在此之后，我們討論了與圖像形成有關(guān)的幾個(gè)問題（第 2.3 和 2.4 節(jié)），以及可能的相機(jī)/機(jī)器人擁塞（第 2.5 節(jié)）。熟悉這些主題的讀者可能希望直接進(jìn)行第 3 節(jié)。3文以機(jī)器人的任務(wù)空間為例，以 T 為代表的機(jī)器人的任務(wù)空間，是機(jī)器人所能達(dá)到的一組位置和方位。由于任務(wù)空間僅僅是 RooTooTo 工具的配置空間，任務(wù)空間是平滑的 M 流形（見，例如，6）。如果工具是在三維工作空間中任意移動(dòng)的單個(gè)剛體，則 t= SER SO，并且 M- 6，任務(wù)空間可以被限制為 SE 的子空間。例如，對于拾取和放置，我們可以考慮純平移（t= r，對于 m -3），而對于跟蹤對象并保持它在視圖中，我們可能只考慮旋轉(zhuǎn)（tSO，M3），通常，相對于一個(gè)或多個(gè)坐標(biāo)幀指定機(jī)器人任務(wù)。例如，攝像機(jī)可以提供關(guān)于攝像機(jī)相對于攝像機(jī)的位置的信息，而用于抓取物體的配置可以相對于附著在物體上的坐標(biāo)框架來指定。我們用非 P. Given 兩幀表示點(diǎn) P 相對于坐標(biāo)系 A 的坐標(biāo)。A 和 U 表示幀 Y 相對于幀 A 的方向的旋轉(zhuǎn)矩陣表示為R，。幀 Y 的原點(diǎn)相對于幀的位置由向量 T表示。位置和方向框架一起指定一個(gè)姿勢，我們用一個(gè)“X”表示。如果主標(biāo)上標(biāo) R 不是指定的，則世界坐標(biāo)系被保證，我們也可以使用姿態(tài)來指定坐標(biāo)變換。我們使用函數(shù)表示一個(gè)點(diǎn)的坐標(biāo)變化。特別地，如果我們給出 p（坐標(biāo) p 相對于框架 y）的坐標(biāo)，和 x，則通過應(yīng)用坐標(biāo)變換規(guī)則得到 p 與坐標(biāo) A 的坐標(biāo)。續(xù)集中，我們將使用符號(hào)-X 來表示坐標(biāo)變換或 TOA 姿態(tài)，它們分別由旋轉(zhuǎn)矩陣和平移、R 和 T 指定。同樣，我們將使用術(shù)語姿勢和協(xié)調(diào) TMNSechange 互換。一般來說，在“X”的兩種解釋之間不存在歧義，通常，我們必須組成多個(gè)坐標(biāo)變換以獲得期望的坐標(biāo)變化。例如，假設(shè)我們給出姿勢 X，ANX，。如果我們給出 p，并且希望計(jì)算p，我們可以使用坐標(biāo)變換的組成。如圖所示，我們表示坐標(biāo)變換的組成，并用對點(diǎn) p 進(jìn)行相應(yīng)的坐標(biāo)變換。對應(yīng)矩陣和平移由需要經(jīng)常使用的一些坐標(biāo)框架由下列上標(biāo)/下標(biāo)引用e 附著在機(jī)器人末端執(zhí)行器上的坐標(biāo)系T 坐 標(biāo) 系 附 于 目 標(biāo)0 機(jī)器人的底架攝像機(jī)的坐標(biāo)系SE，我們將使用符號(hào) x.e t 來表示端效坐標(biāo)系相對于世界框架的姿態(tài)。在這種情況下，我們通常喜歡使用平移向量和三個(gè)角度（例如，滾動(dòng)、俯仰和偏航 7） 來參數(shù)化 APOSE。雖然 SUCH 參數(shù)化本質(zhì)上是局部的，但是通常用向量 R E 來表示姿態(tài)，而不是由 X。E 表示。例如，當(dāng) t= r 時(shí)，我們將通過 rx，y，21 來參數(shù)化任務(wù)空間。在續(xù)篇中，如果我們考慮一個(gè)特定的任務(wù)，我們將假設(shè) RE。通過注意交叉乘積可以用斜對稱矩陣表示，這可以用矩陣形式簡潔地寫出2。攝像機(jī)保護(hù)模型利用計(jì)算機(jī)視覺系統(tǒng)提供的信息來控制機(jī)器人是必要的，要了解 HE 成像過程的幾何方面，每個(gè)攝像機(jī)都包含一個(gè)透鏡，該透鏡在傳感器所在的圖像平面上形成并保護(hù)場景。這種保護(hù)導(dǎo)致直接信息丟失，使得圖像平面上的每個(gè)點(diǎn)對應(yīng)于射線。在三維空間中。因此，需要一些附加信息來確定對應(yīng)于圖像平面點(diǎn)的 3D 坐標(biāo)。該信息可以來自多個(gè)攝像機(jī)、多個(gè)攝像機(jī)和多個(gè)目標(biāo)點(diǎn)上的幾何關(guān)系之間的幾何關(guān)系。在這一部分中，我們描述了三種已經(jīng)被廣泛用于建模圖像形成過程的投影模型：透視投影、比例正交投影和仿射投影。雖然我們簡要地描述了這些投影模型中的每一個(gè)，但在本教程的其余部分中，我們將假定使用透視投影。對于三個(gè)投影模型中的每一個(gè)，我們分配相機(jī)坐標(biāo)系，其中 A 軸和 Y 軸形成圖像平面的基礎(chǔ)，即軸。垂直于圖像平面（沿著光軸），并且原點(diǎn)位于圖像平面后面的距離 A 處，其中 A 是相機(jī)鏡頭的焦距。如圖 1 所示。在文獻(xiàn)中，圖像特征是任何結(jié)構(gòu)特征，而不是提取圖像（E.GeeGeCern），圖像特征將對應(yīng)于某物體（例如，機(jī)器人工具）的物理特征投影到攝像機(jī)圖像平面上的良好特征點(diǎn)是一個(gè)?？梢栽趫鼍暗牟煌晥D中明確地定位，例如墊圈 10中的孔或設(shè)計(jì)圖案 11, 12。我們將圖像特征參數(shù)定義為可以從一個(gè)或多個(gè)圖像特征中計(jì)算出來的任何實(shí)值量，用于視覺伺服控制的一些特征參數(shù)包括圖像 11, 14, 15、16, 17, 18、19 中的點(diǎn)的圖像平面坐標(biāo)，距離為在圖像平面中的兩點(diǎn)和連接兩個(gè)點(diǎn) 10, 20 的線的方向，投影表面的感知邊緣長度 21a 和兩個(gè)投影表面的相對面積 21，投影表面的質(zhì)心和階次矩。Ne 11，以及圖像平面 11 中的橢圓的參數(shù)。在本課題中，我們將限的點(diǎn)特征，其參數(shù)是它們的圖像平面坐標(biāo)?？梢允褂脭z像機(jī)的投影幾何來計(jì)算從末端執(zhí)行器的位置和方向到相應(yīng)的圖像特征參數(shù)的映射。我們將用 F 來對他的映射進(jìn)行降噪，其中例如，如果是 U，Y 圖像平面坐標(biāo)的空間，用于投影到圖像平面上，那么，假設(shè)透視投影，其中 u 和 ube 由（16）給出。（19）的精確形式將部分取決于下一節(jié)中討論的 THM 相機(jī)和端部執(zhí)行器的相對配置。2.5 相機(jī)配置視覺伺服系統(tǒng)通常使用兩種相機(jī)配置中的一種：末端執(zhí)行器安裝或固定工作 空間。第一種，通常稱為手眼配置，攝像機(jī)安裝在機(jī)器人末端執(zhí)行器上。在這里， 存在一個(gè)已知的，往往是恒定的關(guān)系之間的相機(jī)的姿勢（砂的姿勢的末端執(zhí)行器）。我們通過 ARGET 的姿勢來表示這種關(guān)系：相對于相機(jī)框架用 X 表示。這些姿態(tài)之間的關(guān)系如圖 2 中所示，第二種配置有固定在工作空間中的攝像機(jī)。在這種情況下，攝像機(jī)（X）與 X 的機(jī)器人的基本坐標(biāo)系相關(guān)，而 X 則與目標(biāo)有關(guān)。當(dāng)然， 在該攝像機(jī)中，目標(biāo)的攝像機(jī)圖像與機(jī)器人運(yùn)動(dòng)無關(guān)（除非目標(biāo) ISED 執(zhí)行器本身）。一種變體是為了使相機(jī)靈活，安裝在另一個(gè)機(jī)器人平移/傾斜頭上，以便從最佳攝像機(jī) 25 觀察視覺控制的機(jī)器人，以供選擇攝像機(jī)配置，在執(zhí)行視覺伺服任務(wù)之前，必須按順序執(zhí)行攝像機(jī)標(biāo)定。確定攝像機(jī)內(nèi)部參數(shù)如焦距必須建立坐標(biāo)系，并將其封裝在外部參數(shù)確定 CAMELL 校準(zhǔn)過程中。對于手眼的情況，必須考慮相對姿勢 X，這就是手/EVE 校準(zhǔn)問題。校準(zhǔn)是計(jì)算機(jī)視覺界的一個(gè)長期的研究（在許多參考文獻(xiàn)中可以找到校準(zhǔn)問題的良好解決方案，例如（, 27, 28）。因此，由此產(chǎn)生的分類學(xué)有四大類，我們現(xiàn)在來描述。這些基本結(jié)構(gòu)在圖 3至 6 中示意性地示出，如果控制體系結(jié)構(gòu)是分層的，并且使用視覺系統(tǒng)來提供關(guān)節(jié)點(diǎn)控制器的設(shè)置點(diǎn)輸入，從而利用聯(lián)合反饋來將機(jī)器人穩(wěn)定在內(nèi)部稱為動(dòng)態(tài)觀察 A。ND 移動(dòng)系統(tǒng)。相反，直接智能伺服消除機(jī)器人控制器完全取代它與視覺伺服控制器，直接計(jì)算聯(lián)合輸入，從而利用視覺單獨(dú)穩(wěn)定機(jī)制有以下幾個(gè)原因， 幾乎所有實(shí)現(xiàn)的系統(tǒng)采用動(dòng)態(tài)外觀和移動(dòng)近似然而，從視覺上獲得的相對較低的采樣率使得機(jī)器人末端控制器具有復(fù)雜的非線性動(dòng)力學(xué)的直接控制，這是一個(gè)極具挑戰(zhàn)性的控制問題。使用具有高采樣率的內(nèi)部反饋一般呈現(xiàn)具有理想化軸動(dòng)力學(xué) 29 的視覺控制器。其次，許多機(jī)器人已經(jīng)有一個(gè)接口接受笛卡爾速度或增量位置命令。這簡化了視覺伺服系統(tǒng)的構(gòu)造，并且使方法更加便攜。第三，從視覺控制器看機(jī)構(gòu)的運(yùn)動(dòng)奇異性。允許機(jī)器人被認(rèn)為是理想的笛卡爾運(yùn)動(dòng)裝置。由于許多解決速率 30 控制器具有專門處理運(yùn)動(dòng)學(xué)奇異性的機(jī)制 31），所以系統(tǒng)設(shè)計(jì)又被大大簡化。在本文中，我們將專門使用外觀和移動(dòng)模型。系統(tǒng)的第二大分類將基于位置的控制與基于圖像的控制區(qū)分開來。在基于位置的控制中，從圖像中提取特征并結(jié)合目標(biāo)的幾何模型和已知的攝像機(jī)模型來估計(jì)相對于攝像機(jī)的姿 態(tài)的姿態(tài)。通過減少估計(jì)的 POSEE 中的誤差來計(jì)算反饋。在基于圖像的伺服控制中，直接基于圖像特征來計(jì)算控制值?；趫D像的方法可以減少計(jì)算延遲，消除圖像解釋的必要性，并消除由于傳感器建模和攝像機(jī)標(biāo)定造成的誤差。然而，它對控制器設(shè)計(jì)提出了一個(gè)重大的挑戰(zhàn)，因?yàn)樵撛O(shè)備是非線性的和高度的附錄 2：外文原文,