水果圖像識(shí)別系統(tǒng)——碩士學(xué)位論文

《水果圖像識(shí)別系統(tǒng)——碩士學(xué)位論文》由會(huì)員分享，可在線閱讀，更多相關(guān)《水果圖像識(shí)別系統(tǒng)——碩士學(xué)位論文（53頁(yè)珍藏版）》請(qǐng)?jiān)谘b配圖網(wǎng)上搜索。

1、目錄摘 要 關(guān)鍵詞： 50ABSTRACT Keyword: 目錄摘 要IABSTRACTI第一章 緒論31.1 課題背景31.2 國(guó)內(nèi)外現(xiàn)狀31.3 研究目的和主要內(nèi)容41.4 論文的組織和安排5第二章 水果分類的圖像算法設(shè)計(jì)62.1計(jì)算機(jī)數(shù)字圖像處理62.2水果分類的基本圖像處理算法72.3水果的圖像特征92.4水果圖像分類器122.5水果圖像識(shí)別算法設(shè)計(jì)142.5.1水果圖像背景提取142.5.2水果形狀和顏色特征152.5.3水果分類算法172.6本章小結(jié)18第三章 水果圖像識(shí)別系統(tǒng)總體設(shè)計(jì)193.1系統(tǒng)總體設(shè)計(jì)193.1.1系統(tǒng)需求分析193.1.2系統(tǒng)方案選擇203.2硬件方案設(shè)計(jì)

2、263.3 水果注冊(cè)流程273.4水果識(shí)別流程293.5本章小結(jié)30第四章 水果圖像識(shí)別系統(tǒng)設(shè)計(jì)314.1軟件概要設(shè)計(jì)314.2圖像處理模塊詳細(xì)設(shè)計(jì)324.2.1基本數(shù)據(jù)結(jié)構(gòu)定義324.2.2水果識(shí)別API344.3應(yīng)用管理及數(shù)據(jù)管理詳細(xì)設(shè)計(jì)364.3.1應(yīng)用管理模塊364.3.2數(shù)據(jù)管理模塊374.4人機(jī)交互模塊詳細(xì)設(shè)計(jì)384.5 本章小節(jié)39第五章 水果圖像識(shí)別性能測(cè)試405.1 原型系統(tǒng)405.2 數(shù)據(jù)準(zhǔn)備405.3 測(cè)試方法415.4 實(shí)驗(yàn)結(jié)果435.5 結(jié)果分析445.6 本章小節(jié)45參考文獻(xiàn)47致 謝49 第一章 緒論1.1 課題背景隨著計(jì)算機(jī)技術(shù)的不斷發(fā)展，近年來(lái)基于模式識(shí)別技術(shù)

3、逐漸推廣應(yīng)用到農(nóng)業(yè)領(lǐng)域，例如利用遙感圖像分析識(shí)別農(nóng)業(yè)灌溉效果，稻田豐收欠收識(shí)別與估計(jì)，以及農(nóng)作物的自動(dòng)分揀與識(shí)別等。80年代出現(xiàn)了一些自動(dòng)分類系統(tǒng)。在已有的水果識(shí)別分類系統(tǒng)中，應(yīng)用得較多的包括水果的傷痕及缺陷檢測(cè)，水果等級(jí)的自動(dòng)識(shí)別與劃分等1-4,6-9。這類分類系統(tǒng)大多要求將采摘的水果置于嚴(yán)格限定的狀態(tài)之中，比如一類水果分類系統(tǒng)利用氣味傳感器件采集數(shù)據(jù)，然后以此作為特征對(duì)水果進(jìn)行分類或者質(zhì)量評(píng)估，分類準(zhǔn)確率可以達(dá)到90%。但是這類系統(tǒng)的一個(gè)明顯缺陷是必須將采摘的水果置于相對(duì)隔離的空間中，需要采用特殊的氣味傳感器件來(lái)采集數(shù)據(jù)，并且容易受到外部環(huán)境，例如流通的空氣等因素影響。其它還有基于特殊傳感

4、器件的水果分類系統(tǒng)包括基于激光探測(cè)器，以及紅外探測(cè)器的系統(tǒng)。特別地，由于水果類作物的圖像具有顯著的分辨特征，很容易進(jìn)行圖像特征采集，因此利用圖像信息對(duì)水果分類和評(píng)級(jí)得到更為廣泛的關(guān)注，可以在無(wú)損狀態(tài)下進(jìn)行快速而準(zhǔn)確的自動(dòng)分類。市場(chǎng)方面，水果產(chǎn)業(yè)是近年來(lái)快速發(fā)展的一個(gè)農(nóng)產(chǎn)品產(chǎn)業(yè), 據(jù)農(nóng)業(yè)部統(tǒng)計(jì), 2007 年我國(guó)水果產(chǎn)量已經(jīng)達(dá)到1.05 億噸 , 位居世界第1, 比5 年前增長(zhǎng)了51%。但由于品種結(jié)構(gòu)不合理, 產(chǎn)后商品化處理技術(shù)落后, 產(chǎn)品缺乏市場(chǎng)競(jìng)爭(zhēng)力。西方發(fā)達(dá)國(guó)家在水果行業(yè)強(qiáng)調(diào)規(guī)?；?、專業(yè)化, 在選果包裝車間已普遍采用無(wú)損傷檢測(cè)技術(shù)手段。因此，水果識(shí)別技術(shù)具有很高的市場(chǎng)推廣價(jià)值。本課題將面向

5、市場(chǎng)需求，開發(fā)一套基于2D圖像的實(shí)用水果識(shí)別系統(tǒng)，控制開發(fā)成本，預(yù)期可以取得良好的經(jīng)濟(jì)效益。1.2 國(guó)內(nèi)外現(xiàn)狀80年代起國(guó)外開始研究機(jī)器視覺技術(shù)，在農(nóng)業(yè)方面的應(yīng)用主要包括農(nóng)業(yè)機(jī)器人、農(nóng)業(yè)遙感分析、糧食及水果的品質(zhì)檢測(cè)等技術(shù)。以計(jì)算機(jī)圖像處理為基礎(chǔ)的智能識(shí)別水果技術(shù)具有分類精度高，分類結(jié)果客觀準(zhǔn)確，自動(dòng)化程序高，對(duì)水果損傷少等優(yōu)點(diǎn)，正在逐步取代現(xiàn)有的人工分類，是當(dāng)前水果實(shí)時(shí)檢測(cè)與自動(dòng)化分類技術(shù)發(fā)展的必然趨勢(shì)。我國(guó)這方面的研究和應(yīng)用起步較晚，還處于人工和半機(jī)械階段。人工分選在很大程度上依靠分選工人的個(gè)人經(jīng)驗(yàn)，這種主觀評(píng)定受到環(huán)境、視力、顏色鑒別力、情感、疲勞等的影響，勞動(dòng)強(qiáng)度大，速度慢，而且人眼很

6、難定量估計(jì)著色、損傷等指標(biāo)，大多數(shù)停留于定性評(píng)判，精度和可靠性低。另一方面，機(jī)械分選的主要指標(biāo)是水果的大小和重量，不可避免對(duì)水果損傷，效率低，分選結(jié)果達(dá)不到國(guó)際要求。我國(guó)是世界果樹大國(guó)，栽培歷史悠久，品種豐富，水果和干果達(dá)50余種，是世界果樹起源最早、種類最多的著名果樹古國(guó)之一；同時(shí)，我國(guó)也是一個(gè)水果生產(chǎn)大國(guó)，據(jù)國(guó)家統(tǒng)計(jì)局統(tǒng)計(jì)，我國(guó)水果總產(chǎn)量約占世界總產(chǎn)量的14%左右，居世界首位。 但我國(guó)的水果出口量卻很小，屬于水果出口小國(guó)。造成這些現(xiàn)象背后其中一個(gè)主要原因就是國(guó)內(nèi)水果的產(chǎn)后技術(shù)處理環(huán)節(jié)缺失。這其中存在行業(yè)技術(shù)推廣的問題。反觀世界發(fā)達(dá)國(guó)家，均將農(nóng)產(chǎn)品的貯藏、保鮮和加工放在產(chǎn)業(yè)的首要位置。比如從

7、農(nóng)產(chǎn)品的產(chǎn)值構(gòu)成來(lái)看，農(nóng)產(chǎn)品的產(chǎn)值70%以上是通過產(chǎn)后的貯運(yùn)、保鮮和加工等環(huán)節(jié)來(lái)實(shí)現(xiàn)的。美國(guó)用于農(nóng)產(chǎn)品采摘的費(fèi)用僅占30%，而70%的資金都用在采后環(huán)節(jié)。農(nóng)產(chǎn)品產(chǎn)后產(chǎn)值與采收時(shí)自然值的比例，美國(guó)為3.7:1，日本為2.2:1，我國(guó)僅0.38:1。目前發(fā)達(dá)國(guó)家水果產(chǎn)后商品化技術(shù)處理比例達(dá)到80-90%，而我國(guó)技術(shù)處理比例(包括簡(jiǎn)單手工分類的在內(nèi))還不到總產(chǎn)量的2%。除了規(guī)?；墓I(yè)應(yīng)用之外，目前還沒有將水果識(shí)別應(yīng)用到消費(fèi)產(chǎn)品中，圖像智能識(shí)別技術(shù)可以與傳統(tǒng)設(shè)備相結(jié)合，獲得更好的用戶體驗(yàn)，提高工作效率。在水果識(shí)別學(xué)術(shù)研究方面，從80年代開始，國(guó)內(nèi)外就有學(xué)者研究水果的計(jì)算機(jī)自動(dòng)識(shí)別，傳統(tǒng)的水果識(shí)別僅僅

8、基于水果的輪廓曲線特征27，近年來(lái)出現(xiàn)了一些基于模式識(shí)別算法的較新方法，比如文獻(xiàn)6,12描述了基于神經(jīng)網(wǎng)絡(luò)的水果識(shí)別系統(tǒng)，并利用了多種光譜下的水果圖像來(lái)進(jìn)行識(shí)別1。這些技術(shù)相比早期方法有了很大進(jìn)步，但是還存在一些不足，大部分的研究都集中于分類器的設(shè)計(jì)，忽略了系統(tǒng)前端的圖像信號(hào)采集和有效特征提取。神經(jīng)網(wǎng)絡(luò)系統(tǒng)對(duì)于輸入的水果圖像直接進(jìn)行訓(xùn)練，沒有考慮樣本中存在的噪音。神經(jīng)網(wǎng)絡(luò)中最優(yōu)參數(shù)的選擇也只能根據(jù)經(jīng)驗(yàn)。在圖像采集方面雖然加入多光譜圖像，但是成本較高，無(wú)法得到推廣。在一個(gè)模式識(shí)別系統(tǒng)中，除了分類器的選擇和訓(xùn)練，圖像特征的篩選、采集環(huán)境、信號(hào)預(yù)處理、最佳訓(xùn)練樣本選擇都對(duì)系統(tǒng)性能有著重要影響，因此，

9、為了獲得更好的性能，必須基于用戶的實(shí)際需求，從一個(gè)系統(tǒng)、整體的觀點(diǎn)，來(lái)構(gòu)建一個(gè)更加有效的水果識(shí)別系統(tǒng)。借鑒國(guó)際發(fā)展歷史，水果智能識(shí)別技術(shù)必將越來(lái)越多的進(jìn)入行業(yè)領(lǐng)域，因此，作為水果分級(jí)、分類識(shí)別中核心的計(jì)算機(jī)圖像處理技術(shù)，可使分類檢測(cè)實(shí)現(xiàn)全自動(dòng)化、擺脫傳統(tǒng)人工操作，可以為行業(yè)發(fā)展提供廣闊空間，利用新興的先進(jìn)技術(shù)手段和方法可以大大提高我國(guó)水果產(chǎn)后的處理水平，提高生產(chǎn)效率，提升我國(guó)水果國(guó)際競(jìng)爭(zhēng)力。水果圖像分類還可以廣泛應(yīng)用于商業(yè)銷售環(huán)節(jié)，比如自動(dòng)稱重，自動(dòng)計(jì)價(jià)，提供便捷的人機(jī)交互方式，減輕人工負(fù)擔(dān)。1.3 研究目的和主要內(nèi)容水果分類識(shí)別是一個(gè)范圍很廣的課題，前人多研究單類水果的品質(zhì)分級(jí)，缺陷檢測(cè)，水

10、果成熟度識(shí)別，機(jī)器人采摘系統(tǒng)等，鮮有研究多類水果識(shí)別的項(xiàng)目，而多類水果識(shí)別在實(shí)際中有著廣闊的應(yīng)用價(jià)值，比如在發(fā)達(dá)國(guó)家的超級(jí)市場(chǎng)，用戶可以進(jìn)行自助水果購(gòu)買。在生產(chǎn)線上，多類分類還可以減少人工差錯(cuò)，提高生產(chǎn)效率。本文從國(guó)內(nèi)外發(fā)展的狀況及我國(guó)的國(guó)情出發(fā)，在現(xiàn)有項(xiàng)目組研究基礎(chǔ)上，選取常見的幾類水果為研究對(duì)象，主要內(nèi)容是解決目前利用2D計(jì)算機(jī)圖像來(lái)分類水果存在的問題，提高現(xiàn)有分類系統(tǒng)的識(shí)別精度，力求達(dá)到實(shí)用化水平。主要內(nèi)容包括：（1）水果分類中的光照系統(tǒng)，水果識(shí)別系統(tǒng)工作在不同環(huán)境，而圖像采集對(duì)于光照變化非常敏感，通過初步調(diào)研發(fā)現(xiàn)，現(xiàn)有的光照校正算法，無(wú)法徹底解決光照問題。為了從源信號(hào)保證系統(tǒng)的穩(wěn)定性，

11、課題需要研究如何設(shè)計(jì)一套針對(duì)水果識(shí)別的光照系統(tǒng)。目標(biāo)是保證室內(nèi)環(huán)境和室外環(huán)境下，水果顏色的恒常性。機(jī)器視覺檢測(cè)有很多相關(guān)的實(shí)際產(chǎn)品，可以作為設(shè)計(jì)參考。（2）水果圖像預(yù)處理算法，獲得水果圖像后，由于CMOS或者CCD傳感器不可避免存在噪音，各種器件噪音水平有差異，噪音對(duì)于提取穩(wěn)定的水果特征是有害的，因此，在進(jìn)行特征提取前，首先要進(jìn)行圖像預(yù)處理，包括噪音去除，圖像對(duì)比度增強(qiáng)，顏色還原，預(yù)處理算法一般會(huì)對(duì)圖像造成失真，失真過大將破壞圖像原有結(jié)構(gòu)，因此，在設(shè)計(jì)預(yù)處理算法時(shí)，要充分考慮到后續(xù)的特征提取，在噪音過濾和特征保持之間做一個(gè)合理的平衡。（3）提取描述水果的有效特征，包括形狀，顏色和紋理。描述一個(gè)

12、水果需要很多特征，從人類視覺出發(fā)，這些特征包括水果形狀，水果顏色，水果的紋理變化。不同的特征在分類中所起的作用是不同的，而且不同水果之間區(qū)分所用的特征也是不盡相同。在實(shí)際環(huán)境中，不同特征對(duì)于光照，角度的穩(wěn)定性也是有差別，因此，需要設(shè)計(jì)一個(gè)完善的特征提取和組合策略，才能設(shè)計(jì)出一個(gè)性能很好的分類系統(tǒng)?；镜难芯糠椒ㄊ沁M(jìn)行計(jì)算機(jī)統(tǒng)計(jì)分析，在眾多參數(shù)組合中進(jìn)行優(yōu)化。最終提取的水果特征，都表現(xiàn)為一串?dāng)?shù)字。特征提取是整個(gè)系統(tǒng)中最重要的一個(gè)步驟，這也是人類強(qiáng)大視覺識(shí)別功能的秘密所在。（4）水果分類器設(shè)計(jì)，特征提取結(jié)束后，每一張水果圖像將得到一段數(shù)據(jù)，被輸入到一個(gè)分類器中，經(jīng)過判別，得出最終結(jié)果。分類器分為閾

13、值分類器，最近鄰，神經(jīng)網(wǎng)絡(luò)12，支持向量機(jī)14,15，線性判別34等多種類型，每一種類型具有不同的計(jì)算復(fù)雜度和性能。但是，當(dāng)特征提取足夠優(yōu)化時(shí)，他們之間的差別就不明顯了，在實(shí)際系統(tǒng)中，著重考慮的是分類器的復(fù)雜度，一般的，都采用閾值分類器和最近鄰分類器。（5）分類算法的實(shí)現(xiàn)。嵌入式系統(tǒng)實(shí)現(xiàn)，在嵌入式上實(shí)現(xiàn)復(fù)雜算法具有很大的挑戰(zhàn)，一方面產(chǎn)品設(shè)計(jì)有確定的需求，算法須高度優(yōu)化，并且系統(tǒng)的穩(wěn)定性也非常重要。這需要學(xué)習(xí)特定嵌入式系統(tǒng)的架構(gòu)，以便進(jìn)行代碼優(yōu)化，常見的優(yōu)化方式有循環(huán)拆解，減少內(nèi)存數(shù)據(jù)拷貝，利用操作系統(tǒng)的進(jìn)程通信特性等。1.4 論文的組織和安排本論文的各章具體內(nèi)容安排如下：第一章介紹了本課題的研

14、究背景，總結(jié)傳統(tǒng)水果圖像處理系統(tǒng)的不足，指出了研究水果分類系統(tǒng)的必要性，并概括了主要研究的課題。第二章介紹了水果分類相關(guān)的基本理論基礎(chǔ)和算法實(shí)現(xiàn),詳細(xì)討論了本課題中使用的圖像處理算法和模式識(shí)別方案。第三章闡述了水果分類系統(tǒng)的硬件整體設(shè)計(jì)和軟件概要設(shè)計(jì)。包括光源、圖像采集裝置、嵌入式系統(tǒng)。第四章從工程實(shí)現(xiàn)角度，描述了軟件詳細(xì)設(shè)計(jì)和實(shí)現(xiàn)，包括具體數(shù)據(jù)結(jié)構(gòu)定義，如何實(shí)現(xiàn)多線程，函數(shù)執(zhí)行流程。第五章介紹了水果分類原型系統(tǒng)的實(shí)際應(yīng)用和性能測(cè)試，包括識(shí)別精度、速度。并討論存在的問題和后續(xù)開發(fā)方向。第六章總結(jié)了本課題的實(shí)施和完成情況，并對(duì)課題后續(xù)工作做了展望。 第二章 水果分類的圖像算法設(shè)計(jì)2.1計(jì)算機(jī)數(shù)字

15、圖像處理數(shù)字圖像處理（Digital Image Processing）又稱為計(jì)算機(jī)圖像處理5,16，它是指將圖像信號(hào)轉(zhuǎn)換成數(shù)字信號(hào)并利用計(jì)算機(jī)對(duì)其進(jìn)行處理的過程。 數(shù)字圖像處理最早出現(xiàn)于20世紀(jì)50年代，當(dāng)時(shí)的電子計(jì)算機(jī)已經(jīng)發(fā)展到一定水平，人們開始利用計(jì)算機(jī)來(lái)處理圖形和圖像信息。數(shù)字圖像處理作為一門學(xué)科大約形成于20世紀(jì)60年代初期。早期的圖像處理的目的是改善圖像的質(zhì)量，它以人為對(duì)象，以改善人的視覺效果為目的。圖像處理中，輸入的是質(zhì)量低的圖像，輸出的是改善質(zhì)量后的圖像，常用的圖像處理方法有圖像增強(qiáng)、復(fù)原、編碼、壓縮等。首次獲得實(shí)際成功應(yīng)用的是美國(guó)噴氣推進(jìn)實(shí)驗(yàn)室（JPL）。他們對(duì)航天探測(cè)器徘徊

16、者7號(hào)在1964年發(fā)回的幾千張?jiān)虑蛘掌褂昧藞D像處理技術(shù)，如幾何校正、灰度變換、去除噪聲等方法進(jìn)行處理，并考慮了太陽(yáng)位置和月球環(huán)境的影響，由計(jì)算機(jī)成功地繪制出月球表面地圖，獲得了巨大的成功。隨后又對(duì)探測(cè)飛船發(fā)回的近十萬(wàn)張照片進(jìn)行更為復(fù)雜的圖像處理，以致獲得了月球的地形圖、彩色圖及全景鑲嵌圖，獲得了非凡的成果，為人類登月創(chuàng)舉奠定了堅(jiān)實(shí)的基礎(chǔ)，也推動(dòng)了數(shù)字圖像處理這門學(xué)科的誕生。在以后的宇航空間技術(shù)，如對(duì)火星、土星等星球的探測(cè)研究中，數(shù)字圖像處理技術(shù)都發(fā)揮了巨大的作用。數(shù)字圖像處理取得的另一個(gè)巨大成就是在醫(yī)學(xué)上獲得的成果。1972年英國(guó)EMI公司工程師Household發(fā)明了用于頭顱診斷的X射線計(jì)

17、算機(jī)斷層攝影裝置，也就是CT（Computer Tomography）。CT的基該方法是根據(jù)人的頭部截面的投影，經(jīng)計(jì)算機(jī)處理來(lái)重建截面圖像，稱為圖像重建。1975年EMI公司又成功研制出全身用的CT裝置，獲得了人體各個(gè)部位鮮明清晰的斷層圖像。1979年，這項(xiàng)無(wú)損傷診斷技術(shù)獲得了諾貝爾獎(jiǎng)，說明它對(duì)人類作出了劃時(shí)代的貢獻(xiàn)。與此同時(shí)，圖像處理技術(shù)在許多應(yīng)用領(lǐng)域受到廣泛重視并取得了重大的開拓性成就，屬于這些領(lǐng)域的有航空航天、生物醫(yī)學(xué)工程、工業(yè)檢測(cè)、機(jī)器人視覺、公安司法、軍事制導(dǎo)、文化藝術(shù)等，使圖像處理成為一門引人注目、前景遠(yuǎn)大的新型學(xué)科。隨著圖像處理技術(shù)的深入發(fā)展，從70年代中期開始，隨著計(jì)算機(jī)技術(shù)和

18、人工智能、思維科學(xué)研究的迅速發(fā)展，數(shù)字圖像處理向更高、更深層次發(fā)展。人們已開始研究如何用計(jì)算機(jī)系統(tǒng)解釋圖像，實(shí)現(xiàn)類似人類視覺系統(tǒng)理解外部世界，這被稱為圖像理解或計(jì)算機(jī)視覺。很多國(guó)家，特別是發(fā)達(dá)國(guó)家投入更多的人力、物力到這項(xiàng)研究，取得了不少重要的研究成果。其中代表性的成果是70年代末MIT的Marr提出的視覺計(jì)算理論，這個(gè)理論成為計(jì)算機(jī)視覺領(lǐng)域其后十多年的主導(dǎo)思想。圖像理解雖然在理論方法研究上已取得不小的進(jìn)展，但它本身是一個(gè)比較難的研究領(lǐng)域，存在不少困難，因人類本身對(duì)自己的視覺過程還了解甚少，因此計(jì)算機(jī)視覺是一個(gè)有待人們進(jìn)一步探索的新領(lǐng)域。 2.2水果分類的基本圖像處理算法一個(gè)基本的圖像處理系統(tǒng)

19、由照明系統(tǒng)、圖像采集、圖像預(yù)處理、圖像增強(qiáng)、圖像歸一化等步驟組成。處理的每一個(gè)步驟對(duì)于系統(tǒng)性能都很關(guān)鍵，但是根據(jù)不同的需求，每一個(gè)步驟的重點(diǎn)會(huì)有所不同。圖像處理是一項(xiàng)典型的串行工作流，在進(jìn)行系統(tǒng)設(shè)計(jì)時(shí)，必須考慮步驟之間的聯(lián)系，才能做到可靠、優(yōu)化的性能。圖像成像必須要有光源，物體表面的形狀變化，物體材質(zhì)的不同屬性，將在圖像上呈現(xiàn)不同色彩、亮度，這是成像的物理基礎(chǔ)，因此必須考慮光源的設(shè)計(jì)。在工業(yè)檢測(cè)領(lǐng)域，一般使用高純度，光強(qiáng)分布均勻的LED光源（圖2-1），但是其造價(jià)高。在技術(shù)指標(biāo)滿足的條件下，可以使用替代的光源，滿足光強(qiáng)近似均勻，光源從上方垂直向下照射，距離水果約30cm，如圖2-2。 圖2-1

20、 工業(yè)LED光源 圖2-2 水果識(shí)別的光源結(jié)構(gòu)圖像采集是將現(xiàn)實(shí)世界中模擬的圖像信號(hào)轉(zhuǎn)換為計(jì)算機(jī)可以處理的數(shù)字信號(hào)的過程。圖像可以分為黑白圖像和彩色圖像，從采集器件方面考慮，目前業(yè)界成熟的技術(shù)有CCD和CMOS感光器件34,35。CCD （Charge-coupled Device），電荷耦合組件，是一種集成電路，上有許多排列整齊的電容，能感應(yīng)光線，并將圖像轉(zhuǎn)變成數(shù)字信號(hào)。經(jīng)由外部電路的控制，每個(gè)小電容能將其所帶的電荷轉(zhuǎn)給它相鄰的電容。CCD的優(yōu)點(diǎn)是光效率可達(dá)70%，并且是全局曝光成像，因此不會(huì)存在嚴(yán)重的拖影。但是缺點(diǎn)是尺寸較大，分辨率不容易提高，典型的CCD芯片如圖2-3所示。而另一種廣泛應(yīng)用

21、的器件CMOS（Complementary Metal-Oxide-Semiconductor），互補(bǔ)式金屬氧化物半導(dǎo)體，具有分辨率大，尺寸小，功耗低的特點(diǎn)，越來(lái)越多的應(yīng)用到工業(yè)和消費(fèi)領(lǐng)域。CMOS是所有硅芯片制作的主流技術(shù)，CMOS感光組件造價(jià)低廉，CMOS感光組件跟CCD相比，耗電量較低，數(shù)據(jù)傳輸亦較快，典型的CMOS芯片如圖2-4所示。CCD和CMOS具有不同的技術(shù)特點(diǎn)，因而具有不同的應(yīng)用市場(chǎng)。 圖2-3 CCD傳感器 圖2-4 CMOS傳感器 圖像預(yù)處理，包括去除噪音、幾何校正。CCD和CMOS都會(huì)受到各種電子信號(hào)、溫度變化的干擾，因此采集的數(shù)字圖像與現(xiàn)實(shí)世界圖像相比，存在一定程度的噪

22、音（圖2-5），這時(shí)需要使用圖像濾波器進(jìn)行圖像去燥和平滑。采集系統(tǒng)中的光線是經(jīng)過鏡頭透射到傳感器表面，鏡頭的安裝位置、鏡頭本身存在的缺陷，會(huì)導(dǎo)致圖像失真，一般會(huì)對(duì)鏡頭進(jìn)行標(biāo)定，得到標(biāo)定參數(shù)再進(jìn)行圖像校正，鏡頭成像光路如圖2-6所示。 圖2-5 圖像噪音 圖2-6 鏡頭成像光路 圖像增強(qiáng)，圖像采集過程中發(fā)生的噪音、圖像模糊會(huì)降低圖像質(zhì)量，為了最大程度的還原圖像信息，需要進(jìn)行圖像增強(qiáng)。特別的，圖像處理系統(tǒng)往往關(guān)注圖像某一方面的信息，比如顏色或者形狀或者紋理，不同信息對(duì)于圖像質(zhì)量的要求是不同的，圖像增強(qiáng)的目的就是最大化保留將要關(guān)注的信息。例如，顏色增強(qiáng)的方法是調(diào)節(jié)圖像的彩色直方圖分布，形狀增強(qiáng)的方法

23、是通過邊緣檢測(cè)，紋理增強(qiáng)方法是通過對(duì)比度調(diào)節(jié)，銳化濾波器實(shí)現(xiàn)。圖像銳化和圖像平滑的效果如圖2-7和2-8所示。 圖2-7 圖像銳化效果 圖2-8 圖像平滑效果2.3水果的圖像特征經(jīng)過圖像處理后，為了區(qū)分每一類水果不同的特點(diǎn)，需要對(duì)水果圖像進(jìn)行特征提取。根據(jù)文獻(xiàn)29，基本的水果圖像特征包括：水果大小、水果形狀、水果顏色。下面將討論如何提取得到這三個(gè)特征。水果大小，當(dāng)圖像傳感器的距離與水果固定時(shí)，水果大小就是水果在圖像中所占像素個(gè)數(shù)。為了計(jì)算水果像素個(gè)數(shù)，需要讓計(jì)算機(jī)計(jì)算水果在圖像中的區(qū)域。由于水果的形狀是無(wú)法預(yù)測(cè)的，而且水果放置的位置也無(wú)法精確固定和測(cè)量。但是如果已知拍攝場(chǎng)景的背景，并且水果像素

24、與背景像素不同，將含有水果圖像的圖像減去背景圖像，則可以得到哪些像素發(fā)生了變化，即水果區(qū)域，這種方法稱為背景差分法，如圖2-9所示： 圖2-9 水果區(qū)域提取方法在實(shí)際情況中，背景顏色的選擇不能和水果顏色沖突，白色和黑色是合適的選擇，考慮到光源對(duì)于白色背景會(huì)有強(qiáng)烈的反光，不利于表現(xiàn)水果的細(xì)節(jié)特征，因此選擇黑色紙背景。由于攝像機(jī)的固有噪音，即使有光源，還是會(huì)受到環(huán)境光的感染，拍攝的背景圖像不是理想的黑色，存在噪音，需要進(jìn)行平均多幅背景圖像去除噪音。最后得到的水果區(qū)域也不是理想的，可能會(huì)存在多個(gè)區(qū)域。注意到干擾的多個(gè)區(qū)域面積都比真正水果區(qū)域小很多，所以直接取最大的區(qū)域作為水果區(qū)域。水果形狀，圖像的形

25、狀特征包括周長(zhǎng)、邊界彎曲程度、接近圓的程度。蘋果、橘子等水果邊界都較為光滑，都接近圓形，而香蕉則屬于條形，梨子屬于長(zhǎng)方形。假設(shè)水果區(qū)域面積為, 周長(zhǎng)為，選擇圓度參數(shù)參數(shù)來(lái)衡量形狀接近圓的程度，如果為圓，則數(shù)值等于，若大于，則說明為非圓形。數(shù)值越大，越接近長(zhǎng)方形。為了分析水果長(zhǎng)軸和短軸，還可以進(jìn)行下面的計(jì)算，假設(shè)水果形狀可以建模為長(zhǎng)方形，其變長(zhǎng)分別為，那么根據(jù)測(cè)量的和，可以得到方程：(1)(2)計(jì)算出后，可以利用來(lái)定義長(zhǎng)方形的長(zhǎng)寬比，滿足水果的顏色，顏色是區(qū)分各類水果最重要的一個(gè)特征，水果的顏色與水果品種直接相關(guān)。但是顏色不僅僅與物體的材質(zhì)相關(guān)，還與成像的環(huán)境有關(guān)。人類可以觀察到的顏色種類大約為

26、一千六百多萬(wàn)種，而一般的圖像采集系統(tǒng)很難達(dá)到如此精確的顏色還原度。幸運(yùn)的是，區(qū)分常見種類的水果不需要如此高的顏色區(qū)分度。圖像的顏色36一般使用顏色直方圖表示，由于存在各種顏色空間，常用有RGB，CMY，HSV , RGB（紅綠藍(lán)）是依據(jù)人眼識(shí)別的顏色定義出的空間，可表示大部分顏色。常見的液晶顯示器即采用這種顏色空間。但在科學(xué)研究一般不采用RGB顏色空間，因?yàn)樗募?xì)節(jié)難以進(jìn)行數(shù)字化的調(diào)整。它將色調(diào)，亮度，飽和度三個(gè)量放在一起表示，很難分開。CMY是工業(yè)印刷采用的顏色空間。它與RGB對(duì)應(yīng)。簡(jiǎn)單的類比RGB來(lái)源于是物體發(fā)光，而CMY是依據(jù)反射光得到的。具體應(yīng)用如打印機(jī)：一般采用四色墨盒，即CMY加黑

27、色墨盒。HSV顏色空間是為了更好的數(shù)字化處理顏色而提出來(lái)的，H是色調(diào)，S是飽和度，V是亮度。研究表明，HSV比較接近人類的視覺特性。圖2-10表示了RGB和HSV顏色空間的特點(diǎn)。 (a) RGB三原色 (b) RGB顏色空間 (c) HSV顏色空間 (d) H色盤 圖2-10 RGB和HSV顏色空間各種顏色空間可以進(jìn)行轉(zhuǎn)換，比如RGB轉(zhuǎn)換為HSV，可以按照以下步驟進(jìn)行：設(shè) (r,g,b)分別是一個(gè)顏色的紅、綠和藍(lán)坐標(biāo)，為0到1之間的實(shí)數(shù)。設(shè)max為r,g和b的最大值。設(shè)min為r,g和b的最小值。對(duì)應(yīng)HSV 空間中數(shù)值計(jì)算公式36：(3) 在水果顏色中，起關(guān)鍵作用的是H，色調(diào)。其含義是顏色的主

28、要成分，比如蘋果的顏色主要為紅色，而香蕉為黃色。在H色輪上，可以看出蘋果與香蕉落在不同的點(diǎn)上。但是在實(shí)際系統(tǒng)中，光源與水果之間的距離非常近，光源不能視為平行光，水果是三維物體，水果上不同點(diǎn)到光源的距離不同，表面曲率也不同，所以拍攝的圖像光照會(huì)出現(xiàn)不均勻分布，尤其是在水果區(qū)域邊緣，由于曲面向下彎曲，光照強(qiáng)度急劇變化，逐漸接近背景顏色。隨著亮度的降低，在HSV圓錐模型上，顏色將收縮到底部的頂點(diǎn)，在這一點(diǎn)處，色度和飽和度將失去物理意義，因?yàn)樯P已經(jīng)收縮為一點(diǎn)。如圖2-11所示，蘋果在外置光源的作用下黃色標(biāo)注的內(nèi)圈部分由于距離光源較近，亮度比較高，顏色還原度比較真實(shí)，而綠色標(biāo)注的外圈由于距離光源較遠(yuǎn)，

29、亮度降低很快，顏色還原度較差。為了獲得更加準(zhǔn)確的顏色信息，在計(jì)算色調(diào)H的直方圖時(shí)，亮度值小于某個(gè)閾值的像素點(diǎn)將被忽略。亮光區(qū)域暗光區(qū)域圖2-11 水果圖像光照變化直方圖是一種衡量樣本統(tǒng)計(jì)分布特性的方法。估計(jì)一組樣本最簡(jiǎn)單的特征是均值，但是單獨(dú)一個(gè)均值信息量太少，無(wú)法區(qū)分一些復(fù)雜的情況。直方圖將數(shù)值分為若干個(gè)連續(xù)的區(qū)間，對(duì)于給定的大量樣本，分別計(jì)算落入每一個(gè)區(qū)間的數(shù)量，由此形成一組數(shù)。這組數(shù)表示了樣本在不同區(qū)間上的出現(xiàn)概率，具有很好的物理意義。一個(gè)典型的高斯分布的直方圖圖2-12所示： 圖2-12 直方圖示意圖在圖像識(shí)別中，直方圖廣泛用于度量圖像的相似性，其優(yōu)點(diǎn)：數(shù)據(jù)量小，便于快速計(jì)算。一副圖像

30、含有上百萬(wàn)個(gè)像素點(diǎn)，每一個(gè)點(diǎn)都有顏色值，直接計(jì)算圖像之間的差異，計(jì)算量非常大。通過將圖像像素統(tǒng)計(jì)為直方圖，可以大大減少計(jì)算量。比如色度H的典型數(shù)值范圍為0,360, 相比原始圖像，節(jié)省了幾百倍的運(yùn)算量。數(shù)值更加穩(wěn)定，由于傳感器本身，原始圖像存在固有的噪音，同類水果本身顏色也是有一定差別的，直方圖是多個(gè)像素平均的數(shù)值，因此，可以很好的減弱噪音的影響，使得計(jì)算結(jié)果具有一定的穩(wěn)定性。直方圖是一種抽象的特征，與圖像的位置，大小，形狀無(wú)關(guān)。因此，對(duì)于水果圖像的很多變化，都可以很好的描述其顏色屬性。2.4水果圖像分類器圖像識(shí)別是一個(gè)復(fù)雜的課題，圖像識(shí)別屬于模式識(shí)別的一個(gè)分支，這個(gè)極具挑戰(zhàn)性的課題吸引了無(wú)數(shù)

31、研究人員的努力。對(duì)于人類而言，圖像識(shí)別含義是對(duì)于出現(xiàn)在視覺場(chǎng)景中的物體，大腦通過計(jì)算給出其類別。研究人員的夢(mèng)想是通過仿真人類的大腦，創(chuàng)造出一個(gè)與之功能相當(dāng)?shù)挠?jì)算機(jī)，完成人類可以完成的識(shí)別任務(wù)。限于目前對(duì)于人類大腦的了解還非常膚淺，目前的識(shí)別模型是一種非常簡(jiǎn)化的模型。模式識(shí)別，所指的是一種過程，該過程首先對(duì)現(xiàn)實(shí)世界的物體分為若干類模型，然后通過某種感知方式，將感知數(shù)據(jù)（比如圖像）轉(zhuǎn)化為某種模式（對(duì)應(yīng)直方圖），選擇出與模型最接近的類別。一個(gè)典型的模式識(shí)別系統(tǒng)圖2-13所示圖2-13 水果圖像分類流程在水果識(shí)別系統(tǒng)中，數(shù)據(jù)采集即圖像采集，特征選擇即計(jì)算水果圖像的形狀特征和顏色特征，選擇模型和訓(xùn)練分類

32、器是分類器設(shè)計(jì)的核心問題，訓(xùn)練得到的分類器就可以完成分類任務(wù)。模式識(shí)別中的分類器有很多模型，比如基于概率的貝葉斯分類器，模擬人腦的人工神經(jīng)網(wǎng)絡(luò)分類器，最近鄰KNN分類器。貝葉斯分類器的理論基礎(chǔ)是貝葉斯公式，該模型假定物體屬于某一類是一個(gè)概率事件，這個(gè)概率事件有固有的發(fā)生概率，稱為先驗(yàn)概率。物體屬于某一類這個(gè)事件一定會(huì)有很多表現(xiàn)，這里的表現(xiàn)即觀測(cè)到的特征，其意義可以解釋為固有發(fā)生概率的可信程度，通過先驗(yàn)概率與可信程度的乘積可以反向計(jì)算事件真實(shí)發(fā)生的概率，即物體屬于每一類的概率。自然的，將概率最大的一類作為分類結(jié)果。人工神經(jīng)網(wǎng)絡(luò)12，是70年代發(fā)展起來(lái)的模擬生物神經(jīng)網(wǎng)絡(luò)的一種計(jì)算模型，其結(jié)構(gòu)簡(jiǎn)單，

33、通過多層節(jié)點(diǎn)的連接實(shí)現(xiàn)復(fù)雜函數(shù)的學(xué)習(xí)，最終輸入數(shù)據(jù)可以被映射為輸出值。一個(gè)三層的人工神經(jīng)網(wǎng)絡(luò)如圖2-14所示。神經(jīng)網(wǎng)絡(luò)在大量的問題中取得了應(yīng)用，但是由于神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)需要人工設(shè)計(jì)，最優(yōu)參數(shù)無(wú)法獲取，具有一些不確定因素，因此在應(yīng)用中需要大量的經(jīng)驗(yàn)。 圖2-14 三層人工神經(jīng)網(wǎng)絡(luò)KNN最近鄰分類器，是一種簡(jiǎn)單的分類模型，這個(gè)模型不需要建立顯示的模型。直接以參考樣本以及其所屬的類別作為模板，直接計(jì)算輸入特征與參考樣本之間的距離，取距離最近的點(diǎn)，或者加權(quán)距離最近的點(diǎn)為識(shí)別結(jié)果。這個(gè)模型具有物理意義直觀的特點(diǎn)，而且在很多問題上的表現(xiàn)優(yōu)異。圖2-15表示了有三個(gè)類別的樣本分布，藍(lán)色點(diǎn)為第一類，紅色點(diǎn)為第二類

34、，綠色點(diǎn)為第三類，輸入點(diǎn)為橙色，計(jì)算橙色點(diǎn)與所有樣本點(diǎn)的直線距離發(fā)現(xiàn)，距離紅色點(diǎn)比藍(lán)色和綠色點(diǎn)更近，因此有理由相信橙色點(diǎn)的類別應(yīng)該更接近紅色。KNN的關(guān)鍵點(diǎn)是距離計(jì)算，常見的距離計(jì)算有：1） 歐式距離，即最常見的平面距離，距離越小，相似程度越大，距離越大，相似程度越小。(4)2） 絕對(duì)值距離，又稱為街區(qū)距離，距離越小，相似程度越大，距離越大，相似程度越小。(5)3） cos夾角距離，在計(jì)算，距離越小，相似程度越大，距離越大，相似程度越小。(6)絕對(duì)值距離具有計(jì)算速度快，受噪音影響小的特點(diǎn)，因此，在本課題中，采用絕對(duì)值距離作為顏色直方圖相似程度的度量。由于每一幅圖像的像素個(gè)數(shù)不同，直方圖的絕對(duì)數(shù)

35、值有差異，為了避免圖像大小引起的問題，在計(jì)算距離之前還要對(duì)直方圖做一個(gè)預(yù)處理，將直方圖每一個(gè)區(qū)間的數(shù)值求和，然和每一個(gè)區(qū)間的值除以總和，這樣得到的直方圖滿足總和等于1。 圖2-15最近鄰分類器在算法實(shí)現(xiàn)中，采用了分級(jí)識(shí)別的策略：首先使用形狀特征進(jìn)行粗選，使用水果絕對(duì)面積s、周長(zhǎng)平方與面積之比t作為形狀特征。計(jì)算測(cè)試樣本和注冊(cè)模板之間的差異，將差異最小的前k個(gè)水果模板選出。然后在計(jì)算測(cè)試樣本的顏色直方圖與這k個(gè)模板之間的相似度，按照相似度排序。這樣的實(shí)現(xiàn)策略有幾個(gè)優(yōu)點(diǎn)：1） 在不同階段使用不同特征，形狀特征和顏色特征互補(bǔ)。由于形狀特征和顏色特征物理意義不同，而且特征的長(zhǎng)度也差距很大，如果采用特征

36、融合的方法，很難做到最優(yōu)化。2） 采用從粗到精的識(shí)別策略，可以減少計(jì)算量，提高檢索速度。由于直方圖特征長(zhǎng)度較長(zhǎng)，每次計(jì)算耗費(fèi)的時(shí)間較多，對(duì)于小型數(shù)據(jù)庫(kù)影響不大，但是對(duì)于規(guī)模較大的數(shù)據(jù)庫(kù)，尤其是每種水果會(huì)注冊(cè)多個(gè)模板的場(chǎng)合，嵌入式系統(tǒng)的計(jì)算能力就出現(xiàn)瓶頸，層次化的識(shí)別策略很好的解決了這一問題。3） 采用從粗到精的策略，使得識(shí)別終端微型化具有可行性。在內(nèi)存容量大的PC、嵌入式系統(tǒng)中，可以將所有特征數(shù)據(jù)載入內(nèi)存進(jìn)行對(duì)比，但是對(duì)于微型的計(jì)算機(jī)系統(tǒng)，內(nèi)存容量非常有限，比如單片機(jī)系統(tǒng)的內(nèi)存只有392KB，在這樣的系統(tǒng)中，只有通過層次化，將簡(jiǎn)單的特征作為過濾條件，分情況將復(fù)雜特征載入內(nèi)存進(jìn)行對(duì)比，才可能實(shí)現(xiàn)

37、可行性。2.5水果圖像識(shí)別算法設(shè)計(jì)2.5.1水果圖像背景提取為了準(zhǔn)確計(jì)算水果的特征，首先必須獲得準(zhǔn)確的水果區(qū)域，本課題采用的是背景差分法。在背景差分算法中，最關(guān)鍵的是估計(jì)背景圖像，常見的算法有中值法背景建模、均值法背景建模和基于卡爾曼濾波的背景建模。中值法取連續(xù)N幀圖像序列，取序列中相同位置的像素點(diǎn)灰度值的中值作為背景圖像中對(duì)應(yīng)像素點(diǎn)的灰度值；均值法與中值法類似，區(qū)別在于使用平均值代替中值；卡爾曼濾波器模型把背景認(rèn)為是一種穩(wěn)態(tài)的系統(tǒng)，把前景圖像視為噪聲，用基于Kalman濾波理論的時(shí)域遞歸低通濾波來(lái)預(yù)測(cè)變化緩慢的背景圖像，可以處理處于動(dòng)態(tài)變化的背景。本課題使用了外部光源和黑色背景材料作為限制條

38、件，減少了背景提取的難度，在算法設(shè)計(jì)中使用均值法來(lái)提取背景，當(dāng)前圖像與背景圖像的差異小于某個(gè)設(shè)定的閾值時(shí)，背景提取完成?？紤]到嵌入式平臺(tái)的計(jì)算能力，在實(shí)際背景建模時(shí)，對(duì)圖像進(jìn)行了最近鄰下采樣，將圖像尺寸控制在320 x240大小。不僅可以提高計(jì)算速度，還能減少噪音。與傳統(tǒng)的背景建模方法不同，本系統(tǒng)僅在開機(jī)時(shí)或者人工請(qǐng)求時(shí)執(zhí)行背景提取，這是基于外部光照環(huán)境基本保持不變的假設(shè)。算法實(shí)際參數(shù)：圖像序列數(shù)目N=11,輸入圖像尺寸640 x480 RGB, 背景建模圖像尺寸320 x240 Gray, 背景計(jì)算公式：(7)詳細(xì)的流程如圖2-16所示。圖2-16背景圖像提取流程2.5.2水果形狀和顏色特征

39、根據(jù)上文的討論，背景建模后將得到背景圖像B， 水果區(qū)域可以由下述公式得到，其中I為輸入圖像，B為背景圖像，A為輸出二值圖像，像素1表示水果區(qū)域，T為控制參數(shù)，意義為像素灰度差，在本系統(tǒng)中，取T=7。 (8)由于噪音，A可能會(huì)出現(xiàn)小的干擾，為了去除噪音，圖像A中僅保留最大的連通區(qū)域。連通區(qū)域可以通過貪婪算法求出。算法描述如下：Algorithm: Connected Component Search1) Initiate S=, Find the first 1-value pixel, push into stack;2) While stack is not empty Pop out a

40、element p set p with 0 value; Check the 8 neighborhood pixels, push the 1-value pixel into stack; Set S = S,p; Endwhile3) Output S通過簡(jiǎn)單的計(jì)數(shù)即可求得水果像素面積S，水果的輪廓可以通過Freeman鏈碼跟蹤算法5求得，OpenCV提供了對(duì)應(yīng)的API，根據(jù)輪廓可以計(jì)算區(qū)域的周長(zhǎng)，進(jìn)而求出區(qū)域的圓度參數(shù)t=L*L/S。水果的顏色擁有豐富的特征，圖2-17展示了常見水果的RGB直方圖，從中可以看出，不同水果之間有著明顯的差別。R通道G通道B通道圖2-17不同水果的RGB

41、顏色直方圖差異對(duì)于相同水果，由于光照的影響，RGB直方圖不是最佳的表示顏色的方式，HSV可以將顏色分解為色度，飽和度和亮度分量，圖2-18展示了不同亮度條件下色度分量保持恒定的性質(zhì)。S通道H通道V通道圖2-18相同水果不同區(qū)域的顏色HSV直方圖從圖2-18可以看出，評(píng)估不同亮度區(qū)域S,V通道已經(jīng)發(fā)生變化，但是H通道仍然具有很高的相似性，顯然HSV顏色模型比RGB有更好的光照適應(yīng)能力，本課題使用HSV顏色模型，取色度通道計(jì)算直方圖，同時(shí)結(jié)合飽和度信息和亮度信息，將飽和度和亮度處于某個(gè)合理范圍內(nèi)的像素挑選出來(lái)計(jì)算直方圖，忽略其他像素點(diǎn)，這個(gè)策略可以極大的抑制光照不均勻帶來(lái)的問題。圖顯示了不同區(qū)域的

42、色度分布和飽和度之間的關(guān)系?？傊?，假設(shè)原始圖像經(jīng)過HSV顏色空間變換后得到H,S,V三個(gè)圖像，其數(shù)值范圍統(tǒng)一歸一化到0,1, 設(shè)定飽和度閾值s和亮度閾值v，按照以下規(guī)則挑選像素點(diǎn)。在本課題中設(shè)定s=0.2,v=0.3. (9)對(duì)于兩幅水果圖像，得到顏色直方圖X,Y, 為了比較直方圖形狀的相似度，使用向量的余弦夾角作為計(jì)算公式。最終計(jì)算出的相似度數(shù)值范圍為-1,1，數(shù)值越大表明越相似。2.5.3水果分類算法當(dāng)獲得了水果的絕對(duì)像素面積s，圓度特征t和顏色直方圖x，不同特征需要進(jìn)行融合，常見的融合方法是對(duì)特征分別訓(xùn)練分類器，然后將結(jié)果進(jìn)行加權(quán)輸出。但這種方案最大的問題是加權(quán)系數(shù)很難確定，并且在特征維

43、數(shù)相差較大的情況下，結(jié)果對(duì)于加權(quán)系數(shù)非常敏感。分析這三種特征的特點(diǎn)，s和t是一維特征，具有比較強(qiáng)的物理意義和判別能力，適合構(gòu)造規(guī)則，x是向量特征，適合采用統(tǒng)計(jì)方法。在本課題中，構(gòu)造了基于規(guī)則和1-NN相結(jié)合的分類器。主要策略是：利用s和t進(jìn)行粗搜索，將樣本縮小對(duì)比范圍，然后使用顏色直方圖在一個(gè)較小的子集中進(jìn)行對(duì)比，按照顏色相似度排序。圖2-19展示了詳細(xì)的分類流程：圖2-19水果分類算法流程從圖2-19可以看出，原始的數(shù)據(jù)集合D經(jīng)過特征s的過濾，被分為兩個(gè)子集A,B，選擇滿足條件的子集A繼續(xù)用特征t過濾，A被分為兩個(gè)子集C，D,最終在C集合中使用顏色直方圖進(jìn)行對(duì)比。這種分類策略避免了信息的融合

44、，分階段進(jìn)行分類，特征之間的作用沒有交叉，穩(wěn)定性較好。2.6本章小結(jié)本章簡(jiǎn)要介紹了基本的圖像處理的發(fā)展背景，基本圖像的處理算法，水果特征的提取，以及水果特征的識(shí)別方法。圖像處理的發(fā)展背景主要介紹數(shù)字化技術(shù)的興起，基本的圖像處理算法包括圖像采集硬件、光源、圖像傳感器，格式等。水果特征提取討論了如何利用形狀信息，顏色信息描述水果圖像，并介紹了顏色空間，尤其是RGB與HSV之間的轉(zhuǎn)換關(guān)系，還探討了實(shí)際的解決方案。水果特征的識(shí)別方法介紹了模式識(shí)別的基本概念，圖像作為模式識(shí)別的一個(gè)分支的特點(diǎn)，介紹了常用的幾種分類模型，重點(diǎn)介紹了最近鄰分類器和關(guān)鍵的距離函數(shù)。最后，本章給出了本課題所采用的關(guān)鍵圖像處理算法

45、和分類器設(shè)計(jì)方案。 第三章 水果圖像識(shí)別系統(tǒng)總體設(shè)計(jì)本章從需求分析出發(fā)，對(duì)系統(tǒng)的目標(biāo)進(jìn)行了設(shè)定，并給出了系統(tǒng)的硬件選型和軟件整體架構(gòu)，并對(duì)其中的細(xì)節(jié)進(jìn)行了分析和論述。3.1系統(tǒng)總體設(shè)計(jì)3.1.1系統(tǒng)需求分析水果圖像識(shí)別系統(tǒng)的目標(biāo)是完成一套基于嵌入式系統(tǒng)的，常見水果的自動(dòng)識(shí)別系統(tǒng)。按照需求的種類可以分為以下幾個(gè)部分：1) 功能性需求：實(shí)現(xiàn)水果圖像分類2) 硬件需求：采用的嵌入式系統(tǒng)要求3) 性能需求：識(shí)別速度，精度和人機(jī)交互的要求以下將對(duì)上述需求進(jìn)行詳細(xì)闡述。1. 功能性需求一個(gè)完整的圖像識(shí)別系統(tǒng)需要具有圖像識(shí)別、數(shù)據(jù)更新、系統(tǒng)配置四大功能：1） 圖像識(shí)別：在識(shí)別狀態(tài)，不借助人工，可以自動(dòng)識(shí)別常

46、見預(yù)先定義的水果類型（香蕉、蘋果、梨子、檸檬等），可以方便的進(jìn)行水果模型的注冊(cè)，使用閾值來(lái)控制顯示結(jié)果；2）數(shù)據(jù)更新：可以通過水果注冊(cè)功能向模板庫(kù)添加新的水果類型，可以編輯已經(jīng)注冊(cè)的水果類型的文本信息，可以刪除已經(jīng)注冊(cè)的水果模板。水果模板信息以文件的形式存儲(chǔ)在磁盤上。2. 硬件需求1）計(jì)算平臺(tái)為嵌入式平臺(tái)，觸摸屏交互界面。硬件平臺(tái)為Intel Atom CPU，內(nèi)存512MB， Windows XP操作系統(tǒng)。 采用此平臺(tái)可以大大節(jié)省系統(tǒng)開發(fā)周期，最大程度保持與桌面程序開發(fā)的兼容性。2）圖像傳感器，采用640 x480分辨率，RGB圖像格式，每秒30幀采集速度，USB2.0接口。3）光源，采用白

47、光LED，供電采用USB 直流5V， 500mA電流。4) 背景采用反光率較小的方形黑色絨布。3. 性能需求1） 識(shí)別速度，目標(biāo)是在10種水果樣本的情況下，識(shí)別時(shí)間小于2秒。2） 識(shí)別精度，目標(biāo)是在10種水果樣本的情況下，前5位識(shí)別精度大于95%.3） 人機(jī)交互方式，所有的數(shù)據(jù)輸入均通過觸摸屏實(shí)現(xiàn)，顯示方式包括屏幕和語(yǔ)音提示。在進(jìn)行水果注冊(cè)時(shí)，系統(tǒng)可以根據(jù)注冊(cè)進(jìn)度進(jìn)行操作提示，用戶按照提示操作成功后系統(tǒng)給出結(jié)果。在進(jìn)行水果識(shí)別時(shí)，系統(tǒng)可以根據(jù)識(shí)別結(jié)果進(jìn)行提示。3.1.2系統(tǒng)方案選擇3.1.2.1光源選擇光源的目的是使得水果成像區(qū)域盡可能均勻，從而水果的顏色特征才能很好的表現(xiàn)水果之間的區(qū)別。光源

48、設(shè)計(jì)需要考慮光的波長(zhǎng)、光的亮度、光照區(qū)域的形狀、光源功耗。顏色是由于不同波長(zhǎng)的光產(chǎn)生的，人類可以感知的可見光波長(zhǎng)范圍為380nm-740nm（圖3-1），小于380nm的稱為紫外線和電磁波，有較強(qiáng)的輻射作用。大于740nm的稱為紅外線?？梢姽饩哂胸S富的顏色信息，商用光學(xué)傳感器絕大部分工作在可見光波段，對(duì)應(yīng)的可見光波段的光源也比較普遍。紫外線和紅外線需要特殊的成像設(shè)備和光源發(fā)生裝置，成本高，而且顏色信息不豐富。因此，在本課題中，采用白色LED作為光源。白色光包含了可見光波段，物體反射后可以保留豐富的顏色信息，LED是冷光源，在發(fā)光過程中發(fā)熱較低，具有很高的光線轉(zhuǎn)化效率。而且成本低，體積小，非常適

49、合作為大規(guī)模產(chǎn)品的模塊。圖3-1顏色光譜，摘自http:/zh.wikipedia.org/wiki/顏色光源形狀設(shè)計(jì)：常見的光源形狀有圓形、方形和環(huán)形。各種形狀如圖3-2所示，根據(jù)課題應(yīng)用環(huán)境，放置水果的實(shí)驗(yàn)平臺(tái)為方形區(qū)域，因此選擇方形光源。 圖3-2原型、方形、環(huán)形光源光的亮度設(shè)計(jì)：理想的光源為平行光，平行光經(jīng)過平面反射后可以得到均勻的亮度。但是這樣的成像環(huán)境無(wú)法滿足，課題中的光源有若干LED組成，每一個(gè)LED都是一個(gè)點(diǎn)光源，經(jīng)過疊加，在特定的區(qū)域，亮度分布較為均勻。但是水果是三維物體，光源不能視為無(wú)窮遠(yuǎn)，那么水果物體表面也會(huì)出現(xiàn)亮度不均勻的情況。經(jīng)過實(shí)驗(yàn)驗(yàn)證，水果圖像的顏色信息在一定的亮

50、度變化范圍內(nèi)，可以保持得較好，RGB經(jīng)過HSV變換后，H通道的數(shù)值，不同水果之間的差異仍然較大。因此光的亮度分布指標(biāo)不必使用復(fù)雜的光源設(shè)計(jì)即可滿足課題要求。光源功耗：功耗是光源設(shè)計(jì)需要考慮的問題，系統(tǒng)采用USB2.0接口供電，需要計(jì)算LED總的功耗，經(jīng)過實(shí)驗(yàn)測(cè)算，每一個(gè)LED等工作電壓為1.5V，平均電流20mA， 50個(gè)LED功耗為1.5W，USB2.0接口可以提供輸出功率2.5W，在USB不掛在大功率的其他設(shè)備時(shí)，滿足設(shè)計(jì)要求。3.1.2.2傳感器選擇光學(xué)傳感器是水果成像系統(tǒng)中關(guān)鍵的器件，評(píng)價(jià)一個(gè)CMOS圖像傳感器的主要指標(biāo)有：1）有效像素總數(shù)，傳感器中每一個(gè)感光單元對(duì)應(yīng)一個(gè)像素，像素總數(shù)

51、越大，單位面積的像素密度越高，圖像越清晰，細(xì)節(jié)表現(xiàn)越好。2）靶面尺寸，指圖像傳感器感光部分的物理尺寸大小，與通光量有密切關(guān)系。靶面越大，通光量越好，單位面積捕獲的光子數(shù)量越大，對(duì)于微弱光線的成像能力越好。3）感光度，CMOS感應(yīng)入射光線的強(qiáng)弱的能力。感光度越高，對(duì)光的敏感度就越強(qiáng)，快門速度就越高。4）電子快門，主要用來(lái)控制圖像傳感器的感光時(shí)間。一般來(lái)說，電子快門越快，感光度越低，越能適應(yīng)強(qiáng)光下拍攝。一般CMOS的電子快門為卷閘式快門，但最新的技術(shù)也有實(shí)現(xiàn)全局快門。卷閘式快門，指感光面為一行一行順次曝光（圖3-3），數(shù)據(jù)一行一行進(jìn)行傳輸，因此在高速運(yùn)動(dòng)時(shí)，會(huì)出現(xiàn)嚴(yán)重的拖影。一般卷閘式技術(shù)可以實(shí)現(xiàn)

52、大于30ms曝光時(shí)間不出現(xiàn)拖影。CCD采用了全局快門曝光方式，數(shù)據(jù)是整體曝光和傳輸，但近年由于技術(shù)發(fā)展，CMOS也可以實(shí)現(xiàn)全局曝光。電子快門是可以調(diào)節(jié)的，一般CMOS都設(shè)置為自動(dòng)曝光，根據(jù)環(huán)境光的強(qiáng)弱來(lái)自動(dòng)調(diào)節(jié)曝光時(shí)間。 (a) 卷閘曝光(b) 全局曝光圖3-3卷閘式和全局曝光的數(shù)據(jù)傳輸方式5、信噪比是信號(hào)電壓對(duì)于噪聲電壓的比值，信噪比越大說明對(duì)噪聲的控制越好。信噪比的典型值為4555dB。在暗光條件下，CMOS的噪音比較高，一個(gè)高的信噪比可以提供良好的弱光感應(yīng)性能。6、一秒鐘所記錄的圖片數(shù)量稱為幀率，幀率反應(yīng)了傳感器的圖像感應(yīng)能力和數(shù)據(jù)傳輸能力。幀率與曝光時(shí)間相關(guān)，曝光時(shí)間越長(zhǎng)，幀率越小。綜

53、合以上六個(gè)指標(biāo)，本課題選擇了一款OminiVision公司的傳感器產(chǎn)品，型號(hào)為OV7725，具體參數(shù)如表3-1所示。表3-1 OV7725傳感器參數(shù)表這款傳感器具有良好的弱光感應(yīng)能力，并且在640 x480分辨率下，可達(dá)60幀/秒的幀率，非常適合水果識(shí)別。3.1.2.3硬件計(jì)算平臺(tái)為了滿足產(chǎn)品微型化，必須將算法建立在嵌入式系統(tǒng)上。根據(jù)維基百科的定義，嵌入式系統(tǒng)（Embedded system）37，是一種“完全嵌入受控器件內(nèi)部，為特定應(yīng)用而設(shè)計(jì)的專用計(jì)算機(jī)系統(tǒng)”，根據(jù)英國(guó)電器工程師協(xié)會(huì)（ U.K. Institution of Electrical Engineer）的定義，嵌入式系統(tǒng)為控制、

54、監(jiān)視或輔助設(shè)備、機(jī)器或用于工廠運(yùn)作的設(shè)備。與PC不同，嵌入式系統(tǒng)執(zhí)行的是特定要求的預(yù)先定義的任務(wù)。正是由于嵌入式系統(tǒng)的專用性，設(shè)計(jì)人員能夠?qū)λM(jìn)行高度優(yōu)化，減小尺寸降低成本。隨著計(jì)算機(jī)硬件技術(shù)的發(fā)展，各種手持設(shè)備，比如智能手機(jī)，平板電腦和上網(wǎng)本，具有強(qiáng)大的軟件功能，這樣的平臺(tái)即具有很小的體積，同時(shí)還具有PC接近的性能，也普遍被認(rèn)為是嵌入式設(shè)備。總的來(lái)說，嵌入式系統(tǒng)可以分為ARM、Atom、DSP、FPGA幾大陣營(yíng)。ARM架構(gòu)38，即高級(jí)精簡(jiǎn)指令集機(jī)器（Advanced RISC Machine），是一種32位精簡(jiǎn)指令集（RISC）架構(gòu)，被廣泛地使用在許多嵌入式系統(tǒng)設(shè)計(jì)中。節(jié)能是其凸出的技術(shù)特點(diǎn)

55、，因此ARM處理器非常適用于移動(dòng)通信領(lǐng)域，小型信息化處理終端。當(dāng)初ARM創(chuàng)始人的理想是讓世界上每一個(gè)人都擁有一個(gè)ARM處理器，如今創(chuàng)始人的偉大理想已經(jīng)實(shí)現(xiàn)，截止2011年，ARM的客戶報(bào)告了79億ARM處理器出貨量，占有95的智能手機(jī)，90的硬盤驅(qū)動(dòng)器，40的數(shù)字電視和機(jī)頂盒，15的單片機(jī)，和20的移動(dòng)電腦，在2012年，微軟還與ARM科技生產(chǎn)了新的Surface平板電腦。從1985年第一顆ARM芯片問世，ARM已經(jīng)經(jīng)過7代的演進(jìn)，目前主流的ARMv7芯片處理器主頻可達(dá)1.5GHz以上，具備了強(qiáng)大的處理性能。ARM的各種型號(hào)和內(nèi)核如表3-2所示：表3-2 ARM處理器系列ARM處理器由于高性能

56、、低成本，廣泛的用于各種處理終端，與其搭配運(yùn)行的是開源Linux系統(tǒng)和Android系統(tǒng)。硬件廠商提供一套基準(zhǔn)的Linux系統(tǒng)，客戶根據(jù)需要進(jìn)行修改和定制，加入自己的功能模塊，即可開發(fā)新產(chǎn)品。Android系統(tǒng)是建立在Linux內(nèi)核基礎(chǔ)上的封裝更好的平臺(tái)，重要的是，Android是一個(gè)智能手機(jī)操作系統(tǒng)。Intel Atom（凌動(dòng)）39是Intel的一個(gè)超低電壓系列處理器，采用45納米工藝制造，集成超過4700萬(wàn)個(gè)晶體管。L2緩存為512KB，支持SSE3指令集，與Intel其他桌面處理器不同，Atom處理器采用順序執(zhí)行設(shè)計(jì)和16級(jí)指令流水線， 達(dá)到最低電力并且延長(zhǎng)電池的壽命. Atom是為了與

57、ARM競(jìng)爭(zhēng)推出的面向小型嵌入式處理終端，量產(chǎn)的Atom處理器列表如表3-3所示：表3-3 ARM Atom處理器系列表Atom平臺(tái)一般與Windows平臺(tái)搭配，Atom與Intel家族處理器的兼容性極佳，Windows平臺(tái)上的應(yīng)用可以快速移植到Atom平臺(tái)上，但是由于Atom體積和功耗不及ARM，所以沒有取得較大的市場(chǎng)份額。但隨著平板電腦的興起，這一情況有所改觀。DSP是專用的高速數(shù)字信號(hào)處理器，其特點(diǎn)是采用分開的程序存儲(chǔ)器和數(shù)據(jù)存儲(chǔ)器（哈佛結(jié)構(gòu)），支持單指令流多數(shù)據(jù)流（SIMD）作業(yè)的特殊指令集，可進(jìn)行并行處理，但不支援多任務(wù)，用于宿主環(huán)境時(shí)可作為直接內(nèi)存存?。―MA）設(shè)備運(yùn)作，從模擬數(shù)字轉(zhuǎn)

58、換器（ADC）獲得數(shù)據(jù)，最終輸出的是由數(shù)字模擬轉(zhuǎn)換器（DAC）轉(zhuǎn)換為模擬信號(hào)的數(shù)據(jù)。DSP與ARM相比，具有更好的數(shù)據(jù)處理性能，但是邏輯控制不足，因此，大部分的架構(gòu)都在用ARM+DSP，ARM負(fù)責(zé)邏輯控制和顯示，DSP負(fù)責(zé)數(shù)據(jù)采集處理。DSP的開發(fā)難度比ARM高，其程序編寫需要高度技巧，尤其是在流程處理并行化方面，需要結(jié)合實(shí)際案例深入分析和調(diào)試才能達(dá)到高性能。FPGA（現(xiàn)場(chǎng)可編程邏輯門陣列），是一個(gè)含有可編輯元件的半導(dǎo)體設(shè)備，可供使用者現(xiàn)場(chǎng)程序化的邏輯門陣列元件，采用Verilog或者VHDL語(yǔ)言編寫邏輯電路，然后快速燒錄至FPGA進(jìn)行驗(yàn)證和測(cè)試，F(xiàn)PGA的凸出特點(diǎn)是可以反復(fù)編程，不需要進(jìn)行重

59、新設(shè)計(jì)電子電路，因此具有高度的靈活性。由于邏輯電路不受CPU指令集位數(shù)限制，系統(tǒng)的總線帶寬非常高，適合高速數(shù)據(jù)交換，以及數(shù)據(jù)緩存極大的應(yīng)用場(chǎng)合。與DSP一樣，F(xiàn)PGA對(duì)于邏輯控制不足，需要另外一顆ARM處理器協(xié)同工作。FPGA的開發(fā)周期也較長(zhǎng)，編程需要高度技巧。在硬件平臺(tái)選擇時(shí)，遵循以下幾個(gè)原則：1）處理性能達(dá)到500MHz以上；2）內(nèi)存256MB以上；3）支持USB2.0接口；4）開發(fā)周期短，移植難度低；5）原型系統(tǒng)，成本可以暫不考慮；6）體積小，集成度高，觸摸屏控制。綜合考慮以上因素，選擇Atom作為硬件平臺(tái)，并確定了一款高集成度的MID產(chǎn)品作為計(jì)算平臺(tái)，如圖3-4， 其搭配了Atom Z

60、500處理器，主頻達(dá)到800MHz， 內(nèi)存512MB，支持Windows XP系統(tǒng)，具備USB2.0接口，可以外接攝像頭，具備7寸觸摸屏。Windows XP系統(tǒng)可以直接使用微軟的VC+系統(tǒng)開發(fā)。這個(gè)平臺(tái)滿足上述6個(gè)原則。 圖3-4 基于Atom處理器的MID產(chǎn)品3.1.2.4軟件開發(fā)平臺(tái)軟件開發(fā)平臺(tái)需要滿足基礎(chǔ)平臺(tái)、核心算法、圖像處理、人機(jī)交互要求。圖像處理涉及圖像采集、處理、顯示，課題使用了OpenCV40、VideoInput兩個(gè)著名的開源庫(kù)。在人機(jī)交互時(shí)需要有語(yǔ)音提示，課題使用了SpeechSDK V5.1進(jìn)行語(yǔ)音合成，基礎(chǔ)平臺(tái)和核心算法使用Visual Studio 2008。 如果

61、從零開發(fā)，工作量巨大，而學(xué)術(shù)界和工業(yè)界已經(jīng)存在大量的開源圖像處理工具包，其中OpenCV以其豐富的圖像處理接口和高效的執(zhí)行效率聞名，OpenCV的全稱是Open Source Computer Vision Library，是一個(gè)跨平臺(tái)的計(jì)算機(jī)視覺庫(kù)。OpenCV是由英特爾公司發(fā)起并參與開發(fā)，以BSD許可證授權(quán)發(fā)行，可以在商業(yè)和研究領(lǐng)域中免費(fèi)使用。OpenCV可用于開發(fā)實(shí)時(shí)的圖像處理、計(jì)算機(jī)視覺以及模式識(shí)別程序。在OpenCV中，可以支持圖像的讀取、保存、格式轉(zhuǎn)換、顯示，其設(shè)計(jì)的矩陣類可以完成復(fù)雜的算法操作。其內(nèi)置了大量的圖像處理和模式識(shí)別方面的接口可以直接調(diào)用。唯一缺陷是對(duì)視頻采集的支持不是很好，無(wú)法達(dá)到較高幀率，而VideoInput是另一款專門針對(duì)Windows平臺(tái)的視頻采集開源庫(kù)，最大的特點(diǎn)是可以達(dá)