《測(cè)試智能信息處理》PPT課件.ppt

4/26/2020,1,數(shù)據(jù)結(jié)構(gòu),智能信息處理與算法IntelligentInformationProcessingandAlgorithm李勇明yongmingli重慶大學(xué)通信工程學(xué)院,一、智能信息處理是一門(mén)綜合性的交叉學(xué)科，是信息科學(xué)的前沿領(lǐng)域，主要研究利用智能技術(shù)對(duì)信息進(jìn)行處理的理論、方法與技術(shù)。二、開(kāi)設(shè)智能信息處理課程的必要性：國(guó)家信息化發(fā)展的需要；學(xué)科理論發(fā)展的需要；培養(yǎng)高素質(zhì)信息處理人才的需要。國(guó)家20062020年國(guó)家信息化發(fā)展戰(zhàn)略規(guī)劃中指出，信息化是充分利用信息技術(shù)，開(kāi)發(fā)利用信息資源，促進(jìn)信息交流和共享，提高經(jīng)濟(jì)增長(zhǎng)質(zhì)量，推動(dòng)經(jīng)濟(jì)社會(huì)發(fā)展轉(zhuǎn)型的歷史進(jìn)程。20世紀(jì)90年代以來(lái)，信息技術(shù)不斷創(chuàng)新，信息產(chǎn)業(yè)持續(xù)發(fā)展，信息網(wǎng)絡(luò)廣泛普及，信息化成為全球經(jīng)濟(jì)社會(huì)發(fā)展的顯著特征，并逐步向一場(chǎng)全方位的社會(huì)變革演進(jìn)。,課程說(shuō)明,三、智能信息處理研究的主要內(nèi)容概述具體主要智能信息處理方法智能信息處理方法的實(shí)現(xiàn)及應(yīng)用研究四、智能信息處理的特點(diǎn)（1）智能信息處理是人工智能與信號(hào)信息處理相結(jié)合的產(chǎn)物（2）智能信息處理的基礎(chǔ)理論：數(shù)據(jù)融合、神經(jīng)計(jì)算、模糊計(jì)算、進(jìn)化計(jì)算，等,（3）以智能信息處理為主要計(jì)算方法智能信息處理：是人工智能技術(shù)與信息技術(shù)結(jié)合的產(chǎn)物，廣泛地模擬人的智能來(lái)處理各種復(fù)雜信息，包括非結(jié)構(gòu)化信息、海量信息、不完全信息、不確定信息、模糊信息、多媒體信息、時(shí)間空間信息、認(rèn)知信息等。主要技術(shù)與方法：數(shù)學(xué)統(tǒng)計(jì)、神經(jīng)網(wǎng)絡(luò)信息處理、模糊計(jì)算、進(jìn)化計(jì)算，等。五、智能信息處理的應(yīng)用智能通信、機(jī)器人、智能信號(hào)與信息處理、智能交通、智能醫(yī)療，等,第1章概述,信息技術(shù)組成部分主要?dú)v史發(fā)展主要技術(shù)分類(lèi)目前研究現(xiàn)狀和趨勢(shì),信息技術(shù)組成部分,信息獲取,信息傳輸,信息處理,信息應(yīng)用,信息源,1.1智能計(jì)算及其主要發(fā)展歷史,20世紀(jì)90年代，符號(hào)物理和連接機(jī)制結(jié)合1992年，智能計(jì)算依靠數(shù)字材料生物智能、人工智能、智能計(jì)算人工神經(jīng)網(wǎng)絡(luò)為主導(dǎo)，與模糊邏輯系統(tǒng)、進(jìn)化計(jì)算以及信號(hào)與信息學(xué)科的綜合集成人工神經(jīng)網(wǎng)絡(luò)特點(diǎn)：并行性、互連性、存儲(chǔ)分布性、非線(xiàn)性、容錯(cuò)性、結(jié)構(gòu)可變性、計(jì)算非精確性模糊計(jì)算特點(diǎn)：非確定性進(jìn)化計(jì)算特點(diǎn)：并行性、隨機(jī)性,1.2智能信息處理的主要技術(shù),神經(jīng)計(jì)算技術(shù)BP,RBF,Hopfield,隨機(jī)型,自組織競(jìng)爭(zhēng)型權(quán)值計(jì)算，優(yōu)化，軟硬件實(shí)現(xiàn)，應(yīng)用模糊計(jì)算技術(shù)模糊邏輯，粗糙集應(yīng)用進(jìn)化計(jì)算技術(shù)GA,Tabu，PSO，ACO軟硬件實(shí)現(xiàn)，應(yīng)用,1.2.1神經(jīng)計(jì)算技術(shù),NAPAN的提出和簡(jiǎn)化非線(xiàn)性（nonlinear），適應(yīng)的（adaptive），并行的（parallel），模擬的（analogy），網(wǎng)絡(luò)（network）神經(jīng)網(wǎng)絡(luò)接近人腦的表現(xiàn)與符號(hào)主義的區(qū)別前者：認(rèn)知的基本元素是神經(jīng)細(xì)胞，認(rèn)知過(guò)程是大量神經(jīng)細(xì)胞的連接引起神經(jīng)細(xì)胞的不同興奮狀態(tài)和系統(tǒng)表現(xiàn)出的總體行為。后者：認(rèn)知的基本元素是符號(hào)，認(rèn)知過(guò)程是對(duì)符號(hào)表示的運(yùn)算。PCASVM,神經(jīng)軸突與人工神經(jīng)網(wǎng)絡(luò)簡(jiǎn)圖,神經(jīng)網(wǎng)絡(luò)接近人腦的表現(xiàn),能夠處理連續(xù)的模擬信號(hào)（例如連續(xù)變換的圖像信號(hào)）能夠處理不精確的、不完全的模糊信息。馮.諾依曼計(jì)算機(jī)給出的是精確解，神經(jīng)網(wǎng)絡(luò)給出的是次最優(yōu)的逼近解。神經(jīng)網(wǎng)絡(luò)并行分布工作，各組成部分同時(shí)參與計(jì)算；單個(gè)神經(jīng)元的動(dòng)作速度不快，但網(wǎng)絡(luò)總體的處理速度極快。神經(jīng)網(wǎng)絡(luò)具有魯棒性，即信息分布于整個(gè)網(wǎng)絡(luò)各個(gè)權(quán)重變換之中，某些單元的障礙不會(huì)影響網(wǎng)絡(luò)的整體信息處理功能。神經(jīng)網(wǎng)絡(luò)具有較好的容錯(cuò)性，即在只有部分輸入條件，甚至包含了錯(cuò)誤輸入條件的情況下，網(wǎng)絡(luò)也能給出正確的解。神經(jīng)網(wǎng)絡(luò)在處理自然語(yǔ)言理解、圖像識(shí)別、智能機(jī)器人控制等疑難問(wèn)題方面具有獨(dú)特的優(yōu)勢(shì)。,PCA（principalcomponentsanalysis）,一種簡(jiǎn)化數(shù)據(jù)集的技術(shù)。它是一個(gè)線(xiàn)性變換。這個(gè)變換把數(shù)據(jù)變換到一個(gè)新的坐標(biāo)系統(tǒng)中，使得任何數(shù)據(jù)投影的第一大方差在第一個(gè)坐標(biāo)（稱(chēng)為第一主成分）上，第二大方差在第二個(gè)坐標(biāo)（第二主成分）上，依次類(lèi)推。主成分分析經(jīng)常用減少數(shù)據(jù)集的維數(shù)，同時(shí)保持?jǐn)?shù)據(jù)集的對(duì)方差貢獻(xiàn)最大的特征。設(shè)法將原來(lái)變量重新組合成一組新的互相無(wú)關(guān)的幾個(gè)綜合變量，同時(shí)根據(jù)實(shí)際需要從中可以取出幾個(gè)較少的綜合變量盡可能多地反映原來(lái)變量的信息的統(tǒng)計(jì)方法叫做主成分分析或稱(chēng)主分量分析，也是數(shù)學(xué)上處理降維的一種方法。與用全維觀測(cè)空間相比，可以更好的推廣到獨(dú)立于訓(xùn)練集的數(shù)據(jù)時(shí)間代價(jià)小,SVM,支持向量機(jī)是將向量映射到一個(gè)更高維的空間里，在這個(gè)空間里建立有一個(gè)最大間隔超平面。在分開(kāi)數(shù)據(jù)的超平面的兩邊建有兩個(gè)互相平行的超平面。分隔超平面使兩個(gè)平行超平面的距離最大化。假定平行超平面間的距離或差距越大，分類(lèi)器的總誤差越小。對(duì)支持向量的分類(lèi)等價(jià)于對(duì)整個(gè)樣本集的分類(lèi)針對(duì)小樣本情況,1.2.2模糊計(jì)算技術(shù),模糊理論的提出（不相容原理）與其它方法的主要區(qū)別無(wú)需提供數(shù)據(jù)之外的先驗(yàn)信息,模糊邏輯,模仿人腦的不確定性概念判斷、推理思維方式，對(duì)于模型未知或不能確定的描述系統(tǒng)，應(yīng)用模糊集合和模糊規(guī)則進(jìn)行推理，表達(dá)過(guò)渡性界限或定性知識(shí)經(jīng)驗(yàn)，模擬人腦方式，實(shí)行模糊綜合判斷，推理解決常規(guī)方法難于對(duì)付的規(guī)則型模糊信息問(wèn)題。模糊邏輯善于表達(dá)界限不清晰的定性知識(shí)與經(jīng)驗(yàn)，它借助于隸屬度函數(shù)概念，區(qū)分模糊集合，處理模糊關(guān)系，模擬人腦實(shí)施規(guī)則型推理，解決因“排中律”的邏輯破缺產(chǎn)生的種種不確定問(wèn)題。處理部分真實(shí)概念的布爾邏輯擴(kuò)展。經(jīng)典邏輯堅(jiān)持所有事物(陳述)都可以用二元項(xiàng)(0或1，黑或白，是或否)來(lái)表達(dá)，而模糊邏輯用真實(shí)度替代了布爾真值。這些陳述表示實(shí)際上接近于日常人們的問(wèn)題和語(yǔ)意陳述，因?yàn)椤罢鎸?shí)”和結(jié)果在多數(shù)時(shí)候是部分(非二元)的和/或不精確的(不準(zhǔn)確的，不清晰的，模糊的)。應(yīng)用,1.2.3粗糙集,它是一種刻劃不完整性和不確定性的數(shù)學(xué)工具,能有效地分析不精確,不一致,不完整等各種不完備的信息,還可以對(duì)數(shù)據(jù)進(jìn)行分析和推理,從中發(fā)現(xiàn)隱含的知識(shí),揭示潛在的規(guī)律.粗糙集理論是建立在分類(lèi)機(jī)制的基礎(chǔ)上的,它將分類(lèi)理解為在特定空間上的等價(jià)關(guān)系,而等價(jià)關(guān)系構(gòu)成了對(duì)該空間的劃分.粗糙集理論將知識(shí)理解為對(duì)數(shù)據(jù)的劃分,每一被劃分的集合稱(chēng)為概念.粗糙集理論的主要思想是利用已知的知識(shí)庫(kù),將不精確或不確定的知識(shí)用已知的知識(shí)庫(kù)中的知識(shí)來(lái)(近似)刻畫(huà).該理論與其他處理不確定和不精確問(wèn)題理論的最顯著的區(qū)別是它無(wú)需提供問(wèn)題所需處理的數(shù)據(jù)集合之外的任何先驗(yàn)信息,所以對(duì)問(wèn)題的不確定性的描述或處理可以說(shuō)是比較客觀的,應(yīng)用舉例,1.2.4進(jìn)化計(jì)算技術(shù),為什么要研究？遺傳算法蟻群算法微粒群算法（粒子群算法）,為什么？,遺傳算法（GeneticAlgorithm，GA）,在遺傳算法里，優(yōu)化問(wèn)題的解被稱(chēng)為個(gè)體，它表示為一個(gè)變量序列，叫做染色體或者基因串。染色體一般被表達(dá)為簡(jiǎn)單的字符串或數(shù)字串，不過(guò)也有其他的依賴(lài)于特殊問(wèn)題的表示方法適用，這一過(guò)程稱(chēng)為編碼。首先，算法隨機(jī)生成一定數(shù)量的個(gè)體，有時(shí)候操作者也可以對(duì)這個(gè)隨機(jī)產(chǎn)生過(guò)程進(jìn)行干預(yù)，以提高初始種群的質(zhì)量。在每一代中，每一個(gè)個(gè)體都被評(píng)價(jià)，并通過(guò)計(jì)算適應(yīng)度函數(shù)得到一個(gè)適應(yīng)度數(shù)值。種群中的個(gè)體被按照適應(yīng)度排序，適應(yīng)度高的在前面。這里的“高”是相對(duì)于初始的種群的低適應(yīng)度來(lái)說(shuō)的。,算法主要流程,算法選擇初始生命種群循環(huán)評(píng)價(jià)種群中的個(gè)體適應(yīng)度以比例原則（分?jǐn)?shù)高的挑中機(jī)率也較高）選擇產(chǎn)生下一個(gè)種群（輪盤(pán)法roulettewheelselection、競(jìng)爭(zhēng)法tournamentselection及等級(jí)輪盤(pán)法RankBasedWheelSelection）。不僅僅挑分?jǐn)?shù)最高的的原因是這么做可能收斂到局部的最佳點(diǎn)，而非整體的。改變?cè)摲N群（交叉和變異）直到停止循環(huán)的條件滿(mǎn)足,主要參數(shù),種群規(guī)模(P,populationsize)：即種群中染色體個(gè)體的數(shù)目。字串長(zhǎng)度(l,stringlength)交叉概率(pc,probabilityofperformingcrossover)：控制著交叉算子的使用頻率。交叉操作可以加快收斂，使解達(dá)到最有希望的最優(yōu)解區(qū)域，因此一般取較大的交叉概率，但交叉概率太高也可能導(dǎo)致過(guò)早收斂。變異概率(pm,probabilityofmutation)：控制著變異算子的使用頻率。中止條件(terminationcriteria),應(yīng)用,遺傳計(jì)算、遺傳編程、遺傳學(xué)習(xí)優(yōu)化神經(jīng)網(wǎng)絡(luò)數(shù)值優(yōu)化、圖像處理、儀器參數(shù)優(yōu)化、工程設(shè)計(jì)，搜索，等,蟻群算法（AntColonyOptimization，ACO）,是一種用來(lái)在圖中尋找優(yōu)化路徑的機(jī)率型算法。它由MarcoDorigo于1992年在他的博士論文中提出，其靈感來(lái)源于螞蟻在尋找食物過(guò)程中發(fā)現(xiàn)路徑的行為。蟻群算法是一種模擬進(jìn)化算法,初步的研究表明該算法具有許多優(yōu)良的性質(zhì).針對(duì)PID控制器參數(shù)優(yōu)化設(shè)計(jì)問(wèn)題,將蟻群算法設(shè)計(jì)的結(jié)果與遺傳算法設(shè)計(jì)的結(jié)果進(jìn)行了比較,數(shù)值仿真結(jié)果表明,蟻群算法具有一種新的模擬進(jìn)化優(yōu)化方法的有效性和應(yīng)用價(jià)值,主要規(guī)則,主要參數(shù),最大信息素：螞蟻在一開(kāi)始擁有的信息素總量，越大表示程序在較長(zhǎng)一段時(shí)間能夠存在信息素。信息素消減的速度：隨著時(shí)間的流逝，已經(jīng)存在于世界上的信息素會(huì)消減，這個(gè)數(shù)值越大，那么消減的越快。錯(cuò)誤概率：表示這個(gè)螞蟻不往信息素最大的區(qū)域走的概率，越大則表示這個(gè)螞蟻越有創(chuàng)新性。速度半徑：表示螞蟻一次能走的最大長(zhǎng)度，也表示這個(gè)螞蟻的感知范圍。記憶能力：表示螞蟻能記住多少個(gè)剛剛走過(guò)點(diǎn)的坐標(biāo)，這個(gè)值避免了螞蟻在本地打轉(zhuǎn)，停滯不前。而這個(gè)值越大那么整個(gè)系統(tǒng)運(yùn)行速度就慢，越小則螞蟻越容易原地轉(zhuǎn)圈。,粒子群算法（ParticleSwarmOptimization，PSO）,PSO算法屬于進(jìn)化算法的一種，和遺傳算法相似，它也是從隨機(jī)解出發(fā)，通過(guò)迭代尋找最優(yōu)解，它也是通過(guò)適應(yīng)度來(lái)評(píng)價(jià)解的品質(zhì)，但它比遺傳算法規(guī)則更為簡(jiǎn)單，它沒(méi)有遺傳算法的“交叉”(Crossover)和“變異”(Mutation)操作，它通過(guò)追隨當(dāng)前搜索到的最優(yōu)值來(lái)尋找全局最優(yōu)。這種算法以其實(shí)現(xiàn)容易、精度高、收斂快等優(yōu)點(diǎn)引起了學(xué)術(shù)界的重視，并且在解決實(shí)際問(wèn)題中展示了其優(yōu)越性。,PSO的特點(diǎn),實(shí)數(shù)編碼隨機(jī)化沒(méi)有遺傳操作如交叉(crossover)和變異(mutation).而是根據(jù)自己的速度來(lái)決定搜索。粒子有記憶。,PSO的應(yīng)用,優(yōu)化神經(jīng)網(wǎng)絡(luò)連接權(quán)重，結(jié)構(gòu)（拓?fù)浣Y(jié)構(gòu)，傳遞函數(shù)），學(xué)習(xí)算法數(shù)值優(yōu)化圖像處理、儀器參數(shù)優(yōu)化、工程設(shè)計(jì)，搜索，等,1.3智能技術(shù)的綜合集成,模糊系統(tǒng)與神經(jīng)網(wǎng)絡(luò)結(jié)合神經(jīng)網(wǎng)絡(luò)和遺傳算法結(jié)合模糊技術(shù)、神經(jīng)網(wǎng)絡(luò)和遺傳算法綜合集成智能計(jì)算研究展望神經(jīng)網(wǎng)絡(luò)與模糊系統(tǒng)和進(jìn)化計(jì)算結(jié)合神經(jīng)網(wǎng)絡(luò)與模糊及混沌三者結(jié)合神經(jīng)網(wǎng)絡(luò)與近代信號(hào)處理方法小波、分形結(jié)合專(zhuān)家系統(tǒng)與模糊邏輯、神經(jīng)網(wǎng)絡(luò)結(jié)合,1.3.1模糊系統(tǒng)與神經(jīng)網(wǎng)絡(luò)結(jié)合,1、各自?xún)?yōu)點(diǎn)：模糊技術(shù)以模糊邏輯為基礎(chǔ)，抓住了人類(lèi)思維中的模糊特點(diǎn)，以模仿人的模糊綜合判斷推理來(lái)處理常規(guī)方法難以解決的模糊信息處理難題。神經(jīng)網(wǎng)絡(luò)以生物神經(jīng)網(wǎng)絡(luò)為模擬基礎(chǔ)，試圖在模擬推理及自動(dòng)學(xué)習(xí)等方面向前發(fā)展一步，使人工智能更接近人腦的自組織和并行處理等功能。2、互補(bǔ)性：將模糊技術(shù)引入神經(jīng)網(wǎng)絡(luò)可以使其處理不精確信息。3、相似點(diǎn)：都著眼于模擬人的思維；形式上有不少相似之處。,1.3.2神經(jīng)網(wǎng)絡(luò)和遺傳算法結(jié)合,1、輔助式結(jié)合1）遺傳算法對(duì)信息進(jìn)行預(yù)處理，然后用神經(jīng)網(wǎng)絡(luò)求解問(wèn)題；2）神經(jīng)網(wǎng)絡(luò)對(duì)信息進(jìn)行預(yù)處理，然后用遺傳算法求解問(wèn)題。2、合作式結(jié)合1）利用遺傳算法來(lái)優(yōu)化神經(jīng)網(wǎng)絡(luò)連接權(quán)值；2）利用遺傳算法來(lái)優(yōu)化神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)。,模糊技術(shù)、神經(jīng)網(wǎng)絡(luò)和遺傳算法綜合集成,模糊技術(shù)作為神經(jīng)網(wǎng)絡(luò)的隸屬度函數(shù)遺傳算法可以?xún)?yōu)化模糊推理神經(jīng)網(wǎng)絡(luò)系統(tǒng)的參數(shù)遺傳算法可以?xún)?yōu)化模糊推理神經(jīng)網(wǎng)絡(luò)系統(tǒng)的結(jié)構(gòu)用神經(jīng)網(wǎng)絡(luò)調(diào)節(jié)和優(yōu)化具有局部性的參數(shù),智能計(jì)算的展望,智能計(jì)算包括神經(jīng)計(jì)算、模糊計(jì)算、進(jìn)化計(jì)算三個(gè)主要方面，其積極意義在于促進(jìn)了基于計(jì)算和物理符號(hào)結(jié)合的各種智能理論、模型，功能更強(qiáng)大，并能夠?qū)崿F(xiàn)更復(fù)雜系統(tǒng)的智能行為。目前國(guó)際上智能計(jì)算研究正注意如下幾個(gè)方面的結(jié)合：1）神經(jīng)網(wǎng)絡(luò)與模糊系統(tǒng)和進(jìn)化計(jì)算的結(jié)合；2）神經(jīng)網(wǎng)絡(luò)與模糊及混沌三者的結(jié)合；3）神經(jīng)網(wǎng)絡(luò)與近代信號(hào)處理方法小波、分形的結(jié)合；4）專(zhuān)家系統(tǒng)與模糊邏輯、神經(jīng)網(wǎng)絡(luò)的結(jié)合，以便有效地模擬人腦的思維機(jī)制，使人工智能導(dǎo)向生物智能。,