近代光信息處理第8章.ppt

2020 1 28 1 第八章 光學神經(jīng)網(wǎng)絡 2020 1 28 光學信息處理 2 第八章光學神經(jīng)網(wǎng)絡 8 1引言8 2一般基礎8 3光學互連8 4結(jié)論 2020 1 28 光學信息處理 3 8 1引言 隨著80年代初對于神經(jīng)網(wǎng)絡的興趣的復蘇 Psaltis和Farhat于1985年發(fā)表了第一篇用光學方法實現(xiàn)神經(jīng)網(wǎng)絡的論文 與光學有關的神經(jīng)網(wǎng)絡稱光學神經(jīng)網(wǎng)絡 然而 事實上應當正確地稱之為光電混合神經(jīng)網(wǎng)絡 簡稱混合神經(jīng)網(wǎng)絡 hybridneuralnetwork 因為神經(jīng)網(wǎng)絡一般都有一個非線性函數(shù) 這是神經(jīng)網(wǎng)絡的重要特征 而用光學方法很難計算這一非線性函數(shù) 因此 通常的做法是用電子學方法來實現(xiàn)它 本章將研究用光學系統(tǒng)實現(xiàn)矩陣 向量或張量 矩陣的乘法 2020 1 28 光學信息處理 4 神經(jīng)網(wǎng)絡是模擬人腦的結(jié)構(gòu)和功能的信息處理系統(tǒng) 從實際的觀點來看 我們并不打算制造一個人工腦 而是設法構(gòu)造一個信息處理系統(tǒng)去模擬人腦的某些行為 這一系統(tǒng)應當和vonNeu mann型計算機的結(jié)構(gòu)和算法有實質(zhì)上的區(qū)別 光學神經(jīng)網(wǎng)絡可以看作光學信息處理和光計算系統(tǒng)的延伸和擴展 這也是我們將它納入本書的原因 我們的典型方法是利用已很成熟的神經(jīng)網(wǎng)絡的理論模型 并考慮如何用光學的方案部分地實現(xiàn)它 這一方案在某些方面將比電子學方案更具優(yōu)越性 8 2一般基礎 8 2 1研究神經(jīng)網(wǎng)絡的原動力1943年 當時McCulloch和Pitts建立了一個神經(jīng)活動的理論模型 在80年代 下面兩個因素推動了對神經(jīng)網(wǎng)絡的研究工作 1 在諸如識別一個物體這一類課題上 計算機要末失敗 要末比人腦甚至動物的腦慢得太多 2 計算機需要一組精確而復雜的指令來完成某一特定的計算或課題 一個 聰明的 計算機應當具備這樣的功能 一旦某一任務被用戶確定后 它能夠自動去學習 掌握正確完成該項任務的方法 智能型 計算機的兩個基本要求 識別能力 學習能力 2020 1 28 光學信息處理 6 8 2 2神經(jīng) 人類的腦由大約1011個神經(jīng)元構(gòu)成 神經(jīng)元由三個部分組成 1 細胞體 包含神經(jīng)細胞核及生物化學機構(gòu) 它可以合成細胞核的生存所必需的酶及其他分子 2 樹突 像灌木叢一般形成許多分叉 圍繞著細胞體 神經(jīng)細胞正是通過它們形成的表面接受輸入信號 3 軸突 是細胞體的延伸部分 它提供了信號從該細胞體傳遞到其他細胞的通道 神經(jīng)內(nèi)外包含著差別很大的液體 外部液體所含的鈉約為內(nèi)部液體的10倍 內(nèi)部液體所含的鉀約為外部的10倍 由于在細胞的一側(cè)與另一側(cè)鈉離子和鉀離子的濃度不同 軸突中心區(qū)域內(nèi)部與外部約有 70mV的電位差 當陽離子穿過細胞膜上的通道進入細胞時 內(nèi)部的電位將逐漸由負變?yōu)檎?當電位差變?yōu)?0mV時 另一組通道開啟 釋放陽離子 使電位差恢復成 70mV 這一電壓脈沖稱為作用電壓或電神經(jīng)信號 該電脈沖信號沿著軸突 一直傳播到軸突與其他神經(jīng)元的樹突的結(jié)合處 2020 1 28 光學信息處理 8 位于軸突的端點和另一神經(jīng)元之間的結(jié)合部是一個突觸 在這里軸突膨大而形成終端球狀結(jié)構(gòu) 其中包含突觸囊 當電神經(jīng)信號到達終端球狀體時 一些突觸囊釋放它們的成分 因此又稱為化學 發(fā)射器 或傳遞器 它們被另一神經(jīng)細胞的樹突所接收 信息就這樣通過化學傳遞器一程接一程地在神經(jīng)元間傳輸 接收到信號的神經(jīng)元 其樹突的化學傳遞器起了開啟和關閉細胞膜上的通道的作用 以改變細胞中的離子濃度 某些突觸處于興奮態(tài)時 它們總是要引發(fā)神經(jīng)脈沖 而另一些突觸處于抑制態(tài)時 它們能夠壓制或消滅一些信號 使之不可能再激勵神經(jīng)使之發(fā)射神經(jīng)脈沖 2020 1 28 光學信息處理 9 8 2 3數(shù)學模型 神經(jīng)的行為可以概括如下 1 一個神經(jīng)元發(fā)射一個電脈沖 輸出信號 脈沖的形狀永遠相同 因而它的輸出可用一個二元狀態(tài)來表述 1表示發(fā)射 0表示不動作 2 該電脈沖作為輸入信號被另一個神經(jīng)元所接收 樹突作為化學傳遞器 接收電脈沖所荷載的信號 傳遞器的數(shù)目是事先確定的 傳遞器可以促進或抑制信號的傳遞 突觸或輸入的權(quán)重正比于傳遞器的數(shù)目 由整數(shù)表示 突觸為正或負 分別表示興奮或抑制 如果采取歸一化的表示 則突觸為實數(shù) 3 神經(jīng)的發(fā)射作用 乃是突觸被成百上千個神經(jīng)作用所激活的的綜合效果 是一個非線性過程 2020 1 28 光學信息處理 10 綜上所述 神經(jīng)的機理可以用數(shù)學公式表為zj f i jixi j 其中zj是第j個神經(jīng)元的輸出 ji是第i個神經(jīng)元的輸入和第j個神經(jīng)元間的互連權(quán)重 xi是來自第i個神經(jīng)元的輸入 j是第j個神經(jīng)元的偏置 而f則表示某個非線性的傳遞函數(shù) 注意zj和xi都是二元的 取值l或0 在最簡單的情況下 f是閾值函數(shù) 表為zj 1 當 i jixi j T以及zj 0 當 i jixi j T式中T為閾值 當然傳遞函數(shù)也可能是S型函數(shù)而不是簡單的step函數(shù) 2020 1 28 光學信息處理 11 McCulloch和Pitts提出的神經(jīng)元數(shù)學模型 圖8 1神經(jīng)元的圖示 2020 1 28 光學信息處理 12 8 2 4神經(jīng)網(wǎng)絡 腦是一個由大約1011個神經(jīng)元構(gòu)成的復雜的網(wǎng)絡 每一個神經(jīng)元通過約1000個突觸與它周圍的神經(jīng)元發(fā)生互連作用 總共有1014個互連通道 若假設神經(jīng)元只有兩個狀態(tài) 發(fā)出信息 或 不發(fā)出信息 則腦的自由度總數(shù)為2的1011次冪 研究表明 每一個思維 每一個感覺都是通過這個網(wǎng)絡的活動實現(xiàn)的 實際工程中可把神經(jīng)網(wǎng)絡的問題簡化 如圖8 2所示 2020 1 28 光學信息處理 13 兩層神經(jīng)網(wǎng)絡圖示 2020 1 28 光學信息處理 14 工程神經(jīng)網(wǎng)絡的 描述 1 神經(jīng)元是分層排列的 同一層內(nèi)的神經(jīng)元沒有相互作用 任何一個神經(jīng)元都不與它自身關聯(lián) 2 每一神經(jīng)元都按拓撲學的方式與相鄰層面上的神經(jīng)元發(fā)生互連 亦即從上一層面上的所有神經(jīng)元上接收輸入信號 并向下一層面上的所有神經(jīng)元發(fā)出信號 互連權(quán)重由實數(shù)表示 3 每一神經(jīng)元的輸出都是二元的 4 信號同時 并行地向一個方向傳輸 稱為前向饋送 數(shù)據(jù)則由神經(jīng)元狀態(tài)圖表達 可以相信 輸出和輸入間的任何數(shù)學關系 事實上都可以用網(wǎng)絡的互連圖來表征 通過 學習 的特殊方法 數(shù)學關系式可自動地翻譯 移植到互聯(lián)網(wǎng)絡中去 學習 過程的特點 通過對于 輸入 輸出 對的修正 反復調(diào)節(jié)網(wǎng)絡 應當注意 網(wǎng)絡并不能記住輸入 輸出對 而是在輸入和輸出之間合成數(shù)學關系式 并將合成的關系式存儲在互連圖案之中 每當新的輸入 輸出對參加到網(wǎng)絡中來 合成關系就獲得改進 這一過程稱為 訓練 由于該關系式是存儲在互連圖中 而不是由網(wǎng)絡去記住輸入 輸出對 因而一個從未出現(xiàn)過的新的輸入被網(wǎng)絡接收時 根據(jù)已存儲在互連圖中的一般關系 該輸入信號將引發(fā)一個正確的輸出信號 2020 1 28 光學信息處理 16 當輸入和輸出之間的關系模糊 很難描述的時候 這種能力尤其有用 例如 很難寫出一組明確的計算機指令 去識別人臉由于感情 視角 陰影的不同而引起的變化 然而 如果給出一系列輸入 輸出對 其中輸入為不同條件下同一個人的臉 而輸出則是他的名字 則網(wǎng)絡將有能力把不同的面部圖像與他的名字關聯(lián)起來 因為網(wǎng)絡在訓練過程中已抽取了面部的特征 原則上網(wǎng)絡滿足的要求 1 具有識別能力 2 具備學習的能力 2020 1 28 光學信息處理 17 8 3光學互連 8 3 1矩陣 向量乘法方程 1 可改寫為zj f yi j 1 其中yi i jixi 2 盡管用光學方法實現(xiàn)方程 1 很困難 但實現(xiàn)方程 2 卻較簡單 這是一個矩陣 向量乘法 而方程 1 可用電子學方法實現(xiàn) 矩陣 向量乘法光學系統(tǒng) 2020 1 28 光學信息處理 19 非相干光處理器的主要問題 不能同時處理正數(shù)和負數(shù) 解決方法 需要在矩陣 向量乘法器中有兩個通道 分別對應于正和負的數(shù)值 最后正和負的結(jié)果可以用電子學的方法加以聯(lián)合 正 負通道可用一對正交的偏振態(tài)來編碼 也可以用不同時間的幀圖像來編碼 另一做法是 在每一權(quán)重中增加一個偏置 并相應調(diào)整閾值 也有人證明 當略去負的權(quán)重時神經(jīng)網(wǎng)絡的性能反而提高 2020 1 28 光學信息處理 20 相干光矩陣 向量乘法器 圖8 4Kranzdorf相干光矩陣 向量乘法器 2020 1 28 光學信息處理 21 簡化的矩陣 向量乘法器 線狀光源均勻地照射到模板的一列上 而線狀探測器則對一行的光強求和 圖8 5簡化的矩陣 向量乘法器 2020 1 28 光學信息處理 22 8 3 2透鏡列陣 盡管我們還不清楚人的大腦是否把二維信息保持在相同的二維神經(jīng)圖案中 但圖8 2所示的一維工程神經(jīng)網(wǎng)絡卻容易擴展 以處理二維信息 相應地 1 2 式變成zjl f yjl jl 3 其中yjl i k jilkxik 4 輸入輸出都是二維矩陣 互連則是四維張量 4 式可由透鏡列陣光學系統(tǒng)實現(xiàn) 矩陣 1維向量乘法 3 1向量及3 3矩陣 y1 11x1 12x2 13x3 5 y2 21x1 22x2 23x3 6 y3 31x1 32x2 33x3 7 用兩個透鏡陣實現(xiàn)矩陣 向量乘法運算 張量 矩陣乘法的光學實現(xiàn) 設要處理的是一個2 2矩陣 結(jié)果的矩陣中的元素由下式給出 y11 1111x11 1112x12 1211x21 1212x22 8 y12 1121x11 1122x12 1221x21 1222x22 9 y21 2111x11 2112x12 2211x21 2212x22 10 y22 2121x11 2122x12 2221x21 2222x22 11 一個透鏡把輸入矩陣模板x成像在互連張量模板 上 已進行分塊處理 并構(gòu)成二維模板的形式 后面的一個透鏡列陣把x的像和 進行疊加 形成輸出矩陣y 對于N N的輸入矩陣 互連張量的元素為 N N 2個 而列陣中的透鏡數(shù)也等于N N 成像透鏡和透鏡列陣實現(xiàn)張量 矩陣乘法 成像透鏡和透鏡列陣實現(xiàn)張量 矩陣乘法 2020 1 28 光學信息處理 27 Farhat和Psaltis的構(gòu)想 面探測器 點探測器代替面探測器 2020 1 28 光學信息處理 28 Wu等方案 2020 1 28 光學信息處理 29 8 3 3光學相關器 yjl i k jilkxik 矩陣乘法 內(nèi)積 相關Joint變換相關器示意圖 自相關 互相關 2020 1 28 光學信息處理 30 Jutamulia提出用自適應聯(lián)合變換相關器來實現(xiàn) 8 11 也就是 4 式 使用JTC來實現(xiàn)張量 矩陣乘法 2020 1 28 光學信息處理 31 應用JTC的優(yōu)點 1 透鏡列陣加工困難較大 特別是當矩陣x較大時 加工更困難 JTC的應用代替了透鏡列陣 2 JTC具備表達單極性互連權(quán)重的能力 然而 正由于JTC是相關光學處理器 測到的強度是光學計算值的平方 VanderLugt相關器也可用于實現(xiàn) 8 11 式 與JTC不同 VanderLugt相關器中濾波器是很難調(diào)試的 當然也可以用光折變晶體來生成實時的匹配濾波器 Chao和Stoner仍用透鏡列陣來實現(xiàn)多通道處理 而Psaltis等以及Hong等則用多角度體積全息來實現(xiàn)多通道處理 2020 1 28 光學信息處理 32 非相干投影方法 Lin等早在1989年就指出了相關處理的途徑 他們使用了非相干投影方法 見下圖 投影相關示圖 f x 上每一像元都向各個方向輻射一個非相干光波 該光波透過函數(shù)g x 掩模板上所有的像元 同一方向的光束將會聚在透鏡后焦面上的同一點 焦面的光強分布則提供了f x 和g x 的相關 為了模擬 8 11 用四個LED來表示x11 x12 x21和x22 分塊矩陣模板則安排在LED后面 如右圖 由于通過x11 1111 x12 1112 x21 1211和x22 1212的光線具有相同的方向 它們經(jīng)過透鏡聚焦在同一點y11 通過x11 1121 x12 1122 x21 1221和x22 1222的光線也具有相同的方向 經(jīng)透鏡后聚焦在y12 等等 用投影相關法實現(xiàn)張量 矩陣乘法 2020 1 28 光學信息處理 34 8 3 4全息術方法 全息圖記錄物光和參考光形成的干涉圖 參考光通常從一個點源輻射 當用參考光再次照射全息圖時 就可以用光學方法重構(gòu)原來的物體 在全息技術中 分塊矩陣模板可以用一組全息圖來記錄 當用輸入矩陣x重構(gòu)時 方程 8 11 就可用全息方法有效地實現(xiàn) 在全息技術中 分塊矩陣模板可以用一組全息圖來記錄 當用輸入矩陣x重構(gòu)時 方程 8 11 就可用全息方法有效地實現(xiàn) 2020 1 28 光學信息處理 35 全息圖H11 H12 H21 H22的制作 參考光x11 參考光x12 參考光x21 參考光x22 11 12 22 21 2020 1 28 光學信息處理 36 2020 1 28 光學信息處理 37 參考光x11 參考光x12 參考光x21 參考光x22 重構(gòu) ij 的強度正比于點源xij的光強 2020 1 28 光學信息處理 38 Ivanov等把一組一維全息圖裝在一個可旋轉(zhuǎn)的光學轉(zhuǎn)盤系統(tǒng)上以實現(xiàn)矩陣 向量乘法 在時刻t1 輸入x1通過一維全息圖在y1 y2和y3處分別產(chǎn)生 11x1 21x2和 31x3 在時刻t2 由于轉(zhuǎn)盤轉(zhuǎn)到另一位置 輸入x2通過全息圖在y1 y2和y3分別產(chǎn)生 12x1 22x2和 32x3 如此等等 在時刻t1到t3 位于y1 y3的每一探測器分別積分以得到 5 7 Psaltis和他的合作者用單個體全息圖代替分離的全息圖列陣來計算 8 11 他們設想 從x11輻射的光波經(jīng)過體全息圖中與互連權(quán)重 1111對應的光柵的衍射 應當射向y11 等等 在 8 11 式給出的例子中 有8組光柵共存于體全息介質(zhì)中 光柵 1111不會干擾除x11以外其他光源輻射的光波 如果全息光柵 1111是由x11輻射的光波和另一個會聚于y11的光波形成的 如圖所示 那么只有x11輻射的光波才滿足Bragg條件 它被 1111衍射 衍射波會聚于y11 來自其他光源的光被均不滿足Bragg條件 因而不受 1111的影響 2020 1 28 光學信息處理 40 8 3 6光學互連的優(yōu)點 一般來講 不用超大規(guī)模集成電路 VLSI 系統(tǒng)而采用光學互連方案的原因在于 1 電信號在金屬互連網(wǎng)絡中的傳輸取決于單位長度的電容 當互連通道數(shù)增大時 傳輸速度會降下來 而光學互連的速度與互連通道數(shù)無關 2 光學信號在空間可以獨立傳播 彼此間不相互干擾 3 光學信號可在三維自由空間中傳輸 4 互連可以通過SLM適當?shù)馗淖?5 光學信號非常容易轉(zhuǎn)變成電信號 2020 1 28 光學信息處理 41 神經(jīng)網(wǎng)絡所要求的矩陣 向量或張量 矩陣乘法是非常特殊的 此外 在各種用光學系統(tǒng)實現(xiàn)互連的方案中 內(nèi)積方法較容易實現(xiàn) 因此比較常用 以實現(xiàn)各種矩陣運算 在神經(jīng)網(wǎng)絡中采用光學方法的主要原因 在于超大規(guī)模集成電路不可能實現(xiàn)高達103 106的互連或扇入 扇出 因為電路中每一對輸入 輸出都要求單一的分立通道 由此我們也可以想像 將來到了每個神經(jīng)元的互連高于1000時 光學神經(jīng)網(wǎng)絡才真正有了用武之地 2020 1 28 光學信息處理 42 8 4結(jié)論 本章主要討論了實現(xiàn)混合型神經(jīng)網(wǎng)絡的光學系統(tǒng) 這些神經(jīng)網(wǎng)絡以互連和非線性運算為其特色 光學系統(tǒng)就其本質(zhì)而言 原則上是適合于實現(xiàn)互連操作的 其中的非線性運算則可以用電子學和數(shù)字計算機方法來完成 我們介紹了神經(jīng)網(wǎng)絡理論的基礎 我們主要討論了實現(xiàn)矩陣 向量乘法和張量 矩陣乘法運算光學方案