小二乘及偏最小二乘的參數(shù)估計方法-v

《小二乘及偏最小二乘的參數(shù)估計方法-v》由會員分享，可在線閱讀，更多相關(guān)《小二乘及偏最小二乘的參數(shù)估計方法-v（83頁珍藏版）》請在裝配圖網(wǎng)上搜索。

1、2020/9/25,化工過程動態(tài)數(shù)學(xué)模型（化工與環(huán)境學(xué)院）,1,化工過程動態(tài)數(shù)學(xué)模型 碩士研究生課程-2010 陳祥光,,2020/9/25,化工過程動態(tài)數(shù)學(xué)模型（化工與環(huán)境學(xué)院）,2,第6章 最小二乘及偏最小二乘的參數(shù)估計方法 6.1 最小二乘整批算法 6.2 最小二乘遞推算法 6.3 實(shí)驗(yàn)數(shù)據(jù)處理 6.4 問題提出及最小二乘原理 6.5 偏最小二乘的基本含義 6.6 偏最小二乘的重要性 6.7 應(yīng)用舉例 6.8 單因變量的偏最小二乘回歸模型,2020/9/25,化工過程動態(tài)數(shù)學(xué)模型（化工與環(huán)境學(xué)院）,3,第6章 最小二乘及偏最小二乘的參數(shù)估計方法,最小二乘法自高斯在1795年提出以來，已有

2、二百多年的歷史，但至今仍廣泛用于參數(shù)估計。其主要原因是這種方法簡單方便，而且是其他幾種方法的基礎(chǔ)。,上式中：Y量測向量； 參數(shù)向量；H量測矩陣 e考慮量測誤差的隨機(jī)向量。,2020/9/25,化工過程動態(tài)數(shù)學(xué)模型（化工與環(huán)境學(xué)院）,4,例如：當(dāng)模型形式為 Y=a1x1+a2x2++anxn,一共進(jìn)行了N 次量測時：,實(shí)際過程 (或裝置),,,,,2020/9/25,化工過程動態(tài)數(shù)學(xué)模型（化工與環(huán)境學(xué)院）,5,上式中R-1 是加權(quán)矩陣，在此討論R=I（單位矩陣）時的最小二乘估計。為了使J成為最小值，取,現(xiàn)在要使下列目標(biāo)函數(shù)J為最小時，求出參數(shù)的估計值,（6-2）,一般情況下，量測次

3、數(shù)N遠(yuǎn)大于待估計的參數(shù)的數(shù)目n。,2020/9/25,化工過程動態(tài)數(shù)學(xué)模型（化工與環(huán)境學(xué)院）,6,（2）動態(tài)模型算法,考慮單輸入單輸出（SISO）線性系統(tǒng)，用后移差分算符q-1 表示的脈沖傳遞函數(shù)是：,（6-4）,考慮到量測噪聲的存在，（6-4）式可寫成：,（6-5）,上式中：k是采樣次數(shù)，y是輸出，u是輸入，e是考慮噪聲或不確定性的隨機(jī)變量。,2020/9/25,化工過程動態(tài)數(shù)學(xué)模型（化工與環(huán)境學(xué)院）,7,該系統(tǒng)的框圖如6-1所示：,,,,,,,,,,,,,,圖6-1 辨識系統(tǒng)示意圖,假定e(k)是獨(dú)立的，零均值隨機(jī)變量序列，而且在 不同的k 值下有相同的分布。如果采樣次數(shù)從(1-n)至k，

4、 一共進(jìn)行了(n+k)次時量測，則對y(k)可得出下列方程：,2020/9/25,化工過程動態(tài)數(shù)學(xué)模型（化工與環(huán)境學(xué)院）,8,（6-6）,可以看出，上式與（6-1）式很相似，在得到k次采樣 數(shù)據(jù)后的最小二乘估計值可象（6-3）式一樣求?。?,,,,2020/9/25,化工過程動態(tài)數(shù)學(xué)模型（化工與環(huán)境學(xué)院）,9,（6-7）,2020/9/25,化工過程動態(tài)數(shù)學(xué)模型（化工與環(huán)境學(xué)院）,10,上述的算法是在取得整批數(shù)據(jù)后，一次求取參數(shù)的估計值。 在采樣次數(shù)k值大的時候，矩陣HTH的計算比較費(fèi)時，在模型 階次n高時，(HTH)求逆的計算工作量很大。,6.2 最小二乘遞推算法,值得注意的是：如果取得新的

5、測量數(shù)據(jù)，需對估計值進(jìn)行 修正時，必須從頭算起，完全不能利用原來的計算結(jié)果。,在很多應(yīng)用中，在有些自適應(yīng)系統(tǒng)中，需要依據(jù)動態(tài)模型 參數(shù)的估計值來確定控制作用，必須不斷依據(jù)新的數(shù)據(jù)來修 正參數(shù)估計值。這就要求采用遞推算法。,2020/9/25,化工過程動態(tài)數(shù)學(xué)模型（化工與環(huán)境學(xué)院）,11,（6-8）,（1）基本的遞推算法 遞推算法的一般形式是：,2020/9/25,化工過程動態(tài)數(shù)學(xué)模型（化工與環(huán)境學(xué)院）,12,（2）式（6-8）的物理意義：在收到新的量測值后，要依據(jù)實(shí)際 y值與預(yù)報值之差，對參數(shù)的估計值進(jìn)行適當(dāng)?shù)男拚?在此，關(guān)鍵的問題是如何確定Kk+1，這在不同的算法中有 不同的解答。如果

6、Kk+1的修正過于強(qiáng)烈，估計值將波動較大 ，甚至不能收斂；但如果過于微弱，則需要經(jīng)過很多次采樣 后，才能接近可靠的估計值。,2020/9/25,化工過程動態(tài)數(shù)學(xué)模型（化工與環(huán)境學(xué)院）,13,在式（6-10）中， 是個純量， 項成為簡單的求倒數(shù)計算，只不過要有了 ， 的計算就不困難。,（6-10）,但是，作為完整的算法，對P(k+1)也要有個遞推算式，才能 滿足下一采樣后進(jìn)一步修正估計值的計算中的需要。由矩陣 求逆引理可以導(dǎo)出：,（6-11）,遞推算法： 已有數(shù)據(jù)求P(k)求Kk+1由 ， ,,2020/9/25,化工過程動態(tài)數(shù)學(xué)模型（化工與環(huán)境學(xué)院）,14,以上的遞推算法盡管

7、在計算步驟上與整批算法不同，但計算結(jié)果是相同的，對所采集的各組數(shù)據(jù)，對最終結(jié)果起著同等程度的影響。 在許多情況下，例如對于時變的系統(tǒng)，需要逐步減少老數(shù)據(jù)的作用，加強(qiáng)新數(shù)據(jù)的地位。,一種辦法是對數(shù)據(jù)組數(shù)作限制，一直規(guī)定為k，在收到第 (k+1)組數(shù)據(jù)后，把第1組數(shù)據(jù)棄掉，吐故納新。 另一種常用的辦法是引入遺忘因子 。把記憶中的數(shù)據(jù)乘 上小于1的數(shù)，猶如逐漸淡忘一樣。 采用遺忘因子的算法步驟如下：,2020/9/25,化工過程動態(tài)數(shù)學(xué)模型（化工與環(huán)境學(xué)院）,15,依據(jù)過去已有的數(shù)據(jù)，求取P(k)和 ，如：,（6-12）,也可按照某些初值假定，如 ， 等,2020/9/25,

8、化工過程動態(tài)數(shù)學(xué)模型（化工與環(huán)境學(xué)院）,16,計算新的P值,（6-15）,這樣，構(gòu)成一個完整的算法，一步一步計算，可設(shè) 的值 在01之間，通常取0.951。如 =1，則對新舊數(shù)據(jù)一視同仁 值越小，對舊的數(shù)據(jù)遺忘越快。,2020/9/25,化工過程動態(tài)數(shù)學(xué)模型（化工與環(huán)境學(xué)院）,17,將現(xiàn)場測試得到的數(shù)據(jù)直接代入回歸方程，所得到的結(jié)果一般是不正確的。其原因是：目標(biāo)函數(shù)同生產(chǎn)變量之間不一定都是線性關(guān)系，如下圖6-2所示的實(shí)驗(yàn)數(shù)據(jù)分布：,6.3 實(shí)驗(yàn)數(shù)據(jù)處理,2020/9/25,化工過程動態(tài)數(shù)學(xué)模型（化工與環(huán)境學(xué)院）,18,從以上的實(shí)驗(yàn)數(shù)據(jù)分布圖可知：只有圖(a)是線性關(guān)系。 因此，在進(jìn)行實(shí)驗(yàn)

9、數(shù)據(jù)收集之前，建議進(jìn)行有目的的試驗(yàn)， 以找出目標(biāo)函數(shù)y同各個過程變量的定性關(guān)系。有目的試驗(yàn)的 最簡單的方法是固定所有的有關(guān)變量，僅讓其中一個變量變化，觀察目標(biāo)函數(shù)(或稱目標(biāo)變量)同此變量的關(guān)系。,2020/9/25,化工過程動態(tài)數(shù)學(xué)模型（化工與環(huán)境學(xué)院）,19,實(shí)驗(yàn)數(shù)據(jù)的處理通常需要從幾組測定的數(shù)據(jù)（例如N個點(diǎn)xi,yi）去求數(shù)據(jù)擬合的問題。這種方法在有些場合稱為線性回歸問題，在系統(tǒng)辨識中稱為參數(shù)據(jù)計。,6.4 問題提出及最小二乘原理,由于在實(shí)驗(yàn)中給出的數(shù)據(jù)總是有觀測誤差的，如果要求估 計曲線通過所有的點(diǎn)，那么會使曲線保留全部觀測誤差的影響，這與古典的數(shù)據(jù)擬合方法是不相符的，由于數(shù)據(jù)擬合方法不

10、要求曲線通過所有的點(diǎn)（xi, yi），而是根據(jù)這些數(shù)之間的相互關(guān)系，用其它方法給出它們之間合適的數(shù)學(xué)公式，繪出一條近似曲線，以反映給定數(shù)據(jù)的一般趨勢。,2020/9/25,化工過程動態(tài)數(shù)學(xué)模型（化工與環(huán)境學(xué)院）,20,假設(shè)生產(chǎn)過程中，某一因變量與自變量之間的關(guān)系，通過實(shí)際測定。如下表6-1所示：,表 6-1 實(shí)際測定數(shù)據(jù)表,2020/9/25,化工過程動態(tài)數(shù)學(xué)模型（化工與環(huán)境學(xué)院）,21,把x, y的觀測值標(biāo)在坐標(biāo)紙上，每組數(shù)據(jù)（x, y）在圖中以一個星點(diǎn)表示，這種圖稱為散點(diǎn)圖，從散點(diǎn)圖可直觀地看出兩個變量之間的大致關(guān)系。,,,,x,y,圖6-3 散點(diǎn)圖,2020/9/25,化工過程動態(tài)數(shù)學(xué)模

11、型（化工與環(huán)境學(xué)院）,22,從以上的圖可以看出x與y之間大致呈線性關(guān)系，因此，可用一條直線來表示兩者之間的關(guān)系，即設(shè) y = a + b x (6-16),若取式（6-17）中的第2和第24兩方程聯(lián)立起來：,解得：a = -0.4, b = 0.85,2020/9/25,化工過程動態(tài)數(shù)學(xué)模型（化工與環(huán)境學(xué)院）,23,但是，當(dāng)選取不同的點(diǎn)值時，得到的a 、b值就不同，這說明解不是唯一的！假定用某種方法把a(bǔ) 和 b確定下來，這時有了x就可以算出y值，可記為：,（6-18）,,當(dāng)然，這樣得到的 與 不一定相同，把兩個數(shù)據(jù)之差記為,（6-19）,可以有許多方法來確

12、定最好的a和b參數(shù)，但常用的是最小二 乘原理，即使誤差平方和達(dá)到最小。即,2020/9/25,化工過程動態(tài)數(shù)學(xué)模型（化工與環(huán)境學(xué)院）,24,為了求出a 和 b的最好值，把（6-19）式代入（6-20）式，可得,（6-20）,（6-21）,2020/9/25,化工過程動態(tài)數(shù)學(xué)模型（化工與環(huán)境學(xué)院）,25,整理（6-22）式可得：,（6-23）,2020/9/25,化工過程動態(tài)數(shù)學(xué)模型（化工與環(huán)境學(xué)院）,26,從向量和矩陣的角度來討論最小二乘估計，即,則：,（6-25）,（6-26）,2020/9/25,化工過程動態(tài)數(shù)學(xué)模型（化工與環(huán)境學(xué)院）,27,由（6-27）式可知：,由于量測矩陣H的秩為2，

13、與被估計量的維數(shù)相等，其逆存在，因此，利用公式（6-26）可得最小二乘估計為：,2020/9/25,化工過程動態(tài)數(shù)學(xué)模型（化工與環(huán)境學(xué)院）,28,因此：,例6-2. 對于時變系統(tǒng)的參數(shù)估計： y(k)+a(k)y(k-1)=b(k)u(k-1)+e(k) a(k), b(k)具有以下的數(shù)值： a(k)=0.8, b(k)=0.5, 當(dāng)0k<300 a(k)=0.6, b(k)=0.3, 當(dāng)k300,2020/9/25,化工過程動態(tài)數(shù)學(xué)模型（化工與環(huán)境學(xué)院）,29,e(k)為零均值白噪聲，利用上述的遞推算法估計時變參數(shù)：,2020/9/25,化工過程動態(tài)數(shù)學(xué)模型（化工與環(huán)境學(xué)

14、院）,30,從上面的圖6-3a和6-3b可以看出：當(dāng)?shù)闹等〉幂^小時，參數(shù) 估計變化較快，但對噪聲的跟蹤能力也大。當(dāng)?shù)闹等≥^大時 ，參數(shù)估計變化較慢，但最后估計精度較高。,2020/9/25,化工過程動態(tài)數(shù)學(xué)模型（化工與環(huán)境學(xué)院）,31,已知整批的最小二乘估計公式為：,（6-28）,2020/9/25,化工過程動態(tài)數(shù)學(xué)模型（化工與環(huán)境學(xué)院）,32,可以證明，從第n+1組數(shù)據(jù)就可以利用公式(6-29)、(6-30) 進(jìn)行遞推。,注：在利用公式(6-29)、(6-30)進(jìn)行遞推計算時，需要一組初 值 或 和 。通?？衫霉剑?-28）計算出一組 初值，也可以根據(jù)歷史數(shù)據(jù)選擇一組初始值。如果

15、沒有任何 歷史數(shù)據(jù)可供參考的話，那么可設(shè) ：,2020/9/25,化工過程動態(tài)數(shù)學(xué)模型（化工與環(huán)境學(xué)院）,33,其中的 是充分大的正數(shù)，通常選擇 ， 可以證明，經(jīng)過相當(dāng)次數(shù)的推遞之后，這種初始值的影響 就逐漸消失，而得到滿意的估計值。,遞推最小二乘法的計算框圖如下：,,,圖6-4 遞推最小二乘法程序框圖,2020/9/25,化工過程動態(tài)數(shù)學(xué)模型（化工與環(huán)境學(xué)院）,34,例6-3. 基于遞推最小二乘法所需要的存儲單元數(shù)，考慮二階 線性動態(tài)模型：,在輸入n組數(shù)據(jù)時，從第n+1組數(shù)據(jù)開始推遞計算：,2020/9/25,化工過程動態(tài)數(shù)學(xué)模型（化工與環(huán)境學(xué)院）,35,從第3組數(shù)據(jù)開始遞

16、推： 從上面的計算過程可見，遞推最小二乘法，每一步需要存儲 單元的數(shù)目是：,,2020/9/25,化工過程動態(tài)數(shù)學(xué)模型（化工與環(huán)境學(xué)院）,36,6.5 偏最小二乘的基本含義,偏最小二乘回歸是一種新型的多元統(tǒng)計分析方法, 它于1983 年由伍德（S.Wold）和阿巴諾（C.Albano）等人首次提出。 伍德教授執(zhí)教于瑞典的Umea大學(xué)有機(jī)化學(xué)系，在他的指導(dǎo) 下，發(fā)表了多篇有關(guān)偏最小二乘回歸理論和應(yīng)用的論文，并開 發(fā)了相關(guān)軟件，用以支持偏最小二乘回歸的計算和結(jié)果解釋。 也正因此，偏最小二乘回歸首先在化工領(lǐng)域得到廣泛應(yīng)用。 1996年10月在法國巴黎召開一次有關(guān)偏最小二乘回歸方法 理論與實(shí)踐的學(xué)

17、術(shù)研討會。美國密西根大學(xué)（Michigan Univer- sity）的弗耐爾（Fornell）教授稱偏最小二乘回歸為第二代回歸 分析方法。,2020/9/25,化工過程動態(tài)數(shù)學(xué)模型（化工與環(huán)境學(xué)院）,37,6.6 偏最小二乘的重要性,偏最小二乘回歸方法在統(tǒng)計應(yīng)用中的重要性有： 偏最小二乘回歸是一種多因變量對多自變量的回歸建模 方法；特別當(dāng)各變量集合內(nèi)部存在較高程度的相關(guān)性時，用偏 偏最小二乘回歸進(jìn)行回歸建模分析，對比逐個因變量進(jìn)行多元 回歸更加有效，其結(jié)論更加可靠，整體性更強(qiáng)。 偏最小二乘回歸可以較好地解決許多以往用普通多元回 歸無法解決的問題；最典型的問題是自變量之間的多重相關(guān)性

18、。如果采用普通的最小二乘回歸方法，這種變量多重相關(guān)性就 會嚴(yán)重危害參數(shù)估計，擴(kuò)大模型誤差，并破壞模型的穩(wěn)健性。,2020/9/25,化工過程動態(tài)數(shù)學(xué)模型（化工與環(huán)境學(xué)院）,38,而采用偏最小二乘回歸方法，是利用對系統(tǒng)中的數(shù)據(jù)信息 進(jìn)行分解和篩選的方式，提取對因變量解釋性最強(qiáng)的綜合變量 ，辨識系統(tǒng)中的信息與噪聲，從而更好地克服多重相關(guān)性在系 統(tǒng)建模中的不良作用。 另一方面，在使用普通最小二乘回歸時經(jīng)常受到樣本點(diǎn)數(shù) 的限制（樣本點(diǎn)不宜太少）。一般統(tǒng)計書上介紹該數(shù)目應(yīng)是變 量個數(shù)的兩倍以上，但由于費(fèi)用、時間等條件的限制，所能得 到的樣本點(diǎn)個數(shù)卻少于變量的個數(shù)，此時采用普通的多元回歸 方法無能為力

19、，而采用偏最小二乘回歸方法可得到較好解決。,2020/9/25,化工過程動態(tài)數(shù)學(xué)模型（化工與環(huán)境學(xué)院）,39,偏最小二乘回歸方法可以實(shí)現(xiàn)多種數(shù)據(jù)分析方法的綜 合，所以被稱為第二代回歸方法。 偏最小二乘回歸可以集多元線性回歸分析、典型相關(guān)分 析和主成分分析的基本功能為一體，將建模預(yù)測類型的數(shù)據(jù) 分析方法與非模型式的數(shù)據(jù)認(rèn)識性分析方法有機(jī)地結(jié)合起來， 即,偏最小二乘回歸多元線性回歸分析+典型相關(guān)分析 +主成分分析,2020/9/25,化工過程動態(tài)數(shù)學(xué)模型（化工與環(huán)境學(xué)院）,40,應(yīng)用舉例1：主元分析法在原油儲罐測控系統(tǒng)中的應(yīng)用,（1）目的 為了確保安全生產(chǎn)，實(shí)時監(jiān)控原油集輸過程

20、中的變量， 基于主元分析方法研究原油儲罐各參數(shù)的變化規(guī)律，建立了主 元回歸模型，分析影響原油儲罐正常運(yùn)行的主要因素，對生產(chǎn) 過程工藝參數(shù)的不正常狀態(tài)實(shí)現(xiàn)有效的識別。,在現(xiàn)代化生產(chǎn)過程中，要求操作人員同時監(jiān)視大量的過程 變量是比較困難的。如能將很多相關(guān)的過程變量壓縮為少數(shù)的 獨(dú)立變量，而這些少數(shù)獨(dú)立變量又涵蓋了整個過程的大部分信 息，那么操作人員通過對這少數(shù)獨(dú)立變量的監(jiān)視，以實(shí)現(xiàn)對整 個生產(chǎn)過程的監(jiān)控。,2020/9/25,化工過程動態(tài)數(shù)學(xué)模型（化工與環(huán)境學(xué)院）,41,（2）概述 主元分析（Principal Component Analysis）就是將相關(guān)的變 量轉(zhuǎn)化為少數(shù)幾個相互獨(dú)立變量的

21、一個有效的方法。 基于主元分析(PCA)的方法是多元（變量）統(tǒng)計過程控制 (Multivariable Statistic Process Control )方法的一個重要工具。 MSPC的主要內(nèi)容是建立多元統(tǒng)計模型(如PCA模型)，將生產(chǎn)過 程中存在的高度相關(guān)的過程變量通過多元統(tǒng)計投影映射到少量 隱變量定義的低維空間中，使過程監(jiān)控、故障檢測與診斷以及 相應(yīng)的研究得以簡化。,通過對原油儲罐內(nèi)原油的各參數(shù)（如液位、壓力、界面、 溫度等）進(jìn)行監(jiān)控，可以有效的預(yù)防原油冒罐、原油罐被抽癟 等事故發(fā)生。,2020/9/25,化工過程動態(tài)數(shù)學(xué)模型（化工與環(huán)境學(xué)院）,42,2020/9/25,化工過程動態(tài)

22、數(shù)學(xué)模型（化工與環(huán)境學(xué)院）,43,2020/9/25,化工過程動態(tài)數(shù)學(xué)模型（化工與環(huán)境學(xué)院）,44,2020/9/25,化工過程動態(tài)數(shù)學(xué)模型（化工與環(huán)境學(xué)院）,45,2020/9/25,化工過程動態(tài)數(shù)學(xué)模型（化工與環(huán)境學(xué)院）,46,2020/9/25,化工過程動態(tài)數(shù)學(xué)模型（化工與環(huán)境學(xué)院）,47,2020/9/25,化工過程動態(tài)數(shù)學(xué)模型（化工與環(huán)境學(xué)院）,48,2020/9/25,化工過程動態(tài)數(shù)學(xué)模型（化工與環(huán)境學(xué)院）,49,2020/9/25,化工過程動態(tài)數(shù)學(xué)模型（化工與環(huán)境學(xué)院）,50,2020/9/25,化工過程動態(tài)數(shù)學(xué)模型（化工與環(huán)境學(xué)院）,51,2020/9/25,化工過程動態(tài)數(shù)學(xué)模

23、型（化工與環(huán)境學(xué)院）,52,2020/9/25,化工過程動態(tài)數(shù)學(xué)模型（化工與環(huán)境學(xué)院）,53,2020/9/25,化工過程動態(tài)數(shù)學(xué)模型（化工與環(huán)境學(xué)院）,54,2020/9/25,化工過程動態(tài)數(shù)學(xué)模型（化工與環(huán)境學(xué)院）,55,2020/9/25,化工過程動態(tài)數(shù)學(xué)模型（化工與環(huán)境學(xué)院）,56,2020/9/25,化工過程動態(tài)數(shù)學(xué)模型（化工與環(huán)境學(xué)院）,57,2020/9/25,化工過程動態(tài)數(shù)學(xué)模型（化工與環(huán)境學(xué)院）,58,應(yīng)用舉例2：偏最小二乘法在高爐冶煉中的應(yīng)用,高爐冶煉過程包含著眾多的子工序, 包括配料、上料、布料、鼓風(fēng)、富氧、噴煤、出渣、出鐵等。 在生產(chǎn)過程中, 包含著眾多的影響參數(shù), 使

24、得高爐鐵水含硅量發(fā)生劇烈波動。這些影響參數(shù)本身之間存在著復(fù)雜的線性相關(guān)。 為了對高爐冶煉過程進(jìn)行平穩(wěn)控制, 大量的非線性方法包括神經(jīng)網(wǎng)絡(luò)、模糊數(shù)學(xué)、混沌和分形時間序列方法得到了廣泛的應(yīng)用, 并取得了一定的成果。然而, 這些方法僅僅考慮單一的因素( 鐵水含硅量) 或少數(shù)幾個關(guān)鍵參數(shù), 造成了大量有用信息的丟失, 因而存在一定的局限性。,2020/9/25,化工過程動態(tài)數(shù)學(xué)模型（化工與環(huán)境學(xué)院）,59,目前處理高維復(fù)雜數(shù)據(jù)應(yīng)用最廣泛的方法是主成分回歸( PCR) 和偏最小二乘法( PLS)。主成分回歸的主要目的是要提取隱藏在矩陣X 中的相關(guān)信息, 然后用于預(yù)測變量Y 的值。這種做法可以保證只使

25、用那些獨(dú)立變量, 噪音將被消除, 從而達(dá)到改善預(yù)測模型質(zhì)量的目的. 當(dāng)然, 它也有一定的缺陷, 由于高爐數(shù)據(jù)過于復(fù)雜, 導(dǎo)致主成分分析所提取的成分?jǐn)?shù)過多從而造成預(yù)測模型精確度不夠。 偏最小二乘法則可以避免主成分回歸在預(yù)測中的缺陷, 同時對變量X 和Y都進(jìn)行分解, 從變量X和Y中提取成分( 通常稱為因子) , 再將因子按照它們之間的相關(guān)性從大到小排列。將主成分回歸和偏最小二乘法結(jié)合起來, 一方面可以有效分析各個運(yùn)行參數(shù)對鐵水含硅量的影響, 另一方面可以準(zhǔn)確預(yù)測鐵水含硅量, 對指導(dǎo)高爐生產(chǎn)有著較大的意義。,2020/9/25,化工過程動態(tài)數(shù)學(xué)模型（化工與環(huán)境學(xué)院）,60,（1）偏最小二乘法,偏

26、最小二乘法的思路是: 首先, 從自變量X 中提取相互獨(dú)立的成分th ( h= 1, 2, , ) , 從因變量Y中提取相互獨(dú)立的成分uh ( h= 1, 2, , ) 。然后建立這些成分與自變量的回歸方程. 與主成分回歸不同的是, 偏最小二乘回歸所提取的成分既能較好地概括自變量系統(tǒng)中的信息, 又能很好地解釋因變量并排除系統(tǒng)中的噪聲干擾。因而有效地解決了自變量間多重相關(guān)性情況下的回歸建模問題。 當(dāng)因變量Y的階數(shù)為1 時, 為單變量偏最小二乘回歸模型( PLS1) , 階數(shù)大于1 時為多變量偏最小二乘回歸模型。此例是討論的是單變量模型, 對于多變量模型, 處理的方法也類似。,2020/9/25

27、,化工過程動態(tài)數(shù)學(xué)模型（化工與環(huán)境學(xué)院）,61,2020/9/25,化工過程動態(tài)數(shù)學(xué)模型（化工與環(huán)境學(xué)院）,62,2020/9/25,化工過程動態(tài)數(shù)學(xué)模型（化工與環(huán)境學(xué)院）,63,2020/9/25,化工過程動態(tài)數(shù)學(xué)模型（化工與環(huán)境學(xué)院）,64,2020/9/25,化工過程動態(tài)數(shù)學(xué)模型（化工與環(huán)境學(xué)院）,65,圖6-10 error相對于所取成分?jǐn)?shù)的變化,2020/9/25,化工過程動態(tài)數(shù)學(xué)模型（化工與環(huán)境學(xué)院）,66,圖6-11 某高爐Si 預(yù)測結(jié)果圖,在高爐冶煉過程的控制中, 過去的模型大多根據(jù)經(jīng)驗(yàn)提取少數(shù)幾個參數(shù)或者僅利用鐵水含硅量數(shù)據(jù)進(jìn)行建模, 這樣造成了大量的信息丟失。在此采用了偏最

28、小二乘方法對高爐冶煉過程進(jìn)行分析,不僅有效降低了數(shù)據(jù)的維數(shù), 而且分析得到了各個變量對冶煉過程的貢獻(xiàn), 從而得到了較好的預(yù)測結(jié)果。,2020/9/25,化工過程動態(tài)數(shù)學(xué)模型（化工與環(huán)境學(xué)院）,67,6.8 單因變量的偏最小二乘回歸模型,1引言 當(dāng)因變量個數(shù)只有一個時, 偏最小二乘回歸模型就是單因變 量的。目前, 國際上有一些流行的縮寫記號, 比如單因變量的偏 最小二乘回歸模型被記為PLSl模型, 而多因變量的偏最小二乘回 歸模型被記為PLS2模型。顯然,PLSl模型是PLS2模型的一種特 例。 當(dāng)在自變量之間存在嚴(yán)重多重相關(guān)性時, 會使普通最小二乘 法失效,破壞參數(shù)估計, 擴(kuò)大模型誤差, 并使

29、模型喪失穩(wěn)健性。然 而, 偏最小二乘回歸卻較好地解決了這一問題。它與傳統(tǒng)的多元 線性回歸模型相比,有以下幾個突出的特點(diǎn)：,2020/9/25,化工過程動態(tài)數(shù)學(xué)模型（化工與環(huán)境學(xué)院）,68,（1）能夠在自變量存在嚴(yán)重多重相關(guān)性的條件下進(jìn)行回歸建 模； （2）允許在樣本點(diǎn)個數(shù)少于變量個數(shù)的條件下進(jìn)行回歸建模； （3）偏最小二乘回歸在最終模型中將包含原有的所有自變； （4）偏最小二乘回歸模型更易于辨識系統(tǒng)信息與噪聲（甚至 一些隨機(jī)性噪聲）； （5）在偏最小二乘回歸模型中，每一個自變量xj回歸系數(shù)將 更容易解釋。,2020/9/25,化工過程動態(tài)數(shù)學(xué)模型（化工與環(huán)境學(xué)院）,69,2020/9/25

30、,化工過程動態(tài)數(shù)學(xué)模型（化工與環(huán)境學(xué)院）,70,2020/9/25,化工過程動態(tài)數(shù)學(xué)模型（化工與環(huán)境學(xué)院）,71,2020/9/25,化工過程動態(tài)數(shù)學(xué)模型（化工與環(huán)境學(xué)院）,72,2020/9/25,化工過程動態(tài)數(shù)學(xué)模型（化工與環(huán)境學(xué)院）,73,3. 簡化算式,,2020/9/25,化工過程動態(tài)數(shù)學(xué)模型（化工與環(huán)境學(xué)院）,74,2020/9/25,化工過程動態(tài)數(shù)學(xué)模型（化工與環(huán)境學(xué)院）,75,4. 應(yīng)用舉例,2020/9/25,化工過程動態(tài)數(shù)學(xué)模型（化工與環(huán)境學(xué)院）,76,6-2,2020/9/25,化工過程動態(tài)數(shù)學(xué)模型（化工與環(huán)境學(xué)院）,77,這8個變量的相關(guān)系數(shù)矩陣見表6-3。從相關(guān)系數(shù)矩

31、陣中可以 看出，在自變量之間存在嚴(yán)重的多重相關(guān)性，例如r(x1,x3)= 0.999, r(x4,x7)=0.92, r(x1,x6)=-0.80。實(shí)際上，這7個自變量之 間有如下關(guān)系： x1+x2++x7=1,6-3,2020/9/25,化工過程動態(tài)數(shù)學(xué)模型（化工與環(huán)境學(xué)院）,78,用偏最小二乘回歸方法建立回歸模型,2020/9/25,化工過程動態(tài)數(shù)學(xué)模型（化工與環(huán)境學(xué)院）,79,2020/9/25,化工過程動態(tài)數(shù)學(xué)模型（化工與環(huán)境學(xué)院）,80,2020/9/25,化工過程動態(tài)數(shù)學(xué)模型（化工與環(huán)境學(xué)院）,81,2020/9/25,化工過程動態(tài)數(shù)學(xué)模型（化工與環(huán)境學(xué)院）,82,2020/9/25,化工過程動態(tài)數(shù)學(xué)模型（化工與環(huán)境學(xué)院）,83,思考題： 24. 在遞推最小二乘法中，修正矩陣的物理意義是什么？為什么要引入遺忘因子？ 25. 整批最小二乘法與遞推最小二乘法的區(qū)別是什么？ 26. 偏最小二乘法的基本思想是什么？,