現(xiàn)代控制理論 第十一章 參數(shù)估計(jì)方法

《現(xiàn)代控制理論 第十一章 參數(shù)估計(jì)方法》由會(huì)員分享，可在線閱讀，更多相關(guān)《現(xiàn)代控制理論 第十一章 參數(shù)估計(jì)方法（86頁(yè)珍藏版）》請(qǐng)?jiān)谘b配圖網(wǎng)上搜索。

1、第三篇 最優(yōu)估計(jì)理論 概 述 在科學(xué)和技術(shù)領(lǐng)域中，經(jīng)常遇到“估計(jì)”問(wèn)題。所謂“估計(jì)”，就是對(duì)受到隨機(jī)干擾和隨機(jī)測(cè)量誤差作用的物理系統(tǒng)，按照某種性能指標(biāo)為最優(yōu)的原則，從具有隨機(jī)誤差的測(cè)量數(shù)據(jù)中提取，信息估計(jì)出系統(tǒng)的某些參數(shù)狀態(tài)變量。這就提出了參數(shù)和狀態(tài)估計(jì)問(wèn)題。這些被估參數(shù)或被估狀態(tài)可統(tǒng)稱為被估量。 一般，估計(jì)問(wèn)題分兩大類，即參數(shù)估計(jì)和狀態(tài)估計(jì)。 一、參數(shù)估計(jì) 參數(shù)估計(jì)屬于曲線擬合問(wèn)題。例如做完某項(xiàng)試驗(yàn)之后，得到若干個(gè)觀測(cè)值 與相應(yīng)時(shí)間 的關(guān)系 。我們希望以一條曲線來(lái)表示 和 的關(guān)系，設(shè) izit,1,2,iiz timzt 1 122nnz tx h tx htx ht式中 為已知的時(shí)間函數(shù)，

2、一般是 的冪函數(shù)、指數(shù)函數(shù)或正余弦函數(shù)等等。 為 個(gè)未知參數(shù)，它們不隨時(shí)間而變。 12nh ththt、 、t12nxxx、 、 、n根據(jù) 對(duì)觀測(cè)值 來(lái)估計(jì)未知參數(shù) 。按照什么準(zhǔn)則來(lái)估計(jì)這些參數(shù)呢？ 這將是第十章討論的主要問(wèn)題。 m,1,2,iiz timmn；12nxxx、 、 、二、狀態(tài)估計(jì) 設(shè)系統(tǒng)的狀態(tài)方程和觀測(cè)方程分別為 ttttttttH tttxAxBuFwzxv 式中， 為狀態(tài)變量，它是隨時(shí)間而變的隨機(jī)過(guò)程， 為控制變量， 為系統(tǒng)噪聲， 為測(cè)量噪聲， 為觀測(cè)值。現(xiàn)要根據(jù)觀測(cè)值來(lái)估計(jì)狀態(tài)變量 ，這就是狀態(tài)估計(jì)問(wèn)題。卡爾曼濾波是一種最有效的狀態(tài)估計(jì)方法，將在第十一章討論這個(gè)問(wèn)題。 t

3、x tu tw tv tz tx 人們希望估計(jì)出來(lái)的參數(shù)或狀態(tài)愈接近真值愈好，因此提出了最優(yōu)估計(jì)問(wèn)題。所謂最優(yōu)估計(jì)，是指在某一確定的準(zhǔn)則條件下，從某種統(tǒng)計(jì)意義上來(lái)說(shuō)，估計(jì)達(dá)到最優(yōu)，顯然，最優(yōu)估計(jì)不是唯一的，它隨著準(zhǔn)則不同而不同，因此在估計(jì)時(shí)，要恰當(dāng)選擇估計(jì)準(zhǔn)則。 在自動(dòng)控制中，為了實(shí)現(xiàn)最優(yōu)控制和自適應(yīng)控制，遇到許多參數(shù)估計(jì)或狀態(tài)估計(jì)問(wèn)題，促進(jìn)了估計(jì)理論和估計(jì)方法的發(fā)展。另外，由于電子計(jì)算機(jī)的迅猛發(fā)展和廣泛使用，使得許多復(fù)雜的估計(jì)問(wèn)題的解決成為可能，這也促進(jìn)了估計(jì)理論的發(fā)展。所以近二十多年來(lái)最優(yōu)估計(jì)理論及其應(yīng)用得到迅速的發(fā)展。 第十一章 參數(shù)估計(jì)方法 本章討論參數(shù)估計(jì)準(zhǔn)則和估計(jì)方法，根據(jù)對(duì)被估值

4、統(tǒng)計(jì)特性的掌握程度不同，可提出不同的估計(jì)準(zhǔn)則。依據(jù)不同的準(zhǔn)則，就有相應(yīng)的估計(jì)方法，即最小方差估計(jì)、線性最小方差估計(jì)、極大似然估計(jì)、極大驗(yàn)后估計(jì)、最小二乘估計(jì)等，本章將對(duì)這些估計(jì)方法進(jìn)步不同程度的討論。 第一節(jié) 最小方差估計(jì)與線性最小方差估計(jì) 一、最小方差估計(jì)一、最小方差估計(jì) 最小方差準(zhǔn)則，要求誤差的方差為最小，它是一種最古典的估計(jì)方法，這呼估計(jì)方法需要知道被估隨機(jī)變量 的概率分布密度 和數(shù)學(xué)期望 。這種苛刻的先驗(yàn)條件，使此方法在工程上的應(yīng)用受到很大限制。這里只以一維隨機(jī)變量的估計(jì)為例，介紹最小方差估計(jì)方法。 x p x E x將上式展開，得 2222JExxE xxE xx 設(shè)有一維隨機(jī)變量

5、，它的概率密度 和常數(shù)期望 ，都是已知的，求 的估值 。評(píng)價(jià)估計(jì)優(yōu)劣的準(zhǔn)則是 與 的誤差的方差為最小，即 x p x xE xmx x xx 22minJExxxxp x dx(11-1) 求上式對(duì) 的偏導(dǎo)數(shù)，令偏導(dǎo)數(shù)等于零，得 x 22JxE xx因此 的最小方差估值為 ，估計(jì)誤差為 xxm 0 xxxxxxxxmE xE xR xE xmmm即 E xE x則 的最優(yōu)估值為 x xxE xxp x dxm(11-2) 如果估值 的數(shù)學(xué)期望等于 的數(shù)學(xué)期望，或者估計(jì)誤差 的數(shù)學(xué)期望為零，則最小方差估計(jì)是無(wú)偏的。因此 的估計(jì)是無(wú)偏估計(jì)。 xx xx所以數(shù)學(xué)期望 是 的最小方差估計(jì)。 xmx這種

6、方法可以推廣到多維隨機(jī)變量的估值，這里不再敘述。 估計(jì)誤差 的方差為 x 222xxxExmxmp x dx(11-3) 二、線性最小方差估計(jì)二、線性最小方差估計(jì) 線性最小方差估計(jì)就是估計(jì)值為觀測(cè)值的線性函數(shù)，估計(jì)誤差的方差為最小。在使用這種方法時(shí)，需要知道觀測(cè)值和被估值的一、二階矩，即數(shù)學(xué)期望 和 、方差Varz和Varx及協(xié)方差 和 。 E z E xCov xz，Cov zx，的條件來(lái)確定系數(shù) 和 。 ab式中 和 為兩個(gè)待定常數(shù)。根據(jù)估計(jì)誤差的方差 ab22JExxExazbmin(11-5) 先討論被估值 和觀測(cè)值 都是一維隨機(jī)變量的情況。線性最小方差估計(jì)是把 的估值 表示成 的線性

7、函數(shù)，即 xzxz x xazb(11-4) 求式(11-5)對(duì) 和 的偏導(dǎo)數(shù)，令偏導(dǎo)數(shù)等于零，可求得 和 兩個(gè)系數(shù)。 abba202JExazbzaJExazba (11-7) (11-6) 從式(11-7)可得 0 xzmamb式中 和 為 和 的數(shù)學(xué)期望，從此式可得 xmzmxzxzbmam(11-8) 將式(11-8)代入式(11-6)得 0 xzExazmamz把上式改寫成 0 xzzzExma zmzmm展開上式得 02xzzxzzzExmzmm E xmaEzmam E zm 式中， 分別為隨機(jī)變量 和 的均方根差， 為 與 的相關(guān)系數(shù) 。于是的估值為 xz、xzxzxzCov,

8、/xzxzax z 2Cov,xzxx zxazbmzm(11-10) 求上式的數(shù)學(xué)期望值，可得 222220Cov,xzxzxzzxxxCov xzax za ，(11-9) 估計(jì)誤差為 xxx 0 xzzzzxxzzxzzzxE xE xE mE zmmmmm 因此 。所以估計(jì)是無(wú)偏的。 E xE x 下面討論 和 都是多維隨機(jī)變量的估計(jì)問(wèn)題。設(shè) 為 維， 為維，已知 和 的一、二階矩，即 xzxxzznq VarVarzCov,Cov,E xE zx zz x、和假定 的估值 是 的線性函數(shù) xz x z xbAz式中， 是 維非隨機(jī)常數(shù)向量， 是 非隨機(jī)常數(shù)矩陣。 nbAnq(11-1

9、1) 估計(jì)誤差方差陣為 ( )( ) TTJTraceExx zxx zExbAzxbAz(11-12) 估計(jì)準(zhǔn)則是方差陣J為最小，也可等價(jià)為方差陣J的跡 為最小，即 的各分量的方差之和為最小 tJx minTtTJTraceEExbAzxbAzxbAzxbAz(11-13) 用函數(shù)對(duì)矩陣的微分法則（附錄一），求 和 ，令 和 ，聯(lián)立求解可得 。 tJbtJA0tJb0tJAbA和220tzzJE xbAzbAmmb zzEEbmAmxAx 22220TtTTTTTTJEEEEEEE xbAzxbAzAAxbAz zxbxAzzAzzbzxx(11-15) (11-14) 將式(11-14)代

10、入式(11-15)得 000( , )0TTTTTTTTTTEEEEEEzEE z EEEEEEEEEE zAVarzCov x zAzzxzAzzxAzzzxzxzAzzzzxxz因此 1CovVarAxzz、(11-16) 將式(11-16)代入式(11-14)，可得 1CovVar EEbxxzzz、根據(jù)式(11-16)和式(11-17)求得 代入式(11-11)，得 Ab和 11Cov,VarCov,VarzEExxxx zzzzmx zzzm(11-18) 1Cov,VarzEEEExxxmx zzzmmx由式(11-18)可得 所以估計(jì)是無(wú)偏的。 估計(jì)誤差的方差陣為 1Var -C

11、ovVarCovJxxzzzx、(11-19) 第二節(jié) 極大似然法估計(jì)與極大驗(yàn)后法估計(jì) 一 、極大似然法估計(jì) 極大似然法估計(jì)是以觀測(cè)值出現(xiàn)的概率為最大作為估計(jì)準(zhǔn)則的，它是一種常用的參數(shù)估計(jì)方法。 設(shè) 是連續(xù)隨機(jī)變量，其分布密度為 ，含有 個(gè)未知參數(shù) 。把 個(gè)獨(dú)立觀測(cè)值 分別代入 中的 ，則得 z12,np z n12,n k12,kz zz12,np z z12,1,2,inp zik ，稱函數(shù) 為似然函數(shù)。當(dāng) 固定時(shí)， 是 的函數(shù)。極大似然法的實(shí)質(zhì)就是求出使 達(dá)到極大時(shí)的 的估值 。從式(11-20)可看到 是觀測(cè)值 的函數(shù)。 L12,kz zzL12,n L12,n 12 ,n 12 ,n

12、 12,kz zz將所得的 個(gè)函數(shù)相乘，得 k1212121,kkniniL z zzp z ， ；(11-20) 為了便于求出使 達(dá)到極大的 ，對(duì)式(11-20)取對(duì)數(shù)，則 L12 ,n 1121lnln,kniLp z (11-21) 由于對(duì)數(shù)函數(shù)是單調(diào)增加函數(shù)，因此當(dāng) 取極大值時(shí)， 也同時(shí)取極大值，將上式分別對(duì) 求偏導(dǎo)數(shù)，令偏導(dǎo)數(shù)等于零，可得下列方程組： LlnL12,n 1nln0ln0LL(11-22) 解上述方程組，可得使 達(dá)到極大值的 。按極大似然法確定的 ，使 最有可能出現(xiàn)，并不需要 的驗(yàn)前知識(shí)，即不需要知道的概率分布密度和一、二階矩。 L12 ,n 12 ,n 12,kz z

13、z12,n 例11-1 設(shè)有正態(tài)分布隨機(jī)變量 ，給出 個(gè)觀測(cè)值 。觀測(cè)值相互獨(dú)立，試根據(jù)這 個(gè)觀測(cè)值，確定分布密度中的各參數(shù)。 zk12,kz zzk解: 的分布密度可用下式表示： z221,exp22zmp z m式中的 和 為未知參數(shù)。 m現(xiàn)有極大似然法來(lái)確定參數(shù) 和 。 m作似然函數(shù)： 212211,exp22kikizmL z zzm；對(duì)上式取對(duì)數(shù)，可得 212212211ln,lnexp221lnln22kikikiizmL z zzmzmkk ；將上式分別對(duì) 和 求偏導(dǎo)數(shù)，令偏導(dǎo)數(shù)等于零，可得 m21231lnL0lnlnL10kiikiizmkzm聯(lián)立求解可得 2211kkiii

14、izzmmkk，上面介紹了極大似然法的基本概念?，F(xiàn)在來(lái)討論極大似然法估計(jì)參數(shù)的問(wèn)題。 設(shè) 為 維隨機(jī)變量， 為 維未知參數(shù)，假定已知 的條件概率密度 。現(xiàn)在得到 組 的觀測(cè)值。觀測(cè)值相互獨(dú)立。當(dāng)參數(shù) 是何值時(shí)， 出現(xiàn)的可能性最大？為此，確定似然函數(shù)： /p z xzxmnzzkx12,kz zz 12,/kL z xp zx p zxp zxp z x或 ln,ln/L z xp z x(11-23) (11-24) 取極大值的充分條件是 L2222ln00LLxx或 因此，用極大似然法時(shí)，應(yīng)先求似然函數(shù) ，然后用微分法求出使似然函數(shù) 為極大的的 估值 。 LLx x解之，可得 的估值 。 x

15、 x求出使 為極大的 值，令 Lxln00LLxx或(11-25) 下面求似然函數(shù) 1,/p xvL z xp z xpx，設(shè)有一線性觀測(cè)系統(tǒng) zb z,vHzV 式中， 是 維觀測(cè)值， 是 維未知參數(shù)， 是 維測(cè)量誤差。設(shè)與 獨(dú)立。給出 的統(tǒng)計(jì)特性，求 的極大似然估計(jì)。 zmxnvmvxvx(11-26) 根據(jù)不同隨機(jī)變量的概率密度變換公式，并考慮到 與 獨(dú)立，可得 xv 1212221,p x zp x Hzvp x vpx pvpx pvL z xpvpzHxpx令 2,0LpHz xzxxx得上式，可得的 估值 。 x x假定噪聲 是正態(tài)分布，其均值為零，方差陣為 ，則 vTE vvR

16、 121/211,exp -22TmL z xpvvvRR把 代入上式，得 vzHx121,exp -2TL z xpczHxzHxRzHx式中 1/212mcR求出 ，使 為最大，也就是使 x2,L z xpzHx11min2TJzHxRzHx(11-27) 求 對(duì) 的偏導(dǎo)數(shù)，令偏導(dǎo)數(shù)等于零，可得 的估值 Jxx x110TT JH R zH R Hxx11TTH R HxH R z111TTxH R HH R z(11-28) 二、極大驗(yàn)后估計(jì)二、極大驗(yàn)后估計(jì) 如果給出 維隨機(jī)變量 的條件概率分布密度 也稱驗(yàn)后概率密度，怎樣求 的最優(yōu)估值 呢？極大驗(yàn)后估計(jì)準(zhǔn)則：使 的驗(yàn)后概率密度 達(dá)到最大

17、那個(gè) 值為極大驗(yàn)后估值 。可見(jiàn)，極大驗(yàn)后估計(jì)是已知 求 的最優(yōu)估值 的一種有效方法。 nx/p x zx xx/p x zx x/p x z x 式中 是 的驗(yàn)前概率密度， 是觀測(cè)值 的概率密度， 可用計(jì)算方法或?qū)嶒?yàn)方法求得。為了計(jì)算 需要知道 。在 沒(méi)有驗(yàn)前知識(shí)可供利用時(shí)，可假定 在很大范圍內(nèi)變化。 p xx p zz/p z x/p x z p xxx 極大驗(yàn)后估計(jì)是以已知 為前提的。如果只知道 ，可按下式計(jì)算 。 /p x z/p z x/p x z /p z x p xp x zp z(11-29) 在這種情況下，可把 的驗(yàn)前概率密度 近似地看作方差陣趨于無(wú)限大的正態(tài)分布密度 x p

18、x 11/211exp -22TxxnpxxmPxmP式中 為 的方差陣， 為 單位陣， ，于是 xPPII，nn1P0 /21/2111lnln 2-2lnnTxxxpp xPxmPxmxPxmx(11-30) 當(dāng) 1P0 ln0pxx(11-31) 當(dāng)缺乏 的驗(yàn)前概率分布密度時(shí)，極大驗(yàn)后估計(jì)與極大似然估計(jì)是等同的，現(xiàn)證明如下： x對(duì)于極大似然估計(jì)，為了求得 的最優(yōu)估值 ，應(yīng)令 x xln/0pz xx(11-32) 對(duì)于極大驗(yàn)后估計(jì)，為了求得 的最優(yōu)估值 ，應(yīng)令 x xln/0px zx(11-33) 根據(jù)式(11-29)得 ln/ln/ln-lnln/ln/lnln0ppppppppx

19、zz xxzx zz xxzxxxx考慮到 不是 的函數(shù)，同時(shí)考慮到式(11-31)，可得 p zxln/ln/ppx zz xxx 一般說(shuō)來(lái)，極大似然估計(jì)比極大驗(yàn)后估計(jì)應(yīng)用普遍，這是由于計(jì)算似然函數(shù)比計(jì)算驗(yàn)后概率密度較為簡(jiǎn)單。 (11-34) 第三節(jié) 最小二乘法估計(jì)與加權(quán)最小二乘法估計(jì) 上面討論的幾種估計(jì)方法，分別對(duì)被估隨機(jī)變量 的概率分布密度 、條件概率密度 、 以及一、二階矩等條件有著不同的要求。假定我們并不掌握上述任何條件，仍要估計(jì)隨機(jī)變量 的最優(yōu)估值 ，只有用高斯提出的最小二乘法。 x p x/p z x/p x zx x一、最小二乘法估計(jì)一、最小二乘法估計(jì) 設(shè) 次獨(dú)立試驗(yàn)，得到 對(duì)

20、觀測(cè)值： 。這里 表示時(shí)間或其他物理量?，F(xiàn)在的任務(wù)是：根據(jù)這些觀測(cè)值，用最優(yōu)的形式來(lái)表示 與 之間的函數(shù)關(guān)系。 m 1122,mmz tz tzt， ，itztm 通常， 的未知函數(shù)可用 表示， 的類型應(yīng)根據(jù)這 對(duì)數(shù)據(jù)（ 個(gè)點(diǎn)）的分布情況或所研究問(wèn)題的物理性質(zhì)來(lái)確定。 f tz f tmm為了便計(jì)算，可采用多項(xiàng)式 21123nnf txx tx tx t(11-35) 來(lái)表示，也可以用更一般的形式表示： 1 12212nnnf tx h tx htx htf txxx， ， ， ，在式(11-36)中， 為已知的確定性函數(shù)，如 的冪函數(shù)、正余弦函數(shù)和指數(shù)函數(shù)等。 為 個(gè)待定的未知數(shù) 。 12n

21、h ththt， ，t12nxxx， ， ，n(11-36) 把 對(duì)觀測(cè)值代入式(11-35)或(11-36)，可得 個(gè)方程式。如果 ，即方程數(shù) 少于未知參數(shù)的數(shù)目。則方程的解不確定，不是唯一地確定解出 。當(dāng) 時(shí)，方程數(shù)正好與未知參數(shù)的數(shù)目相等，能唯一地解出 。在這種情況下， 曲線一定通過(guò)每一個(gè)觀測(cè)點(diǎn) 。因?yàn)樵谟^測(cè)結(jié)果中，不可避免地含有隨機(jī)測(cè)量誤差，如果曲線通過(guò)每一個(gè)觀測(cè)點(diǎn)，則曲線將包含這些測(cè)量誤差，反而不能真實(shí)地表達(dá)出 與 之間的正確函數(shù)關(guān)系。所以不應(yīng)要求 曲線一定通過(guò)每一個(gè)觀測(cè)點(diǎn)。 mmmnm12nxxx， ， ，mn12nxxx， ， ， f t( , )(1,2,)iiz timzt

22、f t 一般，試驗(yàn)次數(shù) ，而且希望 比 大得多，即方程數(shù)大于未知參數(shù)數(shù)目這種情況只能采用數(shù)理統(tǒng)計(jì)求估值的方法。下面討論這一問(wèn)題。 mnmn 確定了函數(shù) 的類型之后，問(wèn)題就歸結(jié)為如何合理地選擇 中的參數(shù) ，使得這一函數(shù)在一定意義下比較準(zhǔn)確地反映出 與 的函數(shù)關(guān)系。通常用最小二乘法來(lái)選擇這些參數(shù)。所謂電波二乘法，就是要求所選擇的 的參數(shù)，使得觀測(cè) 與對(duì)應(yīng)的函數(shù) 的偏差的平方和為最小。設(shè) 為觀測(cè)值 與對(duì)應(yīng)函數(shù) 的偏差的平方和，即 if t f t f t12nxxx， ， ，zt f tizJiz if t 221211,mmiiiniiiJzf tzf x xx t(11-37) 按照 為最小的條

23、件來(lái)確定 中的參數(shù) ，將上式分別對(duì) 求偏導(dǎo)數(shù)，并令它們等于零，可得下列方程組： J f t12nxxx， ， ，12nxxx， ， ，12121211212112121,0,0,0nminixniiminixniiminixniizf x xx tfx xx tzf x xx tfx xx tzf x xx tfx xx t 上述方程組有 個(gè)方程， 個(gè)未知數(shù)，解之可得 的最優(yōu)估值 。 nn12nxxx， ， ，12nxxx， ， ，12nxxx， ， ，(11-38) 例11-2 觀測(cè)值 和觀測(cè)時(shí)刻 如表11-1所示。 izit2 4 5 8 9 2.01 2.98 3.50 5.02 5.4

24、7 itiz表11-1 設(shè) 。用最小二乘法確定 和 。 12f txx t1x2x解: 1251215121100 xxiiiiiiifftzxx tzxx t t，把 值分別代入上面兩個(gè)方程，經(jīng)過(guò)整理后可得 iizt，12125.63.7966.78574.3846xxxx解上述方程組，可得 的估值： 12xx和121.06160.496xx，所以 1.0160.496z tf tt實(shí)際上 與 不可能完全一致，這是由于以下幾個(gè)原因引起： iz if t 選得不夠準(zhǔn)確； ix 存在觀測(cè)誤差； 的模型方程 選得不夠確切。 z f t當(dāng)選定 之后，可得觀測(cè)值 與 之差 xiz12 ,nif xxx

25、 t， ， ，12 ,1,2,iiniezf xxx tim， ， ，(11-39) 式(11-39)可寫成 12 ,inizf xxx t， ， ，考慮到式(11-36)，上式可寫成 1 1221,2,iiinniizx h tx htx hteim(11-40) 或?qū)懗?11 112211121 12222221 122nnnnmmmnnmmzx h tx htx htezx h tx htx htezx h tx htx hte(11-41) 如果設(shè) 111222mnmzxezxezxezxe 112111222212nnmmnmh ththth ththth ththt12mhhHh(

26、11-43) (11-42) 式中， 。則式(11-41)可寫成下列矩陣形式 121,2,iiinih ththtimh， ，zHxe(11-44) 求 對(duì) 的偏導(dǎo)數(shù)，令偏導(dǎo)數(shù)等于零，可得 J x20TTTTJH zH HxxH HxH z 下面用矩陣形式不表示最小二乘的公式。殘差的平方可用下式表示： 21mTiiJee e(11-45) 從式(11-44)得 TJezHxzHxzHx(11-46) (11-47) 因而 的估值為 x1TTxH HH z為使 能求得估值 ，逆陣 必須存在。 J x1TH H(11-48) 為極小的充分條件是 J2220TJH Hx即 為正定矩陣。 TH H(1

27、1-49) 當(dāng) 時(shí)， 為 階方陣，且 存在時(shí)，則 mnHn1H1xH z在一般情況下， ，因此 要用式(11-48)來(lái)求。 mn x(11-50) 例11-3 觀測(cè)值 和觀測(cè)時(shí)刻如例11-2，試用式(11-48)求 的系數(shù) 和 。 iz z tf t1x2x解: 121 122121f txx tx h tx hth thtt，則 12121122121222124414551588189919hhhhxhhxhhhh xH，123452.012.98111112.50245895.025.47TzzzzzzH，15281.144570.16867281900.168670.0301TTH H

28、H H122.012.981.144570.16867111111.0162.500.168670.0301245890.4965.025.47xx 因此 = =1.016+0.496 z tf tt二、加權(quán)最小二乘法二、加權(quán)最小二乘法 當(dāng) 的測(cè)量精度高時(shí)， 大；反之， 小。這樣可使擬合曲線接近于測(cè)量精度高的點(diǎn)，從而保證擬合曲線有較高的準(zhǔn)確度。 iziwiw 在式(11-45)中，每個(gè)誤差值 的系數(shù)都為1，即在 中每個(gè)誤差值都是“等權(quán)”的。事實(shí)上，在 值的不同測(cè)量范圍內(nèi)，測(cè)量精度往往是不同的，因而測(cè)量誤差也不相同。合理的辦法是對(duì)不同的誤差項(xiàng) 加不同的權(quán)，即把 寫成 2ieJz2ieJ2211m

29、miiiiiiiJwew zh x(11-51) 式中 為 對(duì)稱矩陣，稱為加權(quán)矩陣。求 對(duì) 的偏導(dǎo)數(shù)，并令其等于零，可得 Wm mJ x220TTTTJH H WzH W xxH WH xH Wz則可得 1TTxH WHH Wz(11-53) 把式(11-51)寫成 TJ zHxW zHx(11-52) 為極小的充分條件為 J2220TJH WHx即 為正定矩陣。 TH WH(11-54) 由于測(cè)量 時(shí)，存在測(cè)量誤差 ，故觀測(cè)方程為 zvzHxv 和 都為 維向量。假定 ， 不一定是正態(tài)分布。 xvm 0E vTEvvRv，(11-55) 由式(11-53)得加權(quán)最小二乘法的估計(jì)誤差 11TT

30、TTxxxxH WHH WzH WHH W Hxz考慮到式(11-55)，得 1TT xH WHH Wv(11-56) 由上式可得 10TTE xH WHH W v所以，在上述條件下的加權(quán)最小二乘法估計(jì)為無(wú)偏估計(jì)。 (11-57) 可以證明， 使估計(jì)誤差的方差為最小，因而 為最優(yōu)的加權(quán)矩陣。有時(shí)，人們把式(11-59)稱為馬爾柯夫估計(jì)。 1WR1WR考慮式(11-56)，估計(jì)誤差的方差程為 11VarTTTTERWxxxxxH WHH WH H WH(11-58) 如果選取 ，則估計(jì) 和 分別為 1WR xVarx111TTxH R HH R z11VarTxH R H(11-59) (11-

31、60) 第四節(jié) 遞推最小二乘法估計(jì) 在前面所討論的最小二乘法和加權(quán)最小二乘法，需要同時(shí)用到所有的測(cè)量數(shù)據(jù)，在計(jì)算時(shí)不考慮測(cè)量數(shù)據(jù)的時(shí)間順序。當(dāng)測(cè)量數(shù)據(jù)很多時(shí)，要求計(jì)算機(jī)具有很大的存儲(chǔ)量。在實(shí)際處理過(guò)程中，測(cè)量數(shù)據(jù)往往是按時(shí)間順序逐步給出的，我們可先處理已經(jīng)得到的一批數(shù)據(jù)，得到的近似估值，來(lái)了新的數(shù)據(jù)后，再對(duì)原估值進(jìn)行修正，這樣可以減少計(jì)算機(jī)的存儲(chǔ)量。 下面先討論一維遞推最小二乘法。設(shè)觀測(cè)值 是一維的，假定已進(jìn)行了 次觀測(cè)，得到 的 個(gè)觀測(cè)值。用 和 表示相應(yīng)的向量和矩陣，即 zkzkkkzHx、kv 1111211221222212nnkkkkkknkzh ththtzh ththtzh th

32、ththhzHh，1122kknrxrxknrx vx，先用加權(quán)最小二乘法處理這一批觀測(cè)值，加權(quán)矩陣 ，一般 為對(duì)角線矩陣。 1kkWRkR21222000000kkR把觀測(cè)方程寫成矩陣形式 kkkzH xv(11-61) 則 21222100100100kkW處理k個(gè)觀測(cè)值，可得 的估值 xkx1TTkkkkkkkxH W HH W z(11-62) 設(shè) 1TkkkkPH W H(11-63) 則 TkkkkkxP H W z(11-64) 現(xiàn)在又得到了第 次觀測(cè)值 1k 1kz11 1122111kkknnkkzx h tx htx ht hx式中， 。 111211kkknkh thth

33、t h， ，(11-65) 下面通過(guò) 個(gè)觀測(cè)值，求得 的估值 ，然后進(jìn)一步推出 與 的遞推關(guān)系。 1k x1kx1kxkx將式(11-65)與式(11-61)合并，可得 111kkkzvHx(11-66) 式中 111111kkkkkkkkkvzHvzHvzh，(11-67) 由于加權(quán)矩陣 一般為對(duì)角線矩陣，所以選取 W1100kkkwWW(11-68) 的估值 x1kx11111111TTkkkkkkkxHWHHWz(11-69) 利用矩陣求逆引理（附錄二），把求 逆矩陣問(wèn)題轉(zhuǎn)變?yōu)榍箅A數(shù)低的逆矩陣。 nn11111111111100kkTTTkkkkkkkTTkkkkkkhwhhwhHWHW

34、HHH W H(11-70) 再設(shè) 1TkkkkPH W H或 1TkkkkPH W H設(shè) 11111TkkkkPHWH(11-71) 或 11111TTkkkkkkkhwhPH W H(11-72) 根據(jù)矩陣求逆引理可得 11111111TTTkkkkkkkkkkwPPP hhP hhP(11-73) 這樣，把求 矩陣的逆陣轉(zhuǎn)變?yōu)榍髽?biāo)量 的倒數(shù)，使計(jì)算在為簡(jiǎn)化，把式(11-69)寫成 nn1111TTkkkkwhP h111111111111111111111111kTTTTTkkkkkkkkkkkkkkkkTTTTkkkkkkkkkkkkkkkTTkkkkkkhhhwhhwhwzPhhhw

35、hhwxPPPPH W zzP H W zPPPH W zz111111111111111111111TTTTkkkkkkkkkkkkkkkkkTTTTkkkkkkkkkkkwwhhhwhhwxxP hzP hhP hP H W zPPPz(11-74) 注意到 11111111111111111111111111111111TTTTkkkkkkkkkkkkkkkkTTTkkkkkkkkkkkTTkkkkkkkwwwwwwwP hzP hhP hhP hzP hhP hhP hzP hhP hz將式說(shuō)明(11-75)代入式(11-74)，并考慮到式(11-74)，可得 111111111TTk

36、kkkkkkkkkkwzxxP hhP hhx該式說(shuō)明： 的新估值 是原估值 加上與新的觀測(cè)值 和 之差的線性修正項(xiàng)。 按式(11-73)遞推公式計(jì)算。 x1kxkx1kz1kz1kkhx1kP(11-75) (11-76) 在式(11-73)和式(11-76)中的 最優(yōu)值為觀測(cè)誤差 的方差，可用下式表示： 11kw1kv122111kkkwE則式(11-76)代入和式(11-73)變成 121111111TTkkkkkkkkkkkzxxP hhP hhx12111111TTkkkkkkkkkkPPP hhP hhP(11-77) (11-78) 按式(11-77)和式(11-78)進(jìn)行遞推計(jì)

37、算，必須知道 和 的初值 和 。初值 和 稱為驗(yàn)前估計(jì)。如果沒(méi)有給出 和 ，則可以先解第一批的 個(gè)方程，求 逆矩陣，這可大大減少計(jì)算工作量。 kxkP0P0 x0P0 x0 x0Pnnn可以肯定，遞推計(jì)算結(jié)果與成批處理觀測(cè)數(shù)據(jù)的結(jié)果是相同的。 下面再討論觀測(cè)值 是多維的，假定維數(shù)為 。用 表示 的每次觀測(cè)值，則 zq12zz， ，z 11121212221212kkkqqqkz tz tz tztztztztztztzzz， ，觀測(cè)誤差 也為 維，用 表示每次觀測(cè)誤差 vq12vv， ， 11121212221212kkkqqqkv tv tv tvtvtvtvtvtvtvvv， ，1122V

38、arVarVarkkvRvRvR， ，相應(yīng)的觀測(cè)矩陣為 , 則可得k個(gè)矩陣觀測(cè)方程為 12,kH HH111222kkkzH xvzH xvzH xv， ，如果把 次觀測(cè)值合在一起，可用分塊矩陣法表示觀測(cè)方程，設(shè) k111122kkkkkkzHvzHvzHvzHv，則可得 kkkkzH xv(11-79) 式中 為加權(quán)矩陣。 kW 可用下式表示 JTkkkkkkkJ zH xWzH x(11-80) 將 批數(shù)據(jù)同時(shí)處理后可得 的估值 kx1TTkkkkkkkxH W HH W z(11-81) 設(shè)加權(quán)矩陣為 111110Var0kkkkkWWWvW現(xiàn)在得到第 次觀測(cè)值為 1k 111kkkzH

39、xv(11-82) 如果參照式(11-76)和式(11-73)，可得 的估值為 x111111111TTkkkkkkkkkkkxxP HHP HWzHx(11-83) 如果取加權(quán)矩陣 1111kkkkWRWR，則 111100kkkRWR的遞推公式為 1kP11111111TTkkkkkkkkkkPPP HHP HWHP(11-84) 上面所述的遞推方法，把過(guò)去和現(xiàn)在觀測(cè)的數(shù)據(jù)同等重視。有時(shí)參數(shù) 可能隨時(shí)間 緩慢變化。在這種情況下，如果重視當(dāng)前的數(shù)據(jù)，應(yīng)采用“厚今薄古”的處理方法。這時(shí)加權(quán)矩陣 可選用下列形式： xtW這樣，式(11-83)和式(11-84)變成 11111111TTkkkkk

40、kkkkkkxxP HHP HRzHx1111111TTkkkkkkkkkkPPP HHP HRHP(11-85) (11-86) 1210000000010000001kkkkeeeeWW式中 為正數(shù)。 (11-87) 例11-4 設(shè)觀測(cè)方程為 zHxv觀測(cè)值與時(shí)間之間的關(guān)系為 1 122th thtzxx1222211101zz zH，12333211101412zzzzH，12312310101wW，3310001012001hW，試用加權(quán)最小二乘法和遞推加權(quán)最小二乘法求 的估值。 x解: 1. 用加權(quán)最小二乘法求 的估值 x113333333323143TT xxH W HH W zx2用遞推加權(quán)最小二乘法求 的估值 x11222222222211TT xxH W HH W zx122222111TPH W H113323121121111214121112112101114133 xxx