《最小二乘法的基本屬性.ppt》由會員分享，可在線閱讀，更多相關《最小二乘法的基本屬性.ppt（36頁珍藏版）》請在裝配圖網(wǎng)上搜索。
1、第二章 最小二乘法和線性回歸模型,1、 的條件分布 當解釋變量 取某固定值時（條件）， 的值不確定， 的不同取值形成一定的分布，即 的條件分布。 2、 的條件期望 對于 的每一個取值， 對 所形成的分布確 定其期望或均值，稱 為 的條件期望或條 件均值,第一節(jié) 最小二乘法的屬性 一、有關回歸的基本介紹,回歸函數(shù)：被解釋變量 的條件期望 隨解釋變量 的的變化而有規(guī)律的變化，如果把 的條件期望 表現(xiàn)為 的某種函數(shù) 這個函數(shù)稱為回歸函數(shù)。 回歸函數(shù)分為：總體回歸函數(shù)和樣本回歸函數(shù),,,1 、總體回歸函數(shù)的概念 前提：假如已知所研究的經(jīng)濟現(xiàn)象的總體被解釋變量 和解
2、釋變量 的每個觀測值, 可以計算出總體被解釋變量 的條件均值 ，并將其表現(xiàn)為解釋變量 的某種函數(shù) 這個函數(shù)稱為總體回歸函數(shù)（PRF）,二、參數(shù)的最小二乘估計 （一）基本概念,3、隨機擾動項,概念: 隨機項 是指各個 值與 條件均值 的偏差 隨機擾動項包括以下內(nèi)容 模型中沒有列出的影響因素 模型的設定誤差 變量的觀測誤差 變量內(nèi)在隨機性,,,,,,,4、樣本回歸函數(shù)（SRF）,,,,,,,,樣本回歸線： 對于 的一定值，取得 的樣本觀測值，可計算其條件均值，樣本觀測值條件均值的軌跡稱為樣本回歸線。 樣本回歸函數(shù)： 如果把被解釋變量 的樣本條件均值表示為解釋變量
3、 的某種函數(shù)，這個函數(shù)稱為樣本回歸函數(shù)（SRF）。,,,,SRF 的特點,每次抽樣都能獲得一個樣本，就可以擬合一條樣本回 歸線，所以樣本回歸線隨抽樣波動而變化，可以有許多條（SRF不唯一）。,SRF2,樣本回歸函數(shù)如果為線性函數(shù)，可表示為 其中： 是與 相對應的 的樣本條件均值 和 分別是樣本回歸函數(shù)的參數(shù) 被解釋變量 的實際觀測值 不完全等于樣本條件 均值，二者之差用 表示, 稱為剩余項或殘差項： 或者,樣本回歸函數(shù)的表現(xiàn)形式,對樣本回歸的理解,如果能夠獲得 和 的數(shù)值，顯然: 和 是對總體回歸函數(shù)參數(shù) 和 的估計 是對總體條件期望
4、 的估計 在概念上類似總體回歸函數(shù)中的 ，可 視為對 的估計。,5、 回歸分析的目的,用樣本回歸函數(shù)SRF去估計總體回歸函數(shù)PRF。 由于樣本對總體總是存在代表性誤差，SRF 總會過高或過低估計PRF。 要解決的問題： 尋求一種規(guī)則和方法，使得到的SRF的參數(shù) 和 盡可能“接近”總體回歸函數(shù)中的參數(shù) 和 。 這樣的“規(guī)則和方法”有多種，最常用的是最小二乘法,,OLS的基本思想 不同的估計方法可得到不同的樣本回歸參數(shù) 和 ，所估計的 也不同。 理想的估計方法應使 與 的差即剩余 越小越好 因 可正可負，所以可以取 最小 即,（二）方法介紹（普通最小二乘法
5、） （rdinary Least Squares ）,正規(guī)方程和估計式,用克萊姆法則求解得觀測值形式的OLS估計式：,取偏導數(shù)為0，得正規(guī)方程,為表達得更簡潔，或者用離差形式OLS估計式： 注意其中：,用離差表現(xiàn)的OLS估計式,（1）對模型和變量的假定 如 假定解釋變量 是非隨機的，或者雖然是隨機的，但與擾動 項 是不相關的,三、最小二乘估計量的性質和分布 （一）經(jīng)典現(xiàn)行回歸模型的基本假定,,又稱高斯假定、古典假定 假定1：零均值假定 在給定 的條件下 ， 的條件期望為零 假定2：同方差假定 在給定 的條件下， 的條件方差為某個常數(shù),（2）對隨機擾動項 的假定,假定3：無自相
6、關假定 隨機擾動項 的逐次值互不相關 假定4：隨機擾動 與解釋變量 不相關,,假定5：對隨機擾動項分布的正態(tài)性假定 即假定 服從均值為零、方差為 的正態(tài)分布 （說明：正態(tài)性假定不影響對參數(shù)的點估計，但對確定所估計參數(shù)的分布性質是需要的。且根據(jù)中心極限定理，當樣本容量趨于無窮大時， 的分布會趨近于正態(tài)分布。所以正態(tài)性假定是合理的）,的分布性質,由于 的分布性質決定了 的分布性質。 對 的一些假定可以等價地表示為對 的假定： 假定1：零均值假定 假定2：同方差假定 假定3：無自相關假定 假定5：正態(tài)性假定,（二）參數(shù)估計量的性質,(一)參數(shù)估計式的評價標準
7、 1. 無偏性 前提：重復抽樣中估計方法固定、樣本數(shù)不變、經(jīng) 重復抽樣的觀測值，可得一系列參數(shù)估計值 參數(shù)估計值 的分布稱為 的抽樣分布，密度函 數(shù)記為 如果 ，稱 是參數(shù) 的無偏估計式，否 則稱 是有偏的，其偏倚為 （見圖1.2）,,,,,圖 1 . 2,前提：樣本相同、用不同的方法估計參數(shù)， 可以找到若干個不同的估計式 目標：努力尋求其抽樣分布具有最小方差的 估計式 最小方差準則，或稱最佳 性準則（見圖1.3） 既是無偏的同時又具有最小方差的估計式，稱為 最佳無偏估計式。,2. 最小方差性,4. 漸近性質（大樣本性質）,思想:當樣本容量較小時，
8、有時很難找到最佳無偏估計，需要考慮樣本擴大后的性質 一致性： 當樣本容量 n 趨于無窮大時，如果估計式 依概率收斂于總體參數(shù)的真實值，就稱這個估計式 是 的一致估計式。即 或 漸近有效性：當樣本容量 n 趨于無窮大時，在所有的一致估計式中，具有最小的漸近方差。 (見圖1.4),（二）OLS估計式的統(tǒng)計性質,由OLS估計式可以看出 由可觀測的樣本值 和 唯一表示。 因存在抽樣波動，OLS估計 是隨機變量 OLS估計式是點估計式,1. 線性特征 是 的線性函數(shù),2. 無偏特性 3. 最小方差特性 在所有的線性無偏
9、估計中，OLS估計 具有最小方差 結論：在古典假定條件下,OLS估計式是最佳線性無 偏估計式（BLUE）,OLS估計式的統(tǒng)計性質高斯定理,, 期望： (無偏估計） 方差和標準差 注意：以上各式中 未知，其余均是樣本觀測值,（三）OLS估計量的方差、標準差及概率分布,,可以證明 的無偏估計為 (n-2為自由度,即可自由變化的樣本觀測值個數(shù)),對隨機擾動項方差 的估計,在 已知時,,估計量的概率分布,,（1）當樣本為大樣本時，用估計的參數(shù)標準差對 作標準化變換，所得Z 統(tǒng)計量仍可視為標準正 態(tài)變量（根據(jù)中心極限定理） （2）當樣本為小樣本時，可用 代替 ， 去估 計參數(shù)的標準誤差，用估計的參數(shù)標準誤差對 作標準化變換，所得的 t 統(tǒng)計量不再服從正態(tài)分布 （這時分母也是隨機變量），而是服從 t 分布：,當 未知時,,一般情況下, 總體方差 未知，用無偏估計 去代替 ，由于樣本容量較小，統(tǒng)計量 t 不再服從正態(tài)分布，而服從 t 分布?？捎?t 分布去建立參數(shù)估計的置信區(qū)間。,回歸系數(shù)區(qū)間估計的方法,選定，查 t 分布表得顯著性水平為 ，自 由度為 的臨界值 ，則有 即,
最小二乘法的基本屬性.ppt
