中國科學院大學2012年《機器學習》試卷及其答案

《中國科學院大學2012年《機器學習》試卷及其答案》由會員分享，可在線閱讀，更多相關(guān)《中國科學院大學2012年《機器學習》試卷及其答案（5頁珍藏版）》請在裝配圖網(wǎng)上搜索。

1、中國科學院大學 20139310班 中國科學院大學2012年《機器學習》試卷及其答案 任課教師：卿來云 一、基礎(chǔ)題(共36分) 1、 請描述極大似然估計 MLE和最大后驗估計 MAP之間的區(qū)別。請解釋為什么 MLE比MAP 更容易過擬合。(10分) MLE :取似然函數(shù)最大時的參數(shù)值為該參數(shù)的估計值， ymie=argmax[p(x|y)] ； MAP :取后驗 函數(shù)(似然與先驗之積)最大時的參數(shù)值為該參數(shù)的估計值， ymap=argmax[p(x|y)p(y)]。因為 MLE只考慮訓(xùn)練數(shù)據(jù)擬合程度沒有考慮先驗知識，把錯誤點也加入模型中，導(dǎo)致過擬合。 2、 在年度百花獎評獎

2、揭曉之前， 一位教授問80個電影系的學生，誰將分別獲得8個獎項(如 最佳導(dǎo)演、最佳男女主角等)。評獎結(jié)果揭曉后，該教授計算每個學生的猜中率，同時也計 算了所有80個學生投票的結(jié)果。他發(fā)現(xiàn)所有人投票結(jié)果幾乎比任何一個學生的結(jié)果正確率 都高。這種提高是偶然的嗎？請解釋原因。( 10分) 設(shè)x為第i個學生的猜中率(要么 0要么1) x~Ber( 0 ),E(x)= 0 ,V(x)= 0 (1- 0 ) mean(x)~N( 0 , 0 (1- 0 )/N),E(mean(x))= 0 ,V(mean(x))= 0 (1- 0 )/N

3、隨機變量，y為待預(yù)測的二值變量。 A c y 0 1 0 4 ] 4 1 a 0 9 9 g I 1 1 1 t J 1 0 0 1 i a 6 1 ⑻ 對一個新的輸入 A=0, B=0, C=1 ,樸素貝葉斯分類器將會怎樣預(yù)測 y?( 10分) y~Ber( 0 ) p(y=0)=3/7,p(y=1)=4/7 p(y=0|A=0B=0C=1) x p(y=0)*p(A=0|y=0)*p(B=0|y=0)*p(C=1|y=0)=3/7*2/3*1/3*1/3=2/63 p(y=1|A=0B=0C=1) x p(y=

4、1)*p(A=0|y=1)*p(B=0|y=1)*p(C=1|y=1)=4/7*1/4*2/4*2/4=1/28 ,因此 屬于y=1類 (b)假設(shè)你知道在給定類別的情況下 A、B、C是獨立的隨機變量，那么其他分類器(如Logstic 回歸、SVM分類器等)會比樸素貝葉斯分類器表現(xiàn)更好嗎？為什么？(注意：與上面給的 數(shù)據(jù)集沒有關(guān)系。)(6分) 不會。因為已知獨立同分布的前提下 NBC只用3個參數(shù)，不用NBC貝U需要23-1=7個參數(shù)。 若不獨立，則其他基于數(shù)據(jù)本身的判別式分類器效果較好。 二、回歸問題。(共 24分) 現(xiàn)有N個訓(xùn)練樣本的數(shù)據(jù)集 D={(xi,yi)}，其中xi,yi

5、為實數(shù)。 1. 我們首先用線性回歸擬合數(shù)據(jù)。 為了測試我們的線性回歸模型， 我們隨機選擇一些樣本 作為訓(xùn)練樣本，剩余樣本作為測試樣本?，F(xiàn)在我們慢慢增加訓(xùn)練樣本的數(shù)目， 那么隨著訓(xùn)練 樣本數(shù)目的增加，平均訓(xùn)練誤差和平均測試誤差將會如何變化？為什么？( 6分) 平均訓(xùn)練誤差：A、增加 B、減小 平均測試誤差：A、增加 B、減小 因為當訓(xùn)練樣本增多時，模型參數(shù)發(fā)生改變以擬合新增的樣本， 因而使得模型原先的擬合程 度下降，平均訓(xùn)練誤差增加；而訓(xùn)練樣本增多，模型越接近真實的分布，因而使得平均測試 誤差減小。 2. 給定如下圖(a)所示數(shù)據(jù)。粗略看來這些數(shù)據(jù)不適合用線性回歸模型表示。因此我們

6、采 用如下模型斗?岡卜即7 其中八耳QJ)。假設(shè)我們采用極大似然估計 w，請給出log 似然函數(shù)并給出 w的估計。(8分) 4 - A f 嚴八.... V *7 ￥4 k ij| nd g p(yi|w,xi)~N(exp(wxi),1) L(w)=logp(y|w,x)=-0.5* 工(yi-exp(wx)) 令 g(w)=工[(yi-exp(wxi))*exp(wxi)*xi]=0 求得 w 3. 給定如下圖(b)所示的數(shù)據(jù)。從圖中我們可以看出該數(shù)據(jù)集有一些噪聲，請設(shè)計一個對 噪聲魯棒的線性回歸模型，并簡要分析該模型為什么能對噪聲魯棒。( 10分) 如圖離群點較多

7、(heavy tail)，使用魯棒線性回歸模型： y=wTx+ & ~Laplace(vifx,b) 因為當 y 服從拉式分布時 L( 0 )=logp(D|X,w,b)=工 logLap(yi|Txi,b)=-N*log(2b)- 才剛血，其 損失為殘差絕對值和，對離群點不敏感； 而當y服從正態(tài)分布時， L( 0 )=logp(D|X,w,b)= 工 logN(yi|w>-(N/2)*log(2 2)-冕(yi-Jxi)2/2 % 其損失為殘差平方和， 放大了誤差，對離群點敏感。因此使用 Laplace(或Student)線性回歸模型能對噪聲魯棒。 三、SVM分類。(第1~5題各

8、4分，第6題5分，共25分) 下圖為采用不同核函數(shù)或不同的松弛因子得到的 SVM決策邊界。但粗心的實驗者忘記記錄 每個圖形對應(yīng)的模型和參數(shù)了。請你幫忙給下面每個模型標出正確的圖形。 Ihf-eix * A 1 ■ * ■ ■ ? A ■ '■ 1 ■ >■ i '■ -i * *、、 ■■ ? 墓沖上旦巧?cip -|i-r| |* 答：1.c 2.b 3.d 4.a 5.e 6、考慮帶松弛因子的線性 SVM分類器: it-7.也〉；Wf 兇 Yr WJ" F面有一些關(guān)于某些變量隨參數(shù) C的增

9、大而變化的表述。如果表述總是成立，標示 如果表述總是不成立，標示 否”；如果表述的正確性取決于 C增大的具體情況，標示 是”； 不一 （1） w0不會增大（不一定） ⑵||w||增大（不一定） （3） ||w||不會減小 （是） （4） 會有更多的訓(xùn)練樣本被分錯 （否） ⑸間隔（Margin）不會增大（是） 四、一個初學機器學習的朋友對房價進行預(yù)測。 他在一個N=1000個房價數(shù)據(jù)的數(shù)據(jù)集上匹 配了一個有533個參數(shù)的模型，該模型能解釋數(shù)據(jù)集上 99%的變化。 1、請問該模型能很好地預(yù)測來年的房價嗎？簡單解釋原因。( 5分) 2、如果上述模型不能很好預(yù)測新的房價， 請你設(shè)計一個合適的模型，給出模型的參數(shù)估計, 并解釋你的模型為什么是合理的。( 10分) 答：1?不能。因為模型參數(shù)過多太復(fù)雜，訓(xùn)練集上擬合太好，把錯誤點也考慮進來，因此發(fā) 生了過擬合，預(yù)測誤差較大。 2.對之進行 L1正則，即Lasso回歸。y~N(wTx,知w~Lap(0,t) L( 0 )=C-工(yl-w) 2/2 2-工 |wi|/b NLL=RSS+入 ||w|| 通過調(diào)節(jié)L1正則系數(shù)入大小避免模型過擬合，而且估計w參數(shù)的同時進行了特征選擇, 得系數(shù)w盡可能多的為0,簡化了模型。 第5頁共4頁