機(jī)器學(xué)習(xí)入門介紹

《機(jī)器學(xué)習(xí)入門介紹》由會(huì)員分享，可在線閱讀，更多相關(guān)《機(jī)器學(xué)習(xí)入門介紹（80頁珍藏版）》請(qǐng)?jiān)谘b配圖網(wǎng)上搜索。

1、Artificial Intelligence Principles and Applications 第 7 章 機(jī) 器 學(xué) 習(xí) (Machine Learning) 桑 克 （ R. Shank)： “ 一 臺(tái) 計(jì) 算 機(jī) 若 不 會(huì) 學(xué) 習(xí) ， 就 不 能 說 它 具有 智 能 。 ” 2 第 7章 機(jī) 器 學(xué) 習(xí)7.1 機(jī) 器 學(xué) 習(xí) 的 基 本 概 念7.2 機(jī) 械 式 學(xué) 習(xí)7.3 指 導(dǎo) 式 學(xué) 習(xí)7.4 歸 納 學(xué) 習(xí)7.5 類 比 學(xué) 習(xí)7.6 基 于 解 釋 的 學(xué) 習(xí)7.7 學(xué) 習(xí) 方 法 的 比 較 與 展 望 機(jī) 器 學(xué) 習(xí) 的 基 本 概 念 3 7.1 機(jī) 器 學(xué)

2、 習(xí) 的 基 本 概 念7.1.1 學(xué) 習(xí)7.1.2 機(jī) 器 學(xué) 習(xí)7.1.3 機(jī) 器 學(xué) 習(xí) 系 統(tǒng)7.1.4 機(jī) 器 學(xué) 習(xí) 的 發(fā) 展7.1.5 機(jī) 器 學(xué) 習(xí) 的 分 類 4 7.1.1 學(xué) 習(xí)（ 1） 學(xué) 習(xí) 是 系 統(tǒng) 改 進(jìn) 其 性 能 的 過 程 ： 西 蒙 ， 1980。（ 2） 學(xué) 習(xí) 是 獲 取 知 識(shí) 的 過 程 。（ 3） 學(xué) 習(xí) 是 技 能 的 獲 取 。（ 4） 學(xué) 習(xí) 是 事 物 規(guī) 律 的 發(fā) 現(xiàn) 過 程 。 學(xué) 習(xí) ： 一 個(gè) 有 特 定 目 的 的 知 識(shí) 獲 取 過 程 。 內(nèi) 在 行 為 ： 獲 取 知 識(shí) 、 積 累 經(jīng) 驗(yàn) 、 發(fā) 現(xiàn) 規(guī) 律 。

3、外 部 表 現(xiàn) ： 改 進(jìn) 性 能 、 適 應(yīng) 環(huán) 境 、 實(shí) 現(xiàn) 系 統(tǒng) 的 自 我 完 善 。 “學(xué) 習(xí) 是 系 統(tǒng) 中 的任 何 改 進(jìn) ， 這 種 改進(jìn) 使 得 系 統(tǒng) 在 重 復(fù)同 樣 的 工 作 或 進(jìn) 行類 似 的 工 作 時(shí) ， 能完 成 得 更 好 。 ”例 如 “ 小 孩 學(xué) 走 路 ” 、“ 學(xué) 彈 鋼 琴 ” 等 。學(xué) 習(xí) ： 從 感 性 知 識(shí) 到 理 性 知 識(shí) 的 認(rèn) 識(shí) 過 程 ， 從 表 層 知識(shí) 到 深 層 知 識(shí) 的 轉(zhuǎn) 換 過 程 。 5 7.1 機(jī) 器 學(xué) 習(xí) 的 基 本 概 念7.1.1 學(xué) 習(xí)7.1.2 機(jī) 器 學(xué) 習(xí)7.1.3 機(jī) 器 學(xué) 習(xí) 系

4、 統(tǒng)7.1.4 機(jī) 器 學(xué) 習(xí) 的 發(fā) 展7.1.5 機(jī) 器 學(xué) 習(xí) 的 分 類 6 機(jī) 器 學(xué) 習(xí) (Machine Learning)： 計(jì) 算 機(jī) 能 模 擬 人 的學(xué) 習(xí) 行 為 ， 自 動(dòng) 地 通 過 學(xué) 習(xí) 獲 取 知 識(shí) 和 技 能 ， 不 斷改 善 性 能 ， 實(shí) 現(xiàn) 自 我 完 善 。 7.1.2 機(jī) 器 學(xué) 習(xí)1） 學(xué) 習(xí) 機(jī) 理 : 對(duì) 學(xué) 習(xí) 機(jī) 制 的 研 究 ， 即 人 類 獲 取 知 識(shí) 、 技 能 和抽 象 概 念 的 天 賦 能 力 。 2） 學(xué) 習(xí) 方 法 ： 在 生 物 學(xué) 習(xí) 機(jī) 理 進(jìn) 行 簡(jiǎn) 化 的 基 礎(chǔ) 上 ， 用 計(jì) 算 的方 法 進(jìn) 行 再

5、現(xiàn) 。3） 學(xué) 習(xí) 系 統(tǒng) ： 根 據(jù) 特 定 任 務(wù) 的 要 求 ， 建 立 相 應(yīng) 的 學(xué) 習(xí) 系 統(tǒng) 。 7 7.1 機(jī) 器 學(xué) 習(xí) 的 基 本 概 念7.1.1 學(xué) 習(xí)7.1.2 機(jī) 器 學(xué) 習(xí)7.1.3 機(jī) 器 學(xué) 習(xí) 系 統(tǒng)7.1.4 機(jī) 器 學(xué) 習(xí) 的 發(fā) 展7.1.5 機(jī) 器 學(xué) 習(xí) 的 分 類 8 1. 機(jī) 器 學(xué) 習(xí) 系 統(tǒng) 的 定 義 學(xué) 習(xí) 系 統(tǒng) ： 能 夠 在 一 定 程 度 上 實(shí) 現(xiàn) 機(jī) 器 學(xué) 習(xí) 的 系 統(tǒng) 。 薩 利 斯 (Saris)的 定 義 （ 1973年 ） ： 能 夠 從 某 個(gè) 過 程 或 環(huán)境 的 未 知 特 征 中 學(xué) 到 有 關(guān) 信 息

6、， 并 且 能 把 學(xué) 到 的 信 息 用于 未 來 的 估 計(jì) 、 分 類 、 決 策 或 控 制 ， 以 便 改 進(jìn) 系 統(tǒng) 的 性能 。 施 密 斯 等 的 定 義 （ 1977年 ） ： 在 與 環(huán) 境 相 互 作 用 時(shí) ， 能利 用 過 去 與 環(huán) 境 作 用 時(shí) 得 到 的 信 息 ， 并 提 高 其 性 能 。7.1 機(jī) 器 學(xué) 習(xí) 的 基 本 概 念 7. .3 機(jī) 器 學(xué) 習(xí) 系 統(tǒng) 9 2. 機(jī) 器 學(xué) 習(xí) 系 統(tǒng) 的 條 件 和 能 力 （ 1） 具 有 適 當(dāng) 的 學(xué) 習(xí) 環(huán) 境（ 2） 具 有 一 定 的 學(xué) 習(xí) 能 力 （ 3） 能 應(yīng) 用 學(xué) 到 的 知 識(shí) 求

7、 解 問 題 （ 4） 能 提 高 系 統(tǒng) 的 性 能 7.1.3 機(jī) 器 學(xué) 習(xí) 系 統(tǒng) 10 3. 機(jī) 器 學(xué) 習(xí) 系 統(tǒng) 的 基 本 模 型7.1.3 機(jī) 器 學(xué) 習(xí) 系 統(tǒng) 執(zhí) 行 與 評(píng) 價(jià)環(huán) 境 學(xué) 習(xí) 知 識(shí) 庫學(xué) 習(xí) 系 統(tǒng) 的 基 本 結(jié) 構(gòu) 11 7.1 機(jī) 器 學(xué) 習(xí) 的 基 本 概 念7.1.1 學(xué) 習(xí)7.1.2 機(jī) 器 學(xué) 習(xí)7.1.3 機(jī) 器 學(xué) 習(xí) 系 統(tǒng)7.1.4 機(jī) 器 學(xué) 習(xí) 的 發(fā) 展7.1.5 機(jī) 器 學(xué) 習(xí) 的 分 類 12 7.1.4 機(jī) 器 學(xué) 習(xí) 的 發(fā) 展1. 神 經(jīng) 元 模 型 的 研 究 （ 20世 紀(jì) 50年 代 中 期 ） 主 要 研

8、究 工 作 ： 應(yīng) 用 決 策 理 論 的 方 法 研 制 可 適 應(yīng) 環(huán) 境 的 通 用學(xué) 習(xí) 系 統(tǒng) （ general purpose learning system） 。 1957年 ， 羅 森 勃 拉 特 （ F. Rosenblatt） 提 出 感 知 器 模 型 。 塞 繆 爾 （ Samuel） 的 跳 棋 程 序 ： 分 析 了 約 175000副 不 同 棋 局后 ， 歸 納 出 了 棋 類 書 上 推 薦 的 走 法 ， 準(zhǔn) 確 率 達(dá) 到 48 。 1969 年 ， 明 斯 基 和 佩 珀 特 （ Papert ） 發(fā) 表 了 論 著 Perceptron ， 對(duì) 神

9、經(jīng) 元 模 型 的 研 究 作 出 了 悲 觀 的 論 斷 。 13 7.1.4 機(jī) 器 學(xué) 習(xí) 的 發(fā) 展2. 符 號(hào) 學(xué) 習(xí) 的 研 究 （ 20世 紀(jì) 70年 代 中 期 ）符 號(hào) 概 念 獲 取 的 學(xué) 習(xí) 方 法 （ 1970年 ） ： 模 擬 人 類 的 概念 學(xué) 習(xí) 過 程 ， 通 過 分 析 一 些 概 念 的 正 例 和 反 例 構(gòu) 造 出這 些 概 念 的 符 號(hào) 表 示 。莫 斯 托 夫 （ D. J. Mostow） 的 指 導(dǎo) 式 學(xué) 習(xí) 。溫 斯 頓 （ Winston） 和 卡 鮑 尼 爾 （ J. G. Carbonell） 的類 比 學(xué) 習(xí) 。米 切 爾 （

10、T. M. Mitchell） 等 人 的 解 釋 學(xué) 習(xí) 。 14 7.1.4 機(jī) 器 學(xué) 習(xí) 的 發(fā) 展3. 連 接 學(xué) 習(xí) 的 研 究 （ 20世 紀(jì) 80年 代 ） 連 接 學(xué) 習(xí) ： 一 種 以 非 線 性 大 規(guī) 模 并 行 處 理 為 主 流 的 神經(jīng) 網(wǎng) 絡(luò) 研 究 。 1980年 ， 在 卡 內(nèi) 基 梅 隆 大 學(xué) 召 開 了 第 一 屆 機(jī) 器 學(xué) 習(xí)國(guó) 際 研 討 會(huì) 。 1986年 ， 創(chuàng) 刊 了 第 一 本 機(jī) 器 學(xué) 習(xí) 雜 志 Machine Learning 。 15 7.1 機(jī) 器 學(xué) 習(xí) 的 基 本 概 念7.1.1 學(xué) 習(xí)7.1.2 機(jī) 器 學(xué) 習(xí)7.1.

11、3 機(jī) 器 學(xué) 習(xí) 系 統(tǒng)7.1.4 機(jī) 器 學(xué) 習(xí) 的 發(fā) 展7.1.5 機(jī) 器 學(xué) 習(xí) 的 分 類 16 7.1.5 機(jī) 器 學(xué) 習(xí) 的 分 類 1. 按 學(xué) 習(xí) 方 法 分 類 （ 溫 斯 頓 ， 1977 ） ： 機(jī) 械 式 學(xué) 習(xí) 、 指 導(dǎo) 式 學(xué) 習(xí) 、 示 例 學(xué) 習(xí) 、 類 比 學(xué) 習(xí) 、 解 釋 學(xué) 習(xí) 等 。2. 按 學(xué) 習(xí) 能 力 分 類 ： 監(jiān) 督 學(xué) 習(xí) （ 有 教 師 學(xué) 習(xí) ） 17 7.1.5 機(jī) 器 學(xué) 習(xí) 的 分 類 2. 按 學(xué) 習(xí) 能 力 分 類 ： 再 勵(lì) 學(xué) 習(xí) （ 強(qiáng) 化 學(xué) 習(xí) 或 增 強(qiáng) 學(xué) 習(xí) ） 18 7.1.5 機(jī) 器 學(xué) 習(xí) 的 分

12、類 2. 按 學(xué) 習(xí) 能 力 分 類 ： 非 監(jiān) 督 學(xué) 習(xí) （ 無 教 師 學(xué) 習(xí) ）3. 按 推 理 方 式 分 類 ： n 基 于 演 繹 的 學(xué) 習(xí) （ 解 釋 學(xué) 習(xí) ） 。n 基 于 歸 納 的 學(xué) 習(xí) （ 示 例 學(xué) 習(xí) 、 發(fā) 現(xiàn) 學(xué) 習(xí) 等 ） 。4. 按 綜 合 屬 性 分 類 ：n 歸 納 學(xué) 習(xí) 、 分 析 學(xué) 習(xí) 、 連 接 學(xué) 習(xí) 、 遺 傳 式 學(xué) 習(xí) 等 。 19 第 7章 機(jī) 器 學(xué) 習(xí)7.1 機(jī) 器 學(xué) 習(xí) 的 基 本 概 念7.2 機(jī) 械 式 學(xué) 習(xí)7.3 指 導(dǎo) 式 學(xué) 習(xí)7.4 歸 納 學(xué) 習(xí)7.5 類 比 學(xué) 習(xí)7.6 基 于 解 釋 的 學(xué) 習(xí)7.

13、7 學(xué) 習(xí) 方 法 的 比 較 與 展 望 20 7.2 機(jī) 械 式 學(xué) 習(xí) 機(jī) 械 式 學(xué) 習(xí) （ rote learning） 又 稱 記 憶 學(xué) 習(xí) ， 或 死記 式 學(xué) 習(xí) ： 通 過 直 接 記 憶 或 者 存 儲(chǔ) 外 部 環(huán) 境 所 提 供的 信 息 達(dá) 到 學(xué) 習(xí) 的 目 的 ， 并 在 以 后 通 過 對(duì) 知 識(shí) 庫 的檢 索 得 到 相 應(yīng) 的 知 識(shí) 直 接 用 來 求 解 問 題 。 機(jī) 械 式 學(xué) 習(xí) 實(shí) 質(zhì) 是 用 存 儲(chǔ) 空 間 來 換 取 處 理 時(shí) 間 。 21 7.2 機(jī) 械 式 學(xué) 習(xí) l在 給 定 搜 索 深 度 下 用 估 價(jià) 函數(shù) 對(duì) 格 局 進(jìn) 行

14、評(píng) 分 ， 通 過 倒推 計(jì) 算 求 出 上 層 節(jié) 點(diǎn) 的 倒 推值 ， 決 定 當(dāng) 前 的 最 佳 走 步 。l 下 次 遇 到 相 同 情 況 ， 直 接 利用 倒 推 值 決 定 最 佳 走 步 ， 不需 重 新 計(jì) 算 。塞 繆 爾 的 跳 棋 程 序 CHECKERS 以 A 為 結(jié) 點(diǎn) 的 博 弈 樹QA6 A博 弈 搜 索 樹2 B 6 C2 4 8 6 91 2 3 4 3 8 6 5 6 4 9 6 22 第 7章 機(jī) 器 學(xué) 習(xí)7.1 機(jī) 器 學(xué) 習(xí) 的 基 本 概 念7.2 機(jī) 械 式 學(xué) 習(xí)7.3 指 導(dǎo) 式 學(xué) 習(xí)7.4 歸 納 學(xué) 習(xí)7.5 類 比 學(xué) 習(xí)7.6

15、基 于 解 釋 的 學(xué) 習(xí)7.7 學(xué) 習(xí) 方 法 的 比 較 與 展 望 23 7.3 指 導(dǎo) 式 學(xué) 習(xí) 指 導(dǎo) 式 學(xué) 習(xí) （ learning by being told） 又 稱 囑 咐 式學(xué) 習(xí) 或 教 授 式 學(xué) 習(xí) ： 由 外 部 環(huán) 境 向 系 統(tǒng) 提 供 一 般 性的 指 示 或 建 議 ， 系 統(tǒng) 把 它 們 具 體 地 轉(zhuǎn) 化 為 細(xì) 節(jié) 知 識(shí)并 送 入 知 識(shí) 庫 中 。 在 學(xué) 習(xí) 過 程 中 要 反 復(fù) 對(duì) 形 成 的 知識(shí) 進(jìn) 行 評(píng) 價(jià) ， 使 其 不 斷 完 善 。 指 導(dǎo) 式 學(xué) 習(xí) 的 學(xué) 習(xí) 過 程 ： 征 詢 指 導(dǎo) 者 的 指 示 或 建議 、 把

16、 征 詢 意 見 轉(zhuǎn) 換 為 可 執(zhí) 行 的 內(nèi) 部 形 式 、 加 入 知識(shí) 庫 、 評(píng) 價(jià) 。 24 7.3 指 導(dǎo) 式 學(xué) 習(xí) 簡(jiǎn) 單 征 詢 ： 指 導(dǎo) 者 給 出 一 般 性 的 意 見 ， 系 統(tǒng) 將 其 具 體 化 。 復(fù) 雜 征 詢 ： 系 統(tǒng) 不 僅 要 求 指 導(dǎo) 者 給 出 一 般 性 的 建 議 ， 而且 還 要 具 體 地 鑒 別 知 識(shí) 庫 中 可 能 存 在 的 問 題 ， 并 給 出 修 改意 見 。 被 動(dòng) 征 詢 ： 系 統(tǒng) 只 是 被 動(dòng) 地 等 待 指 導(dǎo) 者 提 供 意 見 。 主 動(dòng) 征 詢 ： 系 統(tǒng) 不 只 是 被 動(dòng) 地 接 受 指 示 ， 而

17、 且 還 能 主 動(dòng)地 提 出 詢 問 ， 把 指 導(dǎo) 者 的 注 意 力 集 中 在 特 定 的 問 題 上 。 1. 征 詢 指 導(dǎo) 者 的 指 示 或 建 議 25 7.3 指 導(dǎo) 式 學(xué) 習(xí) 學(xué) 習(xí) 系 統(tǒng) 應(yīng) 具 有 把 用 約 定 形 式 表 示 的 征 詢 意 見 轉(zhuǎn) 化 為 計(jì) 算 機(jī)內(nèi) 部 可 執(zhí) 行 形 式 的 能 力 ， 并 且 能 在 轉(zhuǎn) 化 過 程 中 進(jìn) 行 語 法 檢 查 及適 當(dāng) 的 語 義 分 析 。 2. 把 征 詢 意 見 轉(zhuǎn) 換 為 可 執(zhí) 行 的 內(nèi) 部 形 式 在 加 入 過 程 中 要 對(duì) 知 識(shí) 進(jìn) 行 一 致 性 檢 查 ， 以 防 止 出 現(xiàn)

18、 矛 盾 、冗 余 、 環(huán) 路 等 問 題 。 3. 加 入 知 識(shí) 庫 評(píng) 價(jià) 方 法 ： 對(duì) 新 知 識(shí) 進(jìn) 行 經(jīng) 驗(yàn) 測(cè) 試 ， 即 執(zhí) 行 一 些 標(biāo) 準(zhǔn) 例 子 ， 然 后 檢 查 執(zhí) 行 情 況 是 否 與 已 知 情 況 一 致 。 4. 評(píng) 價(jià) 26 第 7章 機(jī) 器 學(xué) 習(xí)7.1 機(jī) 器 學(xué) 習(xí) 的 基 本 概 念7.2 機(jī) 械 式 學(xué) 習(xí)7.3 指 導(dǎo) 式 學(xué) 習(xí)7.4 歸 納 學(xué) 習(xí)7.5 類 比 學(xué) 習(xí)7.6 基 于 解 釋 的 學(xué) 習(xí)7.7 學(xué) 習(xí) 方 法 的 比 較 與 展 望 27 7.4 歸 納 學(xué) 習(xí)7.4.1 歸 納 推 理7.4.2 示 例 學(xué) 習(xí)7.4

19、.3 觀 察 與 發(fā) 現(xiàn) 學(xué) 習(xí) 28 7.4.1 歸 納 推 理歸 納 推 理 ： 應(yīng) 用 歸 納 方 法 所 進(jìn) 行 的 推 理 ， 即 從 足 夠多 的 事 例 中 歸 納 出 一 般 性 的 知 識(shí) 。它 是 一 種 從 個(gè) 別 到 一 般 、 從 部 分 到 整 體 的 推 理 。歸 納 推 理 的 重 要 特 征 ： 歸 納 出 的 結(jié) 論 不 能 絕 對(duì) 保 證它 的 正 確 性 ， 只 能 以 某 種 程 度 相 信 它 為 真 。 例 如 ， 由 “ 麻 雀 會(huì) 飛 ” 、 “ 鴿 子 會(huì) 飛 ” 、 “ 燕 子 會(huì)飛 ” 歸 納 出 “ 有 翅 膀 的 動(dòng) 物 會(huì) 飛 ”

20、、 “ 長(zhǎng) 羽 毛 的 動(dòng) 物 會(huì) 飛 ” 等 結(jié)論 。 29 從 個(gè) 別 事 例 歸 納 出 一 般 性 知 識(shí) 的 方 法 ： 設(shè) ： 某 類 事 物 A中 的 具 體 事 物 。 已 知 都 有 屬 性 P， 并 且 沒 有 發(fā) 現(xiàn) 反 例 。 當(dāng) n 足 夠 大 時(shí) ， 可 得 出 ： “ A中 所 有 事 物 都 有 屬 性 P” 。 7.4.1 歸 納 推 理n21 aaa ， 1. 枚 舉 歸 納 n21 aaa ， 30 例 如 ， 設(shè) 有 如 下 已 知 事 例 ： 張 三 是 足 球 運(yùn) 動(dòng) 員 ， 他 的 體 格 健 壯 。 李 四 是 足 球 運(yùn) 動(dòng) 員 ， 他 的 體

21、 格 健 壯 。 劉 六 是 足 球 運(yùn) 動(dòng) 員 ， 他 的 體 格 健 壯 。 事 例 足 夠 多 時(shí) ， 可 歸 納 出 一 般 性 知 識(shí) ： 凡 是 足 球 運(yùn) 動(dòng) 員 ， 他 的 體 格 一 定 健 壯 。7.4.1 歸 納 推 理1. 枚 舉 歸 納 (0.9) 31 已 知 兩 個(gè) 事 物 a與 b有 n個(gè) 屬 性 相 似 或 相 同 ， 即 ：a具 有 屬 性 P1， b也 具 有 屬 性 P1。 a具 有 屬 性 P2， b也 具 有 屬 性 P2。 a具 有 屬 性 Pn， b也 具 有 屬 性 Pn。 且 a具 有 屬 性 Pn+1 ， 則 當(dāng) n足 夠 大 時(shí) ， 可

22、歸 納 出 b也 具 有 屬 性 P n+1。 7.4.1 歸 納 推 理2. 聯(lián) 想 歸 納 32 設(shè) ： 且 則 當(dāng) A與 B中 有 新 元 素 出 現(xiàn) 時(shí) （ 設(shè) A 中 的 a及 B中 的 b ） ，若 已 知 a 有 屬 性 ， 就 可 得 出 b 有 屬 性 ， 即 7.4.1 歸 納 推 理 3. 類 比 歸 納 1 2, , ,A a a , 21 bbB 1,2,.i iP a Q b i bQaP 33 一 般 模 式 ：（ 1） 若 H 為 真 時(shí) ， 則 H E必 為 真 或 以 置 信 度 cf1成 立 。（ 2） 觀 察 到 E 成 立 或 以 置 信 度 cf2成

23、 立 。（ 3） 則 H 以 某 種 置 信 度 ( cf ) 成 立 。7.4.1 歸 納 推 理4. 逆 推 理 歸 納 ： 由 結(jié) 論 成 立 推 出 前 提 以 某 種 置 信 度 成 立 。 用 公 式 表 示 ： EH 1cfE 2cfH cf 34 則 H的 置 信 度 ：7.4.1 歸 納 推 理4. 逆 推 理 歸 納 （ 續(xù) ） EP HPcfEP HPHEPEHPfc 11 21 cffccf EH的 置 信 度 cf1 = P(H/E)HE的 置 信 度 cf1= P(E/H)EH 1cfE 2cfH cf HE 1cfE 2cfH cf 35 7.4.1 歸 納 推

24、理5. 消 除 歸 納 消 除 歸 納 ： 通 過 不 斷 否 定 原 先 的 假 設(shè) 來 得 出 結(jié) 論 。 已 知 ： 結(jié) 論 ： 1 21 1 1 i ni in i A A A AAAAA A 36 7.4.1 歸 納 推 理演 繹 推 理 歸 納 推 理 一 般 個(gè) 別 個(gè) 別 一 般 必 然 性 推 理 或 然 性 推 理 （ “ 主 觀 不 充分 置 信 ” 的 推 理 ） 結(jié) 論 不 會(huì) 超 出 前 提 所 斷定 的 范 圍 ； 不 能 獲 取 新 知 識(shí) 。 結(jié) 論 適 用 于 更 大 的 范 圍 ； 可 獲 取 新 知 識(shí) 。 演 繹 推 理 與 歸 納 推 理 的 區(qū) 別

25、 37 7.4 歸 納 學(xué) 習(xí)7.4.1 歸 納 推 理7.4.2 示 例 學(xué) 習(xí)7.4.3 觀 察 與 發(fā) 現(xiàn) 學(xué) 習(xí) 38 7.4.2 示 例 學(xué) 習(xí) 示 例 學(xué) 習(xí) （ learning from examples， 實(shí) 例 學(xué) 習(xí) 或 從 例 子中 學(xué) 習(xí) ） ： 通 過 從 環(huán) 境 中 取 得 若 干 與 某 概 念 有 關(guān) 的 例 子 ，經(jīng) 歸 納 得 出 一 般 性 概 念 的 一 種 學(xué) 習(xí) 方 法 。 示 例 學(xué) 習(xí) 中 ， 外 部 環(huán) 境 （ 教 師 ） 提 供 一 組 例 子 （ 正 例 和反 例 ） ， 然 后 從 這 些 特 殊 知 識(shí) 中 歸 納 出 適 用 于 更

26、 大 范 圍 的一 般 性 知 識(shí) ， 它 將 覆 蓋 所 有 的 正 例 并 排 除 所 有 反 例 。 39 7.4.2 示 例 學(xué) 習(xí)1. 示 例 學(xué) 習(xí) 的 學(xué) 習(xí) 模 型 示 例 空 間 驗(yàn) 證搜 索 解 釋 形 成 知 識(shí) 知 識(shí) 庫 圖 7.7 示 例 學(xué) 習(xí) 的 學(xué) 習(xí) 模 型 40 7.4.2 示 例 學(xué) 習(xí) 2. 形 成 知 識(shí) 的 方 法（ 1） 變 量 代 換 常 量 例 如 ， 假 設(shè) 有 兩 個(gè) 關(guān) 于 撲 克 牌 “ 同 花 ” 概 念 的 示 例 。示 例 1：示 例 2： 1 2 3 41 2 3 4, , ,c c c cc c c c 花 色 （ ， 梅

27、花 ） 花 色 （ ， 梅 花 ） 花 色 （ ， 梅 花 ） 花 色 （ ， 梅 花 ）同 花 （ ）1 2 3 41 2 3 4, , ,c x c x c x c xc c c c 花 色 （ ， ） 花 色 （ ， ） 花 色 （ ， ） 花 色 （ ， ）同 花 （ ） 可 得 到 一 條 一 般 性 的 知 識(shí) ：規(guī) 則 1： 1 2 3 41 2 3 4, , ,c c c cc c c c 花 色 （ ， 紅 桃 ） 花 色 （ ， 紅 桃 ） 花 色 （ ， 紅 桃 ） 花 色 （ ， 紅 桃 ）同 花 （ ） 41 7.4.2 示 例 學(xué) 習(xí) 2. 形 成 知 識(shí) 的 方

28、法（ 2） 舍 棄 條 件 例 如 示 例 ： 1 2 3 41 2 3 4, , ,c x c x c x c xc c c c 花 色 （ ， ） 花 色 （ ， ） 花 色 （ ， ） 花 色 （ ， ）同 花 （ ） 可 得 到 一 條 一 般 性 的 知 識(shí) ：規(guī) 則 1： 花 色 ( c1,黑 桃 ) 點(diǎn) 數(shù) （ c1, 7） 花 色 ( c2,黑 桃 ) 點(diǎn) 數(shù) （ c2, 3） 花 色 ( c3,黑 桃 ) 點(diǎn) 數(shù) （ c3, 10） 花 色 ( c4,黑 桃 ) 點(diǎn) 數(shù) （ c4, 5） 同 花 ( c1, c2, c3, c4) 42 7.4.2 示 例 學(xué) 習(xí) 2. 形

29、成 知 識(shí) 的 方 法（ 3） 增 加 操 作 前 件 析 取 法 例 如 關(guān) 于 “ 臉 牌 ” 示 例 ： 1 11 11 1c J cc Q cc K c示 例 1： 點(diǎn) 數(shù) （ ， ） 臉 （ ）示 例 2： 點(diǎn) 數(shù) （ ， ） 臉 （ ）示 例 3： 點(diǎn) 數(shù) （ ， ） 臉 （ ） 1 2 3 1c J c Q c K c 規(guī) 則 2： 點(diǎn) 數(shù) （ ， ） 點(diǎn) 數(shù) （ ， ） 點(diǎn) 數(shù) （ ， ） 臉 （ ）得 到 知 識(shí) ： 43 7.4.2 示 例 學(xué) 習(xí) 2. 形 成 知 識(shí) 的 方 法（ 3） 增 加 操 作 內(nèi) 部 析 取 法 ： 在 示 例 的 表 示 中 使 用 集 合

30、與 集 合 間 的 成 員關(guān) 系 來 形 成 知 識(shí) 。 例 如 示 例 ： 1 11 11 1 c J cc Q cc K c 示 例 1： 點(diǎn) 數(shù) （ ） 臉 （ ）示 例 2： 點(diǎn) 數(shù) （ ） 臉 （ ）示 例 3： 點(diǎn) 數(shù) （ ） 臉 （ ）1 1 c J Q K c 點(diǎn) 數(shù) （ ） ， ， 臉 （ ）得 到 知 識(shí) ： 44 7.4.2 示 例 學(xué) 習(xí) 2. 形 成 知 識(shí) 的 方 法（ 4） 合 取 變 析 取 例 如 ： “ 男 同 學(xué) 與 女 同 學(xué) 可 以 組 成 一 個(gè) 班 ” 。 歸 納 ： “ 男 同 學(xué) 或 女 同 學(xué) 可 以 組 成 一 個(gè) 班 ” 。 （ 5） 歸

31、 結(jié) 歸 納 例 如 ： 得 到 ： 1 1P E HP E H 1 2E E H l 示 例 1： 某 天 下 雨 ， 且 自 行 車 在 路 上 出 了 毛病 需 修 理 ， 所 以 他 上 班 遲 到 。l 示 例 2： 某 天 沒 下 雨 ， 但 交 通 阻 塞 ， 所 以 他上 班 遲 到 。l 得 到 ： 如 果 自 行 車 在 路 上 出 了 毛 病 需 修 理 ，或 者 交 通 阻 塞 ， 則 他 有 可 能 上 班 遲 到 。 45 7.4.2 示 例 學(xué) 習(xí) 2. 形 成 知 識(shí) 的 方 法（ 6） 曲 線 擬 合 設(shè) 在 示 例 空 間 提 供 了 一 批 如 下 形 式

32、 的 示 例 ： (x, y, z) 示 例 1： (1, 0, 10) 示 例 2： (2, 1, 18) 示 例 3： (-1, -2, -6)應(yīng) 用 曲 線 擬 合 法 （ 例 如 最 小 二 乘 法 ） 得 到 ： z=2x+6 y+8 46 7.4 歸 納 學(xué) 習(xí)7.4.1 歸 納 推 理7.4.2 示 例 學(xué) 習(xí)7.4.3 觀 察 與 發(fā) 現(xiàn) 學(xué) 習(xí) 47 7.4.3 觀 察 與 發(fā) 現(xiàn) 學(xué) 習(xí)觀 察 與 發(fā) 現(xiàn) 學(xué) 習(xí) （ learning from observing and discovery） : 觀 察 學(xué) 習(xí) ： 用 于 對(duì) 事 例 進(jìn) 行 概 念 聚 類 ， 形 成

33、概念 描 述 。 發(fā) 現(xiàn) 學(xué) 習(xí) ： 用 于 發(fā) 現(xiàn) 規(guī) 律 ， 產(chǎn) 生 定 律 或 規(guī) 則 。 48 7.4.3 觀 察 與 發(fā) 現(xiàn) 學(xué) 習(xí)1. 概 念 聚 類 (1980年 ,米 卡 爾 斯 基 （ R. S. Michalski) 基 本 思 想 : 把 事 例 按 一 定 的 方 式 和 準(zhǔn) 則 進(jìn) 行 分 組 ， 如 劃分 為 不 同 的 類 ， 不 同 的 層 次 等 ， 使 不 同 的 組 代 表 不 同 的 概念 ， 并 且 對(duì) 每 一 個(gè) 組 進(jìn) 行 特 征 概 括 ， 得 到 一 個(gè) 概 念 的 語 義符 號(hào) 描 述 。 49 7.4.3 觀 察 與 發(fā) 現(xiàn) 學(xué) 習(xí) 1.

34、概 念 聚 類 例 如 事 例 ： 喜 鵲 、 麻 雀 、 布 谷 鳥 、 烏 鴉 、 雞 、 鴨 、 鵝 ， 分 為 兩 類 ： 鳥 = 喜 鵲 ， 麻 雀 ， 布 谷 鳥 ， 烏 鴉 ， 家 禽 = 雞 、 鴨 、 鵝 ， 得 知 ： “ 鳥 有 羽 毛 、 有 翅 膀 、 會(huì) 飛 、 會(huì) 叫 、 野 生 ” 。 “ 家 禽 有 羽 毛 、 有 翅 膀 、 會(huì) 飛 、 會(huì) 叫 、 家 養(yǎng) ” 。 50 7.4.3 觀 察 與 發(fā) 現(xiàn) 學(xué) 習(xí) 2. 發(fā) 現(xiàn) 學(xué) 習(xí) 發(fā) 現(xiàn) 學(xué) 習(xí) : 從 系 統(tǒng) 的 初 始 知 識(shí) 、 觀 察 事 例 或 經(jīng) 驗(yàn) 數(shù) 據(jù) 中歸 納 出 規(guī) 律 或 規(guī) 則 。

35、 無 教 師 指 導(dǎo) 的 歸 納 學(xué) 習(xí) 經(jīng) 驗(yàn) 發(fā) 現(xiàn) : 從 經(jīng) 驗(yàn) 數(shù) 據(jù) 中 發(fā) 現(xiàn) 規(guī) 律 和 定 律 。 知 識(shí) 發(fā) 現(xiàn) : 指 從 已 觀 察 的 事 例 中 發(fā) 現(xiàn) 新 的 知 識(shí) 。 51 第 7章 機(jī) 器 學(xué) 習(xí)7.1 機(jī) 器 學(xué) 習(xí) 的 基 本 概 念7.2 機(jī) 械 式 學(xué) 習(xí)7.3 指 導(dǎo) 式 學(xué) 習(xí)7.4 歸 納 學(xué) 習(xí)7.5 類 比 學(xué) 習(xí)7.6 基 于 解 釋 的 學(xué) 習(xí)7.7 學(xué) 習(xí) 方 法 的 比 較 與 展 望 52 7.5 類 比 學(xué) 習(xí)7.5.1 類 比 推 理7.5.2 屬 性 類 比 學(xué) 習(xí)7.5.3 轉(zhuǎn) 換 類 比 學(xué) 習(xí) 類 比 學(xué) 習(xí) (lea

36、rning by analogy)：通 過 對(duì) 相 似 事 物 進(jìn) 行 比 較 所 進(jìn) 行 的一 種 學(xué) 習(xí) 。 53 7.5.1 類 比 推 理 類 比 推 理 ： 由 新 情 況 與 記 憶 中 的 已 知 情 況 在 某 些方 面 相 似 ， 從 而 推 出 它 們 在 其 他 相 關(guān) 方 面 也 相 似 。 源 域 S： 已 經(jīng) 認(rèn) 識(shí) 的 域 ， 包 括 過 去 曾 經(jīng) 解 決 過 且 與當(dāng) 前 問 題 類 似 的 問 題 以 及 相 關(guān) 知 識(shí) ；目 標(biāo) 域 T： 當(dāng) 前 尚 未 完 全 認(rèn) 識(shí) 的 域 ， 是 遇 到 的 新 問題 。 類 比 推 理 的 目 的 ： 從 源 域

37、S中 選 出 與 當(dāng) 前 問 題 最 近似 的 問 題 及 其 求 解 方 法 來 求 解 當(dāng) 前 的 問 題 ， 或 者 建立 起 目 標(biāo) 域 T中 已 有 命 題 間 的 聯(lián) 系 ， 形 成 新 知 識(shí) 。 54 7.5.1 類 比 推 理 類 比 推 理 的 推 理 過 程 ： 1） 回 憶 與 聯(lián) 想 ： 在 S中 找 出 與 當(dāng) 前 情 況 相 似 的 情 況 ， 并 按相 似 度 從 高 到 低 進(jìn) 行 排 序 。 2） 選 擇 ： 選 出 與 當(dāng) 前 情 況 最 相 似 的 情 況 及 其 有 關(guān) 知 識(shí) 。 3） 建 立 對(duì) 應(yīng) 關(guān) 系 ： 在 S與 T的 相 似 情 況 之

38、間 建 立 相 應(yīng) 的 映射 。 4） 轉(zhuǎn) 換 ： 把 S中 的 有 關(guān) 知 識(shí) 引 到 T中 ， 建 立 起 求 解 當(dāng) 前 問 題 的 方 法 或 者 學(xué) 習(xí) 到 關(guān) 于 T的 新 知 識(shí) 。 設(shè) S1與 T1分 別 表 示 S與 T 中 的 某 一 情 況 ， 且 S1與 T1相 似 ，再 假 設(shè) S2與 S1相 關(guān) ， 則 由 類 比 推 理 可 推 出 T 中 的 T2 ， 且 T2與 S2相 似 。 55 7.5 類 比 學(xué) 習(xí)7.5.1 類 比 推 理7.5.2 屬 性 類 比 學(xué) 習(xí)7.5.3 轉(zhuǎn) 換 類 比 學(xué) 習(xí) 56 7.5.2 屬 性 類 比 學(xué) 習(xí) 屬 性 類 比 學(xué)

39、 習(xí) : 根 據(jù) 兩 個(gè) 相 似 事 物 的 屬 性 實(shí) 現(xiàn) 類 比學(xué) 習(xí) 的 。 屬 性 類 比 學(xué) 習(xí) 系 統(tǒng) （ 1979年 ， 溫 斯 頓 ） ： 源 域 和 目 標(biāo) 域 都 是 用 框 架 表 示 的 ， 分 別 稱 為 源 框 架和 目 標(biāo) 框 架 。 框 架 的 槽 用 于 表 示 事 物 的 屬 性 。 學(xué) 習(xí) 過 程 : 把 源 框 架 中 的 某 些 槽 值 傳 遞 到 目 標(biāo) 框 架的 相 應(yīng) 槽 中 去 。 57 7.5.2 屬 性 類 比 學(xué) 習(xí)候 選 槽 ： 其 槽 值 有 可 能 要 傳 遞 給 目 標(biāo) 框 架 的 那 些 槽 。選 擇 的 方 法 ：（ 1） 選

40、 擇 具 有 極 端 槽 值 的 槽 ， 例 如 “ 很 大 ” 、 “ 很小 ” （ 2） 選 擇 已 經(jīng) 被 確 認(rèn) 為 “ 重 要 槽 ” 的 槽（ 3） 選 擇 與 源 框 架 相 似 的 框 架 中 不 具 有 的 槽（ 4） 選 擇 相 似 框 架 中 不 具 有 這 種 槽 值 的 槽（ 5） 選 擇 源 框 架 中 的 所 有 槽 1. 從 源 框 架 中 選 擇 若 干 槽 作 為 候 選 槽 58 7.5.2 屬 性 類 比 學(xué) 習(xí)篩 選 規(guī) 則 ：（ 1） 選 擇 在 目 標(biāo) 框 架 中 還 未 填 值 的 槽 。 （ 2） 選 擇 在 目 標(biāo) 框 架 中 為 典 型 事

41、 例 的 槽 。 （ 3） 選 擇 與 目 標(biāo) 框 架 有 緊 密 關(guān) 系 的 槽 ， 或 者 與 目 標(biāo) 框 架 的 槽 類 似 的 槽 。 2. 根 據(jù) 目 標(biāo) 框 架 對(duì) 候 選 槽 進(jìn) 行 篩 選 59 7.5 類 比 學(xué) 習(xí)7.5.1 類 比 推 理7.5.2 屬 性 類 比 學(xué) 習(xí)7.5.3 轉(zhuǎn) 換 類 比 學(xué) 習(xí) 60 7.5.3 轉(zhuǎn) 換 類 比 學(xué) 習(xí) 在 狀 態(tài) 空 間 表 示 法 的 知 識(shí) 表 示 中 ， “ 狀 態(tài) ” ： 描 述問 題 在 不 同 時(shí) 刻 的 狀 況 ； “ 算 符 ” ： 描 述 改 變 狀 態(tài) 的 操作 。 當(dāng) 問 題 由 初 始 狀 態(tài) 變 換

42、到 目 標(biāo) 狀 態(tài) 時(shí) ， 所 用 算 符 的 序列 就 構(gòu) 成 了 問 題 的 一 個(gè) 解 。 如 何 使 問 題 由 初 始 狀 態(tài) 變 換 到 目 標(biāo) 狀 態(tài) 呢 ？ “ 手 段 目 標(biāo) 分 析 ” 法 （ means-end analysis，MEA） ， 又 稱 為 “ 中 間 結(jié) 局 分 析 ” 法 ： 紐 厄 爾 等 人 在通 用 問 題 求 解 程 序 GPS（ general problem solver） 中 提出 的 一 種 問 題 求 解 模 型 。 61 7.5.3 轉(zhuǎn) 換 類 比 學(xué) 習(xí) “手 段 目 標(biāo) 分 析 ” 法 （ MEA） 求 解 問 題 的 基 本 過

43、 程 ：（ 1） 把 問 題 的 當(dāng) 前 狀 態(tài) 與 目 標(biāo) 狀 態(tài) 進(jìn) 行 比 較 ， 找 出 差 異 。（ 2） 根 據(jù) 差 異 找 出 一 個(gè) 可 減 小 差 異 的 算 符 。（ 3） 如 果 該 算 符 可 作 用 于 當(dāng) 前 狀 態(tài) ， 則 用 該 算 符 把 當(dāng) 前 狀 態(tài)改 變 為 另 一 個(gè) 更 接 近 于 目 標(biāo) 狀 態(tài) 的 狀 態(tài) ； 如 果 不 能 ， 則 保 留 當(dāng)前 狀 態(tài) ， 并 生 成 一 個(gè) 子 問 題 ， 再 對(duì) 此 子 問 題 應(yīng) 用 MEA。（ 4） 當(dāng) 子 問 題 被 求 解 后 ， 恢 復(fù) 保 留 的 狀 態(tài) ， 繼 續(xù) 處 理 原 問 題 。 62

44、 7.5.3 轉(zhuǎn) 換 類 比 學(xué) 習(xí) 回 憶 過 程 ： 找 出 新 、 舊 問 題 間 的 差 別 ， 包 括 ：（ 1） 初 始 狀 態(tài) 的 差 別 。（ 2） 目 標(biāo) 狀 態(tài) 的 差 別 。（ 3） 路 徑 約 束 的 差 別 。（ 4） 求 解 方 法 可 應(yīng) 用 度 的 差 別 。 轉(zhuǎn) 換 過 程 ： 把 舊 問 題 的 求 解 方 法 經(jīng) 適 當(dāng) 變 換 使 之 成 為 求 解 新問 題 的 方 法 ， 變 換 中 用 MEA來 減 小 目 標(biāo) 狀 態(tài) 與 初 始 狀 態(tài) 之 間 的差 異 ， 使 初 始 狀 態(tài) 逐 步 過 渡 到 目 標(biāo) 狀 態(tài) ， 即 求 出 問 題 的 解

45、。 轉(zhuǎn) 換 類 比 學(xué) 習(xí) ： 由 外 部 環(huán) 境 獲 得 與 類 比 有 關(guān) 的 信 息 ， 學(xué) 習(xí) 系統(tǒng) 找 出 與 新 問 題 相 似 的 舊 問 題 的 有 關(guān) 知 識(shí) ， 把 這 些 知 識(shí) 進(jìn) 行 轉(zhuǎn)換 使 之 適 用 于 新 問 題 ， 從 而 獲 得 新 的 知 識(shí) 。 63 第 7章 機(jī) 器 學(xué) 習(xí)7.1 機(jī) 器 學(xué) 習(xí) 的 基 本 概 念7.2 機(jī) 械 式 學(xué) 習(xí)7.3 指 導(dǎo) 式 學(xué) 習(xí)7.4 歸 納 學(xué) 習(xí)7.5 類 比 學(xué) 習(xí)7.6 基 于 解 釋 的 學(xué) 習(xí)7.7 學(xué) 習(xí) 方 法 的 比 較 與 展 望 64 7.6 解 釋 學(xué) 習(xí) 解 釋 學(xué) 習(xí) （ explan

46、ation-based learning） ： 由 美 國(guó)Illinois大 學(xué) 的 Dejong于 1983年 提 出 ， 屬 于 分 析 學(xué) 習(xí) ，本 質(zhì) 為 演 繹 學(xué) 習(xí) 方 法 。 它 是 通 過 運(yùn) 用 相 關(guān) 的 領(lǐng) 域 知 識(shí) ， 對(duì) 當(dāng) 前 提 供 的 單個(gè) 實(shí) 例 的 問 題 求 解 進(jìn) 行 分 析 ， 從 而 構(gòu) 造 解 釋 并 產(chǎn) 生 相應(yīng) 知 識(shí) 的 。 解 釋 學(xué) 習(xí) 系 統(tǒng) ：米 切 爾 （ Mitchell） 等 人 研 制 的 LEX和 LEAP系 統(tǒng) ，明 頓 （ S. Minton） 等 人 研 制 的 PRODIGY系 統(tǒng) 等 。 65 7.6 解 釋

47、學(xué) 習(xí)7.6.1 解 釋 學(xué) 習(xí) 的 概 念7.6.2 解 釋 學(xué) 習(xí) 的 學(xué) 習(xí) 過 程7.6.3 領(lǐng) 域 知 識(shí) 的 完 善 性 66 7.6.1 解 釋 學(xué) 習(xí) 的 概 念 解 釋 學(xué) 習(xí) ： 通 過 運(yùn) 用 相 關(guān) 的 領(lǐng) 域 知 識(shí) 及 一 個(gè) 訓(xùn) 練 實(shí) 例 來對(duì) 某 一 目 標(biāo) 概 念 進(jìn) 行 學(xué) 習(xí) ， 并 最 終 生 成 這 個(gè) 目 標(biāo) 概 念 的一 般 性 描 述 。 解 釋 學(xué) 習(xí) 的 一 般 性 描 述 （ 米 切 爾 （ Mitchell） 等 ，1986） ： 給 定 ： 領(lǐng) 域 知 識(shí) DT（ 用 于 證 明 訓(xùn) 練 實(shí) 例 為 什 么 可 作 為 目 標(biāo) 概 念

48、的 實(shí) 例 ） 目 標(biāo) 概 念 TC（ 要 學(xué) 習(xí) 的 概 念 ） 訓(xùn) 練 實(shí) 例 TE 操 作 性 準(zhǔn) 則 OC （ 指 導(dǎo) 系 統(tǒng) 對(duì) 描 述 目 標(biāo) 的 概 念 進(jìn) 行 取 舍 ） 找 出 ： 滿 足 OC的 關(guān) 于 TC的 充 分 條 件 。 67 7.6.1 解 釋 學(xué) 習(xí) 的 概 念 解 釋 學(xué) 習(xí) 與 示 例 學(xué) 習(xí) 的 主 要 區(qū) 別 ：（ 1） 示 例 學(xué) 習(xí) ： 輸 入 一 組 實(shí) 例 。 解 釋 學(xué) 習(xí) ： 輸 入 一 個(gè) 實(shí) 例 。（ 2） 示 例 學(xué) 習(xí) ： 歸 納 學(xué) 習(xí) ， 不 要 求 提 供 領(lǐng) 域 知 識(shí) 。 解 釋 學(xué) 習(xí) ： 演 繹 學(xué) 習(xí) ， 要 求 提

49、 供 完 善 的 領(lǐng) 域 知 識(shí) 。（ 3） 示 例 學(xué) 習(xí) ： 概 念 的 獲 取 ， 即 知 識(shí) 增 加 的 一 面 。 解 釋 學(xué) 習(xí) ： 技 能 提 高 的 一 面 。 68 7.6.2 解 釋 學(xué) 習(xí) 的 學(xué) 習(xí) 過 程 證 明 過 程 ： 通 過 運(yùn) 用 領(lǐng) 域 知 識(shí) 進(jìn) 行 演 繹 實(shí) 現(xiàn) 的 ， 證 明的 結(jié) 果 是 得 到 一 個(gè) 解 釋 結(jié) 構(gòu) 。 1. 構(gòu) 造 解 釋 解 釋 學(xué) 習(xí) 的 學(xué) 習(xí) 過 程 ： 首 先 運(yùn) 用 領(lǐng) 域 知 識(shí) 找 出 訓(xùn) 練 實(shí)例 為 什 么 是 目 標(biāo) 概 念 的 證 明 ， 即 解 釋 ， 然 后 按 操 作 性 準(zhǔn)則 對(duì) 解 釋 進(jìn)

50、行 推 廣 ， 從 而 得 出 關(guān) 于 目 標(biāo) 概 念 的 學(xué) 習(xí) 描 述 。 例 如 ， 學(xué) 習(xí) 目 標(biāo) ： “ 一 個(gè) 物 體 x可 以 安 全 地 放 置 在 另 一 個(gè) 物 體y的 上 面 ” （ 堆 疊 問 題 ） 。 目 標(biāo) 概 念 ： 物 體 （ x, y)， Safe-to-stack(x, y) 69 7.6.2 解 釋 學(xué) 習(xí) 的 學(xué) 習(xí) 過 程 訓(xùn) 練 實(shí) 例 （ 描 述 物 體 Obj1和 Obj2的 事 實(shí) ） ：領(lǐng) 域 知 識(shí) （ 安 全 放 置 準(zhǔn) 則 和 計(jì) 算 準(zhǔn) 則 ） ： ),( 21 ObjObjStackToSafe 1 2 1 21 21 1( ,

51、), ( , ),( , ), ( , ),( ,1) ( ,0.1).On Obj Obj Lighter Obj ObjIsa Obj book AI Isa Obj table bookVolume Obj Density Obj ),()( yxStackToSafeyFragile ),(),( yxStackToSafeyxLighter ),(),(),(),( wpWeightwdvdpDensityvpVolume )15,(),( pWeightbooktablepIsa ),(),(),(),( 21212211 ppLighterwwSmallerwpWeightwpW

52、eight 例 如 ， 學(xué) 習(xí) 目 標(biāo) ： “ 一 個(gè) 物 體 x可 以 安 全 地 放 置 在 另 一 個(gè) 物 體y的 上 面 ” （ 堆 疊 問 題 ） 。 目 標(biāo) 概 念 ： 物 體 （ x, y)， Safe-to-stack(x, y) 70 7.6.2 解 釋 學(xué) 習(xí) 的 學(xué) 習(xí) 過 程 1 21 212 1 1 ( , ),( , ),( , ),( , ),( ,1),( ,0.1).On Obj ObjLighter Obj ObjIsa Obj book AIIsa Obj table bookVolume ObjDensity Obj 1. 構(gòu) 造 解 釋 ),( 21

53、ObjObjStackToSafe ),( 21 ObjObjLighter)1.0,( 1ObjWeight )15,( 2ObjWeight )15,1.0(Smaller),( 2 booktableObjIsa )1,( 1ObjVolume )1.0,( 1ObjDensity )1.0,1.0,1(*Safe -To-Stack ( Obj 1, Obj2) 的 解 釋 結(jié) 構(gòu)),(),( yxStackToSafeyxLighter ),(),(),(),( wpWeightwdvdpDensityvpVolume )15,(),( pWeightbooktablepIsa ),

54、(),(),(),( 21212211 ppLighterwwSmallerwpWeightwpWeight ),()( yxStackToSafeyFragile 71 7.6.2 解 釋 學(xué) 習(xí) 的 學(xué) 習(xí) 過 程 任 務(wù) ： 對(duì) 上 一 步 得 到 的 解 釋 結(jié) 構(gòu) 進(jìn) 行 一 般 化 處 理 ， 從而 得 到 關(guān) 于 目 標(biāo) 概 念 的 一 般 性 知 識(shí) 。 處 理 的 方 法 : 把 常 量 變 換 為 變 量 ， 并 把 某 些 不 重 要 的信 息 去 掉 ， 只 保 留 那 些 對(duì) 以 后 求 解 問 題 所 必 須 的 關(guān) 鍵 性信 息 。 2. 獲 取 一 般 性 的

55、知 識(shí) 72 7.6.2 解 釋 學(xué) 習(xí) 的 學(xué) 習(xí) 過 程 2. 獲 取 一 般 性 的 知 識(shí) ),( 21 OOStackToSafe ),( 21 OOLighter),( 11 wOWeight )15,( 2OWeight )15,( 1wSmaller),( 2 booktableOIsa ),( 11 vOVolume ),( 11 dODensity ),(* 111 wdvSafe -To -Stack ( O 1 , O2 ) 一 般 化 解 釋 結(jié) 構(gòu) 73 7.6.3 領(lǐng) 域 知 識(shí) 的 完 善 性 兩 種 極 端 情 況 ：（ 1） 構(gòu) 造 不 出 解 釋 原 因

56、： 系 統(tǒng) 中 缺 少 某 些 相 關(guān) 的 領(lǐng) 域 知 識(shí) ， 或 者 領(lǐng) 域 知 識(shí)中 包 含 了 矛 盾 等 錯(cuò) 誤 。 （ 2） 構(gòu) 造 出 了 多 種 解 釋 原 因 ： 領(lǐng) 域 知 識(shí) 不 健 全 ， 已 有 的 知 識(shí) 不 足 以 把 不 同 的 解釋 區(qū) 分 開 來 。 74 第 7章 機(jī) 器 學(xué) 習(xí)7.1 機(jī) 器 學(xué) 習(xí) 的 基 本 概 念7.2 機(jī) 械 式 學(xué) 習(xí)7.3 指 導(dǎo) 式 學(xué) 習(xí)7.4 歸 納 學(xué) 習(xí)7.5 類 比 學(xué) 習(xí)7.6 基 于 解 釋 的 學(xué) 習(xí)7.7 學(xué) 習(xí) 方 法 的 比 較 與 展 望 75 7.7 機(jī) 器 學(xué) 習(xí) 方 法 的 比 較 與 展 望7.

57、7.1 各 種 機(jī) 器 學(xué) 習(xí) 方 法 的 比 較7.7.2 機(jī) 器 學(xué) 習(xí) 的 展 望 76 7.7.1 各 種 機(jī) 器 學(xué) 習(xí) 方 法 的 比 較 以 推 理 能 力 排 列 機(jī) 械 式 學(xué) 習(xí) ， 指 導(dǎo) 式 學(xué) 習(xí) ， 解 釋 學(xué) 習(xí) ， 類 比 學(xué) 習(xí) ， 示 例 學(xué) 習(xí) ， 觀 察 與 發(fā) 現(xiàn) 學(xué) 習(xí) 。 適 用 領(lǐng) 域 連 接 學(xué) 習(xí) ： 模 擬 人 類 較 低 級(jí) 的 神 經(jīng) 活 動(dòng) 。 符 號(hào) 學(xué) 習(xí) ： 模 擬 人 類 的 高 級(jí) 思 維 活 動(dòng) 。 對(duì) 領(lǐng) 域 理 論 的 要 求 示 例 學(xué) 習(xí) 、 觀 察 與 發(fā) 現(xiàn) 學(xué) 習(xí) ： 領(lǐng) 域 理 論 要 求 較 少 。 解

58、釋 學(xué) 習(xí) ： 要 求 提 供 完 善 的 領(lǐng) 域 知 識(shí) 。 77 7.7.1 各 種 機(jī) 器 學(xué) 習(xí) 方 法 的 比 較 知 識(shí) 獲 取 角 度 ： 示 例 學(xué) 習(xí) 、 觀 察 與 發(fā) 現(xiàn) 學(xué) 習(xí) ： 通 過 學(xué) 習(xí) 可 以 產(chǎn) 生 新 概 念 描 述 ， 可 用 于 專 家 系 統(tǒng) 的 知 識(shí) 獲 取 。 解 釋 學(xué) 習(xí) : 學(xué) 習(xí) 目 標(biāo) 主 要 是 改 善 系 統(tǒng) 的 效 率 ， 而 不 擴(kuò) 充 概 念 描 述 的 范 圍 。 指 導(dǎo) 式 學(xué) 習(xí) : 通 過 與 指 導(dǎo) 者 （ 如 領(lǐng) 域 專 家 ） 的 交 互 學(xué) 習(xí) 新 知 識(shí) ， 同 時(shí) 又 可 幫 助 指 導(dǎo) 追 蹤 推 理

59、 過 程 ， 發(fā) 現(xiàn) 其 中 的 錯(cuò) 誤 ， 找 出 產(chǎn) 生 錯(cuò) 誤 的 原 因 ， 然 后 由 指 導(dǎo) 者 進(jìn) 行 修 正 。 78 7.7 機(jī) 器 學(xué) 習(xí) 方 法 的 比 較 與 展 望7.7.1 各 種 機(jī) 器 學(xué) 習(xí) 方 法 的 比 較7.7.2 機(jī) 器 學(xué) 習(xí) 的 展 望 79 7.7.2 機(jī) 器 學(xué) 習(xí) 的 展 望（ 1） 人 類 學(xué) 習(xí) 機(jī) 制 的 研 究 。（ 2） 發(fā) 展 和 完 善 現(xiàn) 有 的 學(xué) 習(xí) 方 法 ， 并 開 展 新 的 學(xué) 習(xí) 方 法 的 研 究 。（ 3） 建 立 實(shí) 用 的 學(xué) 習(xí) 系 統(tǒng) ， 特 別 是 多 種 學(xué) 習(xí) 方 法 協(xié) 同 工 作 的 集 成 化 系 統(tǒng) 的 研 究 。（ 4） 機(jī) 器 學(xué) 習(xí) 的 結(jié) 構(gòu) 模 型 、 計(jì) 算 理 論 、 算 法 和 混 合 學(xué) 習(xí) 的 有 關(guān) 理 論 及 應(yīng) 用 的 研 究 。 80THE END Artificial Intelligence Principles and Applications