[03]爬蟲(chóng)項(xiàng)目【項(xiàng)目開(kāi)發(fā)計(jì)劃】

《[03]爬蟲(chóng)項(xiàng)目【項(xiàng)目開(kāi)發(fā)計(jì)劃】》由會(huì)員分享，可在線閱讀，更多相關(guān)《[03]爬蟲(chóng)項(xiàng)目【項(xiàng)目開(kāi)發(fā)計(jì)劃】（11頁(yè)珍藏版）》請(qǐng)?jiān)谘b配圖網(wǎng)上搜索。

1、分布式互聯(lián)網(wǎng)爬蟲(chóng)及其在垂直領(lǐng) 域的使用——項(xiàng)目開(kāi)發(fā)計(jì)劃 1引言1 1.1編寫(xiě)目的1 1.2 背景1 1.3定義1 1.4參考資料2 2項(xiàng)目概述3 2.1工作內(nèi)容3 2.2主要參加人員3 3.3產(chǎn)品3 2.3.1程序3 2.3.2文件4 2.3.3服務(wù)4 2.3.4非移交的產(chǎn)品4 2.4驗(yàn)收標(biāo)準(zhǔn)6 2.5完成項(xiàng)目的最遲期限6 2.6本計(jì)劃的審查者與批準(zhǔn)者6 3實(shí)施總計(jì)劃7 3.1工作任務(wù)的分解和接口人員7 3.2進(jìn)度7 3.3預(yù)算9 3.4關(guān)鍵問(wèn)題9 4支持條件10 4.1 計(jì)算機(jī)系統(tǒng)支持10 4.2 需由用戶承擔(dān)的工作11 4.3 由外單位提

2、供的條件11 5專題計(jì)劃要點(diǎn)11 5.1 開(kāi)發(fā)人員培訓(xùn)計(jì)劃11 5.2 測(cè)試計(jì)劃11 5.3 質(zhì)量保證計(jì)劃11 1 開(kāi)發(fā)計(jì)劃 項(xiàng)目開(kāi)發(fā)計(jì)劃 1引言 1.1編寫(xiě)目的 編寫(xiě)此計(jì)劃的目的是為了合理安排組織成員，有效利用時(shí)間，以確保項(xiàng)目進(jìn)度，預(yù)見(jiàn)項(xiàng)目風(fēng)險(xiǎn)等活動(dòng)。使項(xiàng)目嚴(yán)格按照學(xué)院及老師要求開(kāi)發(fā)流程進(jìn)行，遵循正規(guī)的順序開(kāi)展。同時(shí)，項(xiàng)目開(kāi)發(fā)成員通過(guò)此計(jì)劃書(shū)明確項(xiàng)目目標(biāo)和各自職責(zé)。它說(shuō)明相關(guān)爬蟲(chóng)項(xiàng)目的開(kāi)發(fā)方法，是一種計(jì)劃，以指導(dǎo)工作之用。 1.2背景 大數(shù)據(jù)時(shí)代，互聯(lián)網(wǎng)數(shù)據(jù)被認(rèn)為規(guī)模最大、結(jié)果最復(fù)雜、潛在價(jià)值最高的源數(shù)據(jù)。開(kāi)發(fā)一款具有較高數(shù)據(jù)質(zhì)量、對(duì)新數(shù)據(jù)探測(cè)周期短、可靈活擴(kuò)

3、展的分布式互聯(lián)網(wǎng)爬蟲(chóng)。項(xiàng)目相關(guān)人員在助教及老師指導(dǎo)下，在203機(jī)房開(kāi)發(fā)。 1.3定義 MVC全名是ModelViewController是模型(model)—視圖(view)—控制器(controller)的縮寫(xiě)，一種軟件設(shè)計(jì)典范，用一種業(yè)務(wù)邏輯、數(shù)據(jù)、界面顯示分離的方法組織代碼，將業(yè)務(wù)邏輯聚集到一個(gè)部件里面，在改進(jìn)和個(gè)性化定制界面及用戶交互的同時(shí)，不需要重新編寫(xiě)業(yè)務(wù)邏輯。MVC被獨(dú)特的發(fā)展起來(lái)用于映射傳統(tǒng)的輸入、處理和輸出功能在一個(gè)邏輯的圖形化用戶界面的結(jié)構(gòu)中。 Eclipse是一個(gè)開(kāi)放源代碼的、基于Java的可擴(kuò)展開(kāi)發(fā)平臺(tái)。就其本身而言，它只是一個(gè)框架和一組服務(wù),用于通過(guò)插件組件構(gòu)建

4、開(kāi)發(fā)環(huán)境。幸運(yùn)的是,Eclipse附帶了一個(gè)標(biāo)準(zhǔn)的插件集，包括Java開(kāi)發(fā)工(JavaDevelopmentKit，JDK)。 MySQL是一個(gè)關(guān)系型數(shù)據(jù)庫(kù)管理系統(tǒng)，由瑞典MySQLAB公司開(kāi)發(fā)，目前屬于Oracle旗下產(chǎn)品oMySQL是最流行的關(guān)系型數(shù)據(jù)庫(kù)管理系統(tǒng)之一，在WEB應(yīng)用方面，MySQL是最好的RDBMS(RelationalDatabaseManagementSystem，關(guān)系數(shù)據(jù)庫(kù)管理系統(tǒng))應(yīng)用軟件。 Tomcat是Apache軟件基金會(huì)(ApacheSoftwareFoundation)的Jakarta項(xiàng)目中的一個(gè)核心項(xiàng)目，由Apache、Sun和其他一些公司及個(gè)人共同開(kāi)

5、發(fā)而成。 1.4參考資料 相關(guān)文檔及網(wǎng)絡(luò)資源 2項(xiàng)目概述 2.1工作內(nèi)容 數(shù)據(jù)采集模板配置工程 數(shù)據(jù)采集工程 媒體傳播分析工程 用戶可視化界面 2.2主要參加人員 2.3產(chǎn)品 2.3.1 程序 軟件名稱：分布式互聯(lián)網(wǎng)爬蟲(chóng)及其在垂直領(lǐng)域的使用 編程語(yǔ)言：Java 功能：軟件操作簡(jiǎn)便、快捷，數(shù)據(jù)采集部分可以通過(guò)簡(jiǎn)單、易懂的方式配置新網(wǎng)站數(shù)據(jù)的采集。數(shù)據(jù)分析模塊通過(guò)基關(guān)鍵詞過(guò)濾以及統(tǒng)計(jì)學(xué)思想計(jì)算媒體傳播排名及趨勢(shì)。界面設(shè)計(jì)風(fēng)格采用Web形式，用戶界面簡(jiǎn)單明了，符合業(yè)務(wù)辦理流程，具有人性化特點(diǎn)。軟件設(shè)計(jì)結(jié)構(gòu)模塊化、程序結(jié)構(gòu)化、數(shù)據(jù)格式標(biāo)準(zhǔn)化、代碼統(tǒng)一化，各種文檔資料規(guī)范化。

6、 2.3.2 文件 ＞用戶操作手冊(cè)：本手冊(cè)詳細(xì)描述軟件的功能、性能和用戶界 面，使用戶對(duì)如何使用該軟件得到具體的了解,為操作人員提 供該軟件各種運(yùn)行情況的有關(guān)知識(shí)，特別是操作方法的具體細(xì)節(jié)。 ＞軟件維護(hù)手冊(cè)：主要包括軟件系統(tǒng)說(shuō)明、程序模塊說(shuō)明、操作 環(huán)境、支持軟件的說(shuō)明、維護(hù)過(guò)程的說(shuō)明，便于軟件的維護(hù)。 2.3.3服務(wù) 計(jì)劃提供以下服務(wù)： 課堂培訓(xùn)：以講課形式對(duì)客戶進(jìn)行培訓(xùn)，使其能夠正確使用件。 免費(fèi)咨詢：客戶可以在工作時(shí)間向技術(shù)人員提出問(wèn)題并獲得解答。技術(shù)支持：對(duì)于某些客戶，采取上門指導(dǎo)的方式。軟件維護(hù)：獲取軟件使用中的問(wèn)題，提供補(bǔ)丁程序。 升級(jí)通知：在軟件新版本發(fā)布的

7、時(shí)候，及時(shí)通知（Email或郵寄信件）注冊(cè)的用戶，并提供試用版本。 軟件升級(jí)：對(duì)于注冊(cè)用戶，只需較少的費(fèi)用即可升級(jí)到新的版本。 2.3.4非移交的產(chǎn)品 可行性分析報(bào)告：說(shuō)明該軟件開(kāi)發(fā)項(xiàng)目的實(shí)現(xiàn)在技術(shù)上、經(jīng)濟(jì)上和社會(huì)因素上的可行性，評(píng)述為了合理地達(dá)到開(kāi)發(fā)目標(biāo)可供選擇的各種可能實(shí)施方案，說(shuō)明并論證所選定實(shí)施方案的理由。 項(xiàng)目開(kāi)發(fā)計(jì)劃：為軟件項(xiàng)目實(shí)施方案制訂出具體計(jì)劃，應(yīng)該包括各部分工作的負(fù)責(zé)人員、開(kāi)發(fā)的進(jìn)度、開(kāi)發(fā)經(jīng)費(fèi)的預(yù)算、所需的硬件及軟件資源等。 軟件需求說(shuō)明書(shū)（軟件規(guī)格說(shuō)明書(shū)）對(duì)所開(kāi)發(fā)軟件的功能、性能、用戶界面及運(yùn)行環(huán)境等做出詳細(xì)的說(shuō)明。它是在用戶與開(kāi)發(fā)人員雙方對(duì)軟件需求取得共同理解

8、并達(dá)成協(xié)議的條件下編寫(xiě)的，也是實(shí)施開(kāi)發(fā)工作的基礎(chǔ)。該說(shuō)明書(shū)應(yīng)給出數(shù)據(jù)邏輯和數(shù)據(jù)采集的各項(xiàng)要求，為生成和維護(hù)系統(tǒng)數(shù)據(jù)文件做好準(zhǔn)備。 概要設(shè)計(jì)說(shuō)明書(shū)：該說(shuō)明書(shū)是概要實(shí)際階段的工作成果，它應(yīng)說(shuō)明功能分配、模塊劃分、程序的總體結(jié)構(gòu)、輸入輸出以及接口設(shè)計(jì)、運(yùn) 3 開(kāi)發(fā)計(jì)劃 行設(shè)計(jì)、數(shù)據(jù)結(jié)構(gòu)設(shè)計(jì)和出錯(cuò)處理設(shè)計(jì)等，為詳細(xì)設(shè)計(jì)提供基礎(chǔ)。 詳細(xì)設(shè)計(jì)說(shuō)明書(shū)：著重描述每一模塊是怎樣實(shí)現(xiàn)的，包括實(shí)現(xiàn)算法、邏輯流程等。 測(cè)試計(jì)劃：為做好集成測(cè)試和驗(yàn)收測(cè)試，需為如何組織測(cè)試制訂實(shí)施計(jì)劃。計(jì)劃應(yīng)包括測(cè)試的內(nèi)容、進(jìn)度、條件、人員、測(cè)試用例的選取原則、測(cè)試結(jié)果允許的偏差范圍等。 測(cè)試分析報(bào)告：測(cè)試工作完成

9、以后，應(yīng)提交測(cè)試計(jì)劃執(zhí)行情況的說(shuō)明，對(duì)測(cè)試結(jié)果加以分析，并提出測(cè)試的結(jié)論意見(jiàn)。 開(kāi)發(fā)進(jìn)度月報(bào)：該月報(bào)系軟件人員按月向管理部門提交的項(xiàng)目進(jìn)展情況報(bào)告，報(bào)告應(yīng)包括進(jìn)度計(jì)劃與實(shí)際執(zhí)行情況的比較、階段成果、遇到的問(wèn)題和解決的辦法以及下個(gè)月的打算等。 項(xiàng)目開(kāi)發(fā)總結(jié)報(bào)告：軟件項(xiàng)目開(kāi)發(fā)完成以后，應(yīng)與項(xiàng)目實(shí)施計(jì)劃對(duì)照，總結(jié)實(shí)際執(zhí)行的情況，如進(jìn)度、成果、資源利用、成本和投入的人力，此外，還需對(duì)開(kāi)發(fā)工作做出評(píng)價(jià)，總結(jié)出經(jīng)驗(yàn)和教訓(xùn)。 軟件問(wèn)題報(bào)告：指出軟件問(wèn)題的登記情況，如日期、發(fā)現(xiàn)人、狀態(tài)、問(wèn)題所屬模塊等，為軟件修改提供準(zhǔn)備文檔。 軟件修改報(bào)告：軟件產(chǎn)品投入運(yùn)行以后，發(fā)現(xiàn)了需對(duì)其進(jìn)行修正、更改等問(wèn)題，應(yīng)將

10、存在的問(wèn)題、修改的考慮以及修改的影響做出詳細(xì)的描述，提交審批。 源程序：軟件開(kāi)發(fā)過(guò)程中的全部代碼以及注釋。 2.4驗(yàn)收標(biāo)準(zhǔn) 代碼：最后在交付客戶之前進(jìn)行小組內(nèi)評(píng)審，代碼編寫(xiě)符合HB6465標(biāo)準(zhǔn)，與文檔說(shuō)明保持一致，代碼書(shū)寫(xiě)風(fēng)格統(tǒng)一，采用標(biāo)準(zhǔn)規(guī)范，沒(méi)有下列錯(cuò)誤：由于軟件缺陷造成丟失數(shù)據(jù)，不符合設(shè)計(jì)要求，響應(yīng)時(shí)間太長(zhǎng)無(wú)法接受等問(wèn)題。 文檔：最后在交付客戶之前進(jìn)行小組內(nèi)評(píng)審，文檔格式符合HB6465標(biāo)準(zhǔn)，功能符合與客戶的合同要求，清晰易讀，沒(méi)有語(yǔ)病與歧義。 服務(wù)：服務(wù)硬件達(dá)到文檔說(shuō)明的要求。 2.5完成項(xiàng)目的最遲期限 交付日期為2017年7月22日 2.6本計(jì)劃的審查者與批準(zhǔn)者 本

11、項(xiàng)目批準(zhǔn)者是學(xué)院相關(guān)領(lǐng)導(dǎo)老師 3實(shí)施總計(jì)劃 3.1工作任務(wù)的分解和接口人員 3.2進(jìn)度 進(jìn)度安排 3.3預(yù)算 3.4關(guān)鍵問(wèn)題 項(xiàng)目風(fēng)險(xiǎn)因素 風(fēng)險(xiǎn) 排序 風(fēng)險(xiǎn)項(xiàng)名稱 風(fēng)險(xiǎn)描述 風(fēng)險(xiǎn)緩解方案 1 專業(yè)基礎(chǔ)知識(shí)不 牢 本次項(xiàng)目開(kāi)發(fā)過(guò)程中涉及的知識(shí)較多，給項(xiàng)目開(kāi)發(fā)人員帶來(lái)一定的困難 進(jìn)行相應(yīng)的培訓(xùn) 2 經(jīng)驗(yàn)欠缺 成員開(kāi)發(fā)經(jīng)驗(yàn)不足， 使項(xiàng)目質(zhì)量難以保證 只有通過(guò)不斷的實(shí)踐 3 軟件性能的影響 本次開(kāi)發(fā)過(guò)程中部分 軟件可能容易出現(xiàn)死 機(jī)現(xiàn)象 選擇合適的軟件，搭 建良好的配置開(kāi)發(fā)環(huán) 境 4支持條件 4.1計(jì)算機(jī)系統(tǒng)支持 模板配置與數(shù)據(jù)分析應(yīng)用

12、： 系統(tǒng)架構(gòu)：MVC 開(kāi)發(fā)工具：Eclipse 數(shù)據(jù)庫(kù)：Mysql 開(kāi)發(fā)技術(shù)：java、bootstarp、sql、FreeChart 中間件：Tomcat、jdkl.8 采集工具： 開(kāi)發(fā)工具：Eclipse 數(shù)據(jù)庫(kù)：Mysql、 開(kāi)發(fā)技術(shù)：java、sql、線程池、MD5 環(huán)境要求： CPU：1GHz以上 內(nèi)存：8GB以上 9 4.2 需由用戶承擔(dān)的工作 向本小組成員進(jìn)行培訓(xùn)，其內(nèi)容包括全文檢索、httpclient等等相關(guān)技術(shù)。配備相應(yīng)硬件系統(tǒng)，做到規(guī)范操作，備份好數(shù)據(jù)防止數(shù)據(jù)丟失,軟件交付日期為軟件安裝測(cè)試人員提供環(huán)境。 4.3由外單位提供的條件 由學(xué)院提供上機(jī)環(huán)境及相關(guān)知識(shí)講座指導(dǎo)。 5專題計(jì)劃要點(diǎn) 5.1開(kāi)發(fā)人員培訓(xùn)計(jì)劃自項(xiàng)目實(shí)習(xí)之日起，項(xiàng)目相關(guān)人員自行安排時(shí)間學(xué)習(xí)，周末按學(xué)院要求周末聽(tīng)講座知識(shí)。 5.2測(cè)試計(jì)劃 項(xiàng)目周期第四周進(jìn)行各種數(shù)據(jù)測(cè)試。 5.3質(zhì)量保證計(jì)劃 嚴(yán)格按照項(xiàng)目開(kāi)發(fā)過(guò)程中的各項(xiàng)步驟，從項(xiàng)目立項(xiàng)，可行性研究報(bào)告、需求分析報(bào)告、項(xiàng)目開(kāi)發(fā)計(jì)劃等，具體實(shí)施。