互聯(lián)網(wǎng)關(guān)鍵自治系統(tǒng)的地理分布特性分研究

《互聯(lián)網(wǎng)關(guān)鍵自治系統(tǒng)的地理分布特性分研究》由會(huì)員分享，可在線閱讀，更多相關(guān)《互聯(lián)網(wǎng)關(guān)鍵自治系統(tǒng)的地理分布特性分研究（3頁(yè)珍藏版）》請(qǐng)?jiān)谘b配圖網(wǎng)上搜索。

1、互聯(lián)網(wǎng)關(guān)鍵自治系統(tǒng)的地理分布特性分研究 　1 引言 　　隨著計(jì)算機(jī)技術(shù)、網(wǎng)絡(luò)技術(shù)和數(shù)據(jù)庫(kù)技術(shù)的快速發(fā)展，智能的、自動(dòng)化的數(shù)據(jù)采集、存儲(chǔ)技術(shù)，已經(jīng)成為許多人研究的對(duì)象，智能網(wǎng)絡(luò)安全可靠的運(yùn)行，需要?jiǎng)討B(tài)采集數(shù)據(jù)信息，實(shí)時(shí)地針對(duì)智能網(wǎng)絡(luò)運(yùn)行數(shù)據(jù)進(jìn)行查詢(xún)和監(jiān)控，實(shí)現(xiàn)高效數(shù)據(jù)傳輸和共享。但是，智能網(wǎng)絡(luò)數(shù)量眾多，分布范圍廣泛，面對(duì)海量的、動(dòng)態(tài)的、分布式的多源異構(gòu)網(wǎng)絡(luò)數(shù)據(jù)，傳統(tǒng)存儲(chǔ)模式已經(jīng)無(wú)法滿(mǎn)足實(shí)時(shí)性、可靠性的需求。因此，尋求一種適合現(xiàn)代海量網(wǎng)絡(luò)數(shù)據(jù)存儲(chǔ)的模型，已經(jīng)成為許多學(xué)者研究的熱點(diǎn)。海量數(shù)據(jù)存儲(chǔ)系統(tǒng)中，許多數(shù)據(jù)長(zhǎng)期不用，部分?jǐn)?shù)據(jù)高頻次使用，比如最新采集的數(shù)據(jù)在一段時(shí)間內(nèi)會(huì)被經(jīng)常性地訪問(wèn)，隨著時(shí)間

2、的推移，該部分?jǐn)?shù)據(jù)訪問(wèn)頻率將會(huì)大大地下降。因此，針對(duì)海量數(shù)據(jù)采用智能分級(jí)存儲(chǔ)系統(tǒng)，可以有效地縮短數(shù)據(jù)訪問(wèn)和傳輸時(shí)延，提高數(shù)據(jù)的查詢(xún)準(zhǔn)確度，保證網(wǎng)絡(luò)數(shù)據(jù)存儲(chǔ)的安全性和可靠性，確保網(wǎng)絡(luò)數(shù)據(jù)能夠更好地為人們提供服務(wù)。 　　2 智能分級(jí)存儲(chǔ)系統(tǒng) 　　海量網(wǎng)絡(luò)數(shù)據(jù)智能分級(jí)存儲(chǔ)系統(tǒng)可以采用直連式存儲(chǔ)DAS或網(wǎng)絡(luò)連接存儲(chǔ)NAS構(gòu)建分級(jí)存儲(chǔ)。DAS存儲(chǔ)設(shè)備可以使用光纜直連網(wǎng)絡(luò)數(shù)據(jù)服務(wù)器，用戶(hù)的讀寫(xiě)請(qǐng)求可以直接發(fā)送到相關(guān)的網(wǎng)絡(luò)存儲(chǔ)設(shè)備上，能夠有效支撐多存儲(chǔ)設(shè)備的操作系統(tǒng)均可以采取DAS進(jìn)行智能分級(jí)存儲(chǔ)。NAS通常應(yīng)用于數(shù)據(jù)共享過(guò)程中，能夠基于網(wǎng)絡(luò)實(shí)現(xiàn)文件級(jí)鎖定，為智能分級(jí)存儲(chǔ)系統(tǒng)提供高級(jí)的并發(fā)訪問(wèn)保護(hù)功能，

3、實(shí)現(xiàn)異構(gòu)環(huán)境共享數(shù)據(jù)文件。 　　海量網(wǎng)絡(luò)數(shù)據(jù)智能分級(jí)存儲(chǔ)系統(tǒng)的各個(gè)存儲(chǔ)硬件設(shè)備使用NAS或DAS方式連接在一起，存儲(chǔ)網(wǎng)絡(luò)可以將用戶(hù)的讀寫(xiě)請(qǐng)求發(fā)送給關(guān)聯(lián)的存儲(chǔ)設(shè)備，存儲(chǔ)設(shè)備完成數(shù)據(jù)操作，并且將結(jié)果反饋給請(qǐng)求程序。另外，智能分級(jí)存儲(chǔ)系統(tǒng)根據(jù)文件的活躍程度，可以實(shí)現(xiàn)不同級(jí)別的數(shù)據(jù)在各個(gè)存儲(chǔ)設(shè)備之間的自動(dòng)化遷移。 　　3 智能分級(jí)存儲(chǔ)關(guān)鍵技術(shù) 　　智能分級(jí)存儲(chǔ)系統(tǒng)可以實(shí)現(xiàn)海量網(wǎng)絡(luò)數(shù)據(jù)的自動(dòng)化、分層化管理，實(shí)現(xiàn)數(shù)據(jù)的高效訪問(wèn)和存取，提高存儲(chǔ)系統(tǒng)的資源利用率。智能分級(jí)存儲(chǔ)系統(tǒng)的關(guān)鍵技術(shù)包括數(shù)據(jù)分類(lèi)、數(shù)據(jù)放置和數(shù)據(jù)遷移等，這些技術(shù)可以有效地保證智能分級(jí)存儲(chǔ)系統(tǒng)的訪問(wèn)有效性、存儲(chǔ)可靠性和數(shù)據(jù)的準(zhǔn)確性。

4、 　　3.1 數(shù)據(jù)分類(lèi)技術(shù) 　　數(shù)據(jù)分類(lèi)可以定義海量網(wǎng)絡(luò)數(shù)據(jù)的訪問(wèn)屬性，根據(jù)不同的用戶(hù)邏輯業(yè)務(wù)主題，參考數(shù)據(jù)的重要程度，對(duì)海量數(shù)據(jù)進(jìn)行分類(lèi)，實(shí)現(xiàn)智能分級(jí)存儲(chǔ)，其是數(shù)據(jù)遷移的基礎(chǔ)。 　　目前，網(wǎng)絡(luò)數(shù)據(jù)分類(lèi)沒(méi)有統(tǒng)一的標(biāo)準(zhǔn)，可以根據(jù)網(wǎng)絡(luò)數(shù)據(jù)的實(shí)際應(yīng)用環(huán)境和用途，將數(shù)據(jù)分為硬件系統(tǒng)運(yùn)行數(shù)據(jù)、軟件系統(tǒng)運(yùn)營(yíng)數(shù)據(jù)等；可以根據(jù)數(shù)據(jù)自身的原始類(lèi)型，將其分為非結(jié)構(gòu)化、半結(jié)構(gòu)化、結(jié)構(gòu)化數(shù)據(jù)；根據(jù)數(shù)據(jù)的訪問(wèn)讀寫(xiě)頻次，將數(shù)據(jù)分為熱點(diǎn)數(shù)據(jù)和非熱點(diǎn)數(shù)據(jù)；根據(jù)數(shù)據(jù)的訪問(wèn)順序，將數(shù)據(jù)分為周期性訪問(wèn)、順序訪問(wèn)和只讀數(shù)據(jù)。隨著數(shù)據(jù)分類(lèi)方法的研究，為了提高數(shù)據(jù)分類(lèi)的精準(zhǔn)程度和有效性，目前數(shù)據(jù)分類(lèi)常用的策略包括基于知識(shí)、基于專(zhuān)家系

5、統(tǒng)、基于案例等，數(shù)據(jù)分類(lèi)實(shí)現(xiàn)方法可以包括靜態(tài)分類(lèi)、人工經(jīng)驗(yàn)分類(lèi)、動(dòng)態(tài)分類(lèi)等?；谌斯そ?jīng)驗(yàn)分類(lèi)方法需要數(shù)據(jù)操作人員熟練掌握網(wǎng)絡(luò)運(yùn)營(yíng)數(shù)據(jù)內(nèi)容，需要長(zhǎng)時(shí)間積累數(shù)據(jù)管理和分類(lèi)經(jīng)驗(yàn)，因而一定程度上無(wú)法準(zhǔn)確把握數(shù)據(jù)分類(lèi)的合理性和準(zhǔn)確性；靜態(tài)分類(lèi)是指存儲(chǔ)系統(tǒng)構(gòu)建完成后，預(yù)先設(shè)置數(shù)據(jù)分類(lèi)主題和規(guī)則，設(shè)置完成后無(wú)法再改變，不能適應(yīng)現(xiàn)代電力運(yùn)營(yíng)數(shù)據(jù)的多樣化需求，存在較大的局限性；動(dòng)態(tài)分類(lèi)可以有效滿(mǎn)足數(shù)據(jù)分類(lèi)的各種需求，不斷地適應(yīng)業(yè)務(wù)需求的變化，具有很強(qiáng)的靈活性和適應(yīng)性，并且不需要人工干預(yù)，使用數(shù)據(jù)挖掘、模式識(shí)別、機(jī)器學(xué)習(xí)、統(tǒng)計(jì)方法和自動(dòng)控制理論等智能化數(shù)據(jù)分類(lèi)，降低數(shù)據(jù)管理的復(fù)雜度。 　　3.2 數(shù)據(jù)放置技術(shù)

6、 　　海量網(wǎng)絡(luò)數(shù)據(jù)智能分級(jí)存儲(chǔ)系統(tǒng)中，網(wǎng)絡(luò)數(shù)據(jù)放置可以采取相關(guān)的原則，將存儲(chǔ)系統(tǒng)中新添加的數(shù)據(jù)或是被遷移的數(shù)據(jù)存儲(chǔ)在某一個(gè)特定的位置上。網(wǎng)絡(luò)數(shù)據(jù)放置采用方法是否科學(xué)，直接影響智能分級(jí)存儲(chǔ)系統(tǒng)的訪問(wèn)速度，制約網(wǎng)絡(luò)數(shù)據(jù)的實(shí)時(shí)性，形成網(wǎng)絡(luò)數(shù)據(jù)訪問(wèn)瓶頸等。在智能分級(jí)存儲(chǔ)系統(tǒng)研究過(guò)程中，網(wǎng)絡(luò)數(shù)據(jù)放置是一個(gè)非常常見(jiàn)的問(wèn)題，已經(jīng)得到了廣泛的研究，常見(jiàn)的數(shù)據(jù)放置技術(shù)包括RAID、Stripe等。 　　由于海量網(wǎng)絡(luò)數(shù)據(jù)智能分級(jí)存儲(chǔ)系統(tǒng)具有多種存儲(chǔ)介質(zhì)，并且網(wǎng)絡(luò)數(shù)據(jù)具有實(shí)時(shí)性、多元性特點(diǎn)，智能分級(jí)存儲(chǔ)出現(xiàn)了許多新的需求，放置問(wèn)題變得更加復(fù)雜化，比如數(shù)據(jù)放置的位置存在多種選擇，每一種選擇方案都對(duì)智能分級(jí)存儲(chǔ)系統(tǒng)產(chǎn)

7、生復(fù)雜的影響。為了解決上述問(wèn)題，數(shù)據(jù)放置需要解決兩個(gè)問(wèn)題：一是數(shù)據(jù)放置在什么類(lèi)型的存儲(chǔ)介質(zhì)上；二是數(shù)據(jù)采用放置形式，比如隨機(jī)放置、文件分割放置、順序放置等。目前，海量網(wǎng)絡(luò)數(shù)據(jù)智能分級(jí)存儲(chǔ)系統(tǒng)中數(shù)據(jù)放置的力度也發(fā)生了很大的變化，本文從塊級(jí)別進(jìn)行考慮，使用元數(shù)據(jù)屬性，從文件塊大小考慮放置策略，既改善了系統(tǒng)訪問(wèn)的效率，也降低了系統(tǒng)的硬件成本。 　　3.3 數(shù)據(jù)遷移技術(shù) 　　在海量網(wǎng)絡(luò)數(shù)據(jù)智能分級(jí)存儲(chǔ)系統(tǒng)中，網(wǎng)絡(luò)數(shù)據(jù)的訪問(wèn)頻次、服務(wù)質(zhì)量等需求是動(dòng)態(tài)變化的，需要使網(wǎng)絡(luò)數(shù)據(jù)和存儲(chǔ)設(shè)備實(shí)現(xiàn)動(dòng)態(tài)匹配，相同級(jí)別或者不同級(jí)別之間的網(wǎng)絡(luò)數(shù)據(jù)需要進(jìn)行遷移，因此網(wǎng)絡(luò)數(shù)據(jù)遷移是智能分級(jí)存儲(chǔ)系統(tǒng)的核心技術(shù)之一。傳統(tǒng)網(wǎng)絡(luò)

8、數(shù)據(jù)遷移是指根據(jù)軟硬件環(huán)境升級(jí)的需要，將網(wǎng)絡(luò)數(shù)據(jù)遷移到新的環(huán)境。在智能分級(jí)存儲(chǔ)系統(tǒng)中，網(wǎng)絡(luò)數(shù)據(jù)遷移通常包括同級(jí)遷移和異級(jí)遷移兩種模式。同級(jí)遷移模式通常出現(xiàn)在存儲(chǔ)系統(tǒng)硬件配置發(fā)生變化過(guò)程中，其主要目的是均衡各個(gè)存儲(chǔ)設(shè)備的負(fù)載；異級(jí)遷移模式是智能分級(jí)存儲(chǔ)系統(tǒng)經(jīng)常發(fā)生的事件，其可以更好地優(yōu)化存儲(chǔ)系統(tǒng)，遷移過(guò)程中是自動(dòng)化的，異級(jí)遷移過(guò)程可以是高性能存儲(chǔ)設(shè)備向低性能存儲(chǔ)設(shè)備遷移，也可以相反遷移。 　　網(wǎng)絡(luò)數(shù)據(jù)遷移方法包括離線遷移和在線遷移，離線遷移實(shí)現(xiàn)簡(jiǎn)單，效率較低；在線遷移實(shí)現(xiàn)復(fù)雜，但是其適用于復(fù)雜業(yè)務(wù)處理，因此本文智能存儲(chǔ)系統(tǒng)采用在線遷移，合理制定數(shù)據(jù)遷移計(jì)劃和實(shí)施流程，降低數(shù)據(jù)遷移對(duì)帶寬、CPU

9、等資源占用率，并且有效提高數(shù)據(jù)訪問(wèn)綜合性能。 　　4 結(jié)束語(yǔ) 　　隨著網(wǎng)絡(luò)數(shù)據(jù)的大幅度上升，智能分級(jí)存儲(chǔ)系統(tǒng)可以為網(wǎng)絡(luò)數(shù)據(jù)的運(yùn)營(yíng)提供高效訪問(wèn)、快速定位、安全儲(chǔ)存等服務(wù)，保證網(wǎng)絡(luò)數(shù)據(jù)應(yīng)用的實(shí)時(shí)性、安全性、有效性。隨著分級(jí)存儲(chǔ)系統(tǒng)的發(fā)展，未來(lái)智能分級(jí)存儲(chǔ)系統(tǒng)的主要發(fā)展趨勢(shì)是智能化、虛擬化，其可以確保分級(jí)存儲(chǔ)系統(tǒng)實(shí)現(xiàn)數(shù)據(jù)遷移過(guò)程自動(dòng)化和智能化，數(shù)據(jù)訪問(wèn)的虛擬化和透明化。 　　參考文獻(xiàn) 　　【1】 敖莉，于得水，舒繼武等.一種海量數(shù)據(jù)分級(jí)存儲(chǔ)系統(tǒng)TH-TS.計(jì)算機(jī)研究與發(fā)展， 2011， 21（6）：1089-1100. 　　【2】 牛德姣，蔡濤，詹永照等.海量存儲(chǔ)系統(tǒng)中的元數(shù)據(jù)分級(jí)索引算法

10、.計(jì)算機(jī)應(yīng)用研究， 2012， 29（2）：510-513. 　　【3】 施光源，王恩東，張宇.基于塊級(jí)的分級(jí)存儲(chǔ)數(shù)據(jù)特征模型及其應(yīng)用研究.計(jì)算機(jī)研究與發(fā)展， 2013， 50. 　　【4】 黃洪，劉增良，余達(dá)太.一種智能化的數(shù)據(jù)分類(lèi)、分級(jí)及保護(hù)模型.北京工業(yè)大學(xué)學(xué)報(bào)， 2011， 23（6）：74-81. 　　【5】 張廣艷，丘建平.分級(jí)存儲(chǔ)系統(tǒng)中一種數(shù)據(jù)自動(dòng)遷移方法.計(jì)算機(jī)研究與發(fā)展， 2012， 22（8）：1357-1364. 　　【6】 黃冬梅，杜艷玲，賀琪.混合云存儲(chǔ)中海洋大數(shù)據(jù)遷移算法的研究.計(jì)算機(jī)研究與發(fā)展， 2014， 24（1）：152-159.