互聯(lián)網(wǎng)關(guān)鍵自治系統(tǒng)的地理分布特性分研究

《互聯(lián)網(wǎng)關(guān)鍵自治系統(tǒng)的地理分布特性分研究》由會員分享，可在線閱讀，更多相關(guān)《互聯(lián)網(wǎng)關(guān)鍵自治系統(tǒng)的地理分布特性分研究（3頁珍藏版）》請在裝配圖網(wǎng)上搜索。

1、互聯(lián)網(wǎng)關(guān)鍵自治系統(tǒng)的地理分布特性分研究 　1 引言 　　隨著計算機技術(shù)、網(wǎng)絡(luò)技術(shù)和數(shù)據(jù)庫技術(shù)的快速發(fā)展，智能的、自動化的數(shù)據(jù)采集、存儲技術(shù)，已經(jīng)成為許多人研究的對象，智能網(wǎng)絡(luò)安全可靠的運行，需要動態(tài)采集數(shù)據(jù)信息，實時地針對智能網(wǎng)絡(luò)運行數(shù)據(jù)進行查詢和監(jiān)控，實現(xiàn)高效數(shù)據(jù)傳輸和共享。但是，智能網(wǎng)絡(luò)數(shù)量眾多，分布范圍廣泛，面對海量的、動態(tài)的、分布式的多源異構(gòu)網(wǎng)絡(luò)數(shù)據(jù)，傳統(tǒng)存儲模式已經(jīng)無法滿足實時性、可靠性的需求。因此，尋求一種適合現(xiàn)代海量網(wǎng)絡(luò)數(shù)據(jù)存儲的模型，已經(jīng)成為許多學(xué)者研究的熱點。海量數(shù)據(jù)存儲系統(tǒng)中，許多數(shù)據(jù)長期不用，部分數(shù)據(jù)高頻次使用，比如最新采集的數(shù)據(jù)在一段時間內(nèi)會被經(jīng)常性地訪問，隨著時間

2、的推移，該部分數(shù)據(jù)訪問頻率將會大大地下降。因此，針對海量數(shù)據(jù)采用智能分級存儲系統(tǒng)，可以有效地縮短數(shù)據(jù)訪問和傳輸時延，提高數(shù)據(jù)的查詢準確度，保證網(wǎng)絡(luò)數(shù)據(jù)存儲的安全性和可靠性，確保網(wǎng)絡(luò)數(shù)據(jù)能夠更好地為人們提供服務(wù)。 　　2 智能分級存儲系統(tǒng) 　　海量網(wǎng)絡(luò)數(shù)據(jù)智能分級存儲系統(tǒng)可以采用直連式存儲DAS或網(wǎng)絡(luò)連接存儲NAS構(gòu)建分級存儲。DAS存儲設(shè)備可以使用光纜直連網(wǎng)絡(luò)數(shù)據(jù)服務(wù)器，用戶的讀寫請求可以直接發(fā)送到相關(guān)的網(wǎng)絡(luò)存儲設(shè)備上，能夠有效支撐多存儲設(shè)備的操作系統(tǒng)均可以采取DAS進行智能分級存儲。NAS通常應(yīng)用于數(shù)據(jù)共享過程中，能夠基于網(wǎng)絡(luò)實現(xiàn)文件級鎖定，為智能分級存儲系統(tǒng)提供高級的并發(fā)訪問保護功能，

3、實現(xiàn)異構(gòu)環(huán)境共享數(shù)據(jù)文件。 　　海量網(wǎng)絡(luò)數(shù)據(jù)智能分級存儲系統(tǒng)的各個存儲硬件設(shè)備使用NAS或DAS方式連接在一起，存儲網(wǎng)絡(luò)可以將用戶的讀寫請求發(fā)送給關(guān)聯(lián)的存儲設(shè)備，存儲設(shè)備完成數(shù)據(jù)操作，并且將結(jié)果反饋給請求程序。另外，智能分級存儲系統(tǒng)根據(jù)文件的活躍程度，可以實現(xiàn)不同級別的數(shù)據(jù)在各個存儲設(shè)備之間的自動化遷移。 　　3 智能分級存儲關(guān)鍵技術(shù) 　　智能分級存儲系統(tǒng)可以實現(xiàn)海量網(wǎng)絡(luò)數(shù)據(jù)的自動化、分層化管理，實現(xiàn)數(shù)據(jù)的高效訪問和存取，提高存儲系統(tǒng)的資源利用率。智能分級存儲系統(tǒng)的關(guān)鍵技術(shù)包括數(shù)據(jù)分類、數(shù)據(jù)放置和數(shù)據(jù)遷移等，這些技術(shù)可以有效地保證智能分級存儲系統(tǒng)的訪問有效性、存儲可靠性和數(shù)據(jù)的準確性。

4、 　　3.1 數(shù)據(jù)分類技術(shù) 　　數(shù)據(jù)分類可以定義海量網(wǎng)絡(luò)數(shù)據(jù)的訪問屬性，根據(jù)不同的用戶邏輯業(yè)務(wù)主題，參考數(shù)據(jù)的重要程度，對海量數(shù)據(jù)進行分類，實現(xiàn)智能分級存儲，其是數(shù)據(jù)遷移的基礎(chǔ)。 　　目前，網(wǎng)絡(luò)數(shù)據(jù)分類沒有統(tǒng)一的標準，可以根據(jù)網(wǎng)絡(luò)數(shù)據(jù)的實際應(yīng)用環(huán)境和用途，將數(shù)據(jù)分為硬件系統(tǒng)運行數(shù)據(jù)、軟件系統(tǒng)運營數(shù)據(jù)等；可以根據(jù)數(shù)據(jù)自身的原始類型，將其分為非結(jié)構(gòu)化、半結(jié)構(gòu)化、結(jié)構(gòu)化數(shù)據(jù)；根據(jù)數(shù)據(jù)的訪問讀寫頻次，將數(shù)據(jù)分為熱點數(shù)據(jù)和非熱點數(shù)據(jù)；根據(jù)數(shù)據(jù)的訪問順序，將數(shù)據(jù)分為周期性訪問、順序訪問和只讀數(shù)據(jù)。隨著數(shù)據(jù)分類方法的研究，為了提高數(shù)據(jù)分類的精準程度和有效性，目前數(shù)據(jù)分類常用的策略包括基于知識、基于專家系

5、統(tǒng)、基于案例等，數(shù)據(jù)分類實現(xiàn)方法可以包括靜態(tài)分類、人工經(jīng)驗分類、動態(tài)分類等?；谌斯そ?jīng)驗分類方法需要數(shù)據(jù)操作人員熟練掌握網(wǎng)絡(luò)運營數(shù)據(jù)內(nèi)容，需要長時間積累數(shù)據(jù)管理和分類經(jīng)驗，因而一定程度上無法準確把握數(shù)據(jù)分類的合理性和準確性；靜態(tài)分類是指存儲系統(tǒng)構(gòu)建完成后，預(yù)先設(shè)置數(shù)據(jù)分類主題和規(guī)則，設(shè)置完成后無法再改變，不能適應(yīng)現(xiàn)代電力運營數(shù)據(jù)的多樣化需求，存在較大的局限性；動態(tài)分類可以有效滿足數(shù)據(jù)分類的各種需求，不斷地適應(yīng)業(yè)務(wù)需求的變化，具有很強的靈活性和適應(yīng)性，并且不需要人工干預(yù)，使用數(shù)據(jù)挖掘、模式識別、機器學(xué)習、統(tǒng)計方法和自動控制理論等智能化數(shù)據(jù)分類，降低數(shù)據(jù)管理的復(fù)雜度。 　　3.2 數(shù)據(jù)放置技術(shù)

6、 　　海量網(wǎng)絡(luò)數(shù)據(jù)智能分級存儲系統(tǒng)中，網(wǎng)絡(luò)數(shù)據(jù)放置可以采取相關(guān)的原則，將存儲系統(tǒng)中新添加的數(shù)據(jù)或是被遷移的數(shù)據(jù)存儲在某一個特定的位置上。網(wǎng)絡(luò)數(shù)據(jù)放置采用方法是否科學(xué)，直接影響智能分級存儲系統(tǒng)的訪問速度，制約網(wǎng)絡(luò)數(shù)據(jù)的實時性，形成網(wǎng)絡(luò)數(shù)據(jù)訪問瓶頸等。在智能分級存儲系統(tǒng)研究過程中，網(wǎng)絡(luò)數(shù)據(jù)放置是一個非常常見的問題，已經(jīng)得到了廣泛的研究，常見的數(shù)據(jù)放置技術(shù)包括RAID、Stripe等。 　　由于海量網(wǎng)絡(luò)數(shù)據(jù)智能分級存儲系統(tǒng)具有多種存儲介質(zhì)，并且網(wǎng)絡(luò)數(shù)據(jù)具有實時性、多元性特點，智能分級存儲出現(xiàn)了許多新的需求，放置問題變得更加復(fù)雜化，比如數(shù)據(jù)放置的位置存在多種選擇，每一種選擇方案都對智能分級存儲系統(tǒng)產(chǎn)

7、生復(fù)雜的影響。為了解決上述問題，數(shù)據(jù)放置需要解決兩個問題：一是數(shù)據(jù)放置在什么類型的存儲介質(zhì)上；二是數(shù)據(jù)采用放置形式，比如隨機放置、文件分割放置、順序放置等。目前，海量網(wǎng)絡(luò)數(shù)據(jù)智能分級存儲系統(tǒng)中數(shù)據(jù)放置的力度也發(fā)生了很大的變化，本文從塊級別進行考慮，使用元數(shù)據(jù)屬性，從文件塊大小考慮放置策略，既改善了系統(tǒng)訪問的效率，也降低了系統(tǒng)的硬件成本。 　　3.3 數(shù)據(jù)遷移技術(shù) 　　在海量網(wǎng)絡(luò)數(shù)據(jù)智能分級存儲系統(tǒng)中，網(wǎng)絡(luò)數(shù)據(jù)的訪問頻次、服務(wù)質(zhì)量等需求是動態(tài)變化的，需要使網(wǎng)絡(luò)數(shù)據(jù)和存儲設(shè)備實現(xiàn)動態(tài)匹配，相同級別或者不同級別之間的網(wǎng)絡(luò)數(shù)據(jù)需要進行遷移，因此網(wǎng)絡(luò)數(shù)據(jù)遷移是智能分級存儲系統(tǒng)的核心技術(shù)之一。傳統(tǒng)網(wǎng)絡(luò)

8、數(shù)據(jù)遷移是指根據(jù)軟硬件環(huán)境升級的需要，將網(wǎng)絡(luò)數(shù)據(jù)遷移到新的環(huán)境。在智能分級存儲系統(tǒng)中，網(wǎng)絡(luò)數(shù)據(jù)遷移通常包括同級遷移和異級遷移兩種模式。同級遷移模式通常出現(xiàn)在存儲系統(tǒng)硬件配置發(fā)生變化過程中，其主要目的是均衡各個存儲設(shè)備的負載；異級遷移模式是智能分級存儲系統(tǒng)經(jīng)常發(fā)生的事件，其可以更好地優(yōu)化存儲系統(tǒng)，遷移過程中是自動化的，異級遷移過程可以是高性能存儲設(shè)備向低性能存儲設(shè)備遷移，也可以相反遷移。 　　網(wǎng)絡(luò)數(shù)據(jù)遷移方法包括離線遷移和在線遷移，離線遷移實現(xiàn)簡單，效率較低；在線遷移實現(xiàn)復(fù)雜，但是其適用于復(fù)雜業(yè)務(wù)處理，因此本文智能存儲系統(tǒng)采用在線遷移，合理制定數(shù)據(jù)遷移計劃和實施流程，降低數(shù)據(jù)遷移對帶寬、CPU

9、等資源占用率，并且有效提高數(shù)據(jù)訪問綜合性能。 　　4 結(jié)束語 　　隨著網(wǎng)絡(luò)數(shù)據(jù)的大幅度上升，智能分級存儲系統(tǒng)可以為網(wǎng)絡(luò)數(shù)據(jù)的運營提供高效訪問、快速定位、安全儲存等服務(wù)，保證網(wǎng)絡(luò)數(shù)據(jù)應(yīng)用的實時性、安全性、有效性。隨著分級存儲系統(tǒng)的發(fā)展，未來智能分級存儲系統(tǒng)的主要發(fā)展趨勢是智能化、虛擬化，其可以確保分級存儲系統(tǒng)實現(xiàn)數(shù)據(jù)遷移過程自動化和智能化，數(shù)據(jù)訪問的虛擬化和透明化。 　　參考文獻 　　【1】 敖莉，于得水，舒繼武等.一種海量數(shù)據(jù)分級存儲系統(tǒng)TH-TS.計算機研究與發(fā)展， 2011， 21（6）：1089-1100. 　　【2】 牛德姣，蔡濤，詹永照等.海量存儲系統(tǒng)中的元數(shù)據(jù)分級索引算法

10、.計算機應(yīng)用研究， 2012， 29（2）：510-513. 　　【3】 施光源，王恩東，張宇.基于塊級的分級存儲數(shù)據(jù)特征模型及其應(yīng)用研究.計算機研究與發(fā)展， 2013， 50. 　　【4】 黃洪，劉增良，余達太.一種智能化的數(shù)據(jù)分類、分級及保護模型.北京工業(yè)大學(xué)學(xué)報， 2011， 23（6）：74-81. 　　【5】 張廣艷，丘建平.分級存儲系統(tǒng)中一種數(shù)據(jù)自動遷移方法.計算機研究與發(fā)展， 2012， 22（8）：1357-1364. 　　【6】 黃冬梅，杜艷玲，賀琪.混合云存儲中海洋大數(shù)據(jù)遷移算法的研究.計算機研究與發(fā)展， 2014， 24（1）：152-159.