云計算架構(gòu)比較和關(guān)鍵技術(shù)講解.ppt

《云計算架構(gòu)比較和關(guān)鍵技術(shù)講解.ppt》由會員分享，可在線閱讀，更多相關(guān)《云計算架構(gòu)比較和關(guān)鍵技術(shù)講解.ppt（82頁珍藏版）》請在裝配圖網(wǎng)上搜索。

云計算 Cloud Computing,近年來，云計算已成為IT業(yè)界最熱門的研究方向之一。幾乎所有的主流IT廠商都在談?wù)撛朴嬎?，既包括硬件廠商（IBM、英特爾等）、軟件開發(fā)商（微軟等），也包括互聯(lián)網(wǎng)服務(wù)提供商（Google、Amazon等）和電信運營商（AT&T、中國移動等）。這些企業(yè)覆蓋了整個IT產(chǎn)業(yè)鏈，構(gòu)建了一個完整的云計算生態(tài)系統(tǒng)。,引言,2,引言,什么是云計算?,3,云計算的最終目標(biāo)是將計算、服務(wù)和應(yīng)用作為一種公共設(shè)施提供給公眾，使人們能夠像使用水、電、煤氣和電話那樣使用計算機(jī)資源。,引言,4,云計算概述 云計算體系結(jié)構(gòu) 云計算關(guān)鍵技術(shù) 云計算研究現(xiàn)狀 云計算機(jī)遇與挑戰(zhàn) 云計算與分布式處理,目錄,5,1.1 云計算起源,2006年3月，亞馬遜推出彈性計算云服務(wù)。 2006年8月9日，Google首席執(zhí)行官埃里克施密特在搜索引擎大會首次提出“云計算”的概念。 2007年10月，Google與IBM開始在美國大學(xué)校園，推廣云計算的計劃，這項計劃希望能降低分散式計算技術(shù)在學(xué)術(shù)研究方面的成本，并為這些大學(xué)提供相關(guān)的軟硬件設(shè)備及技術(shù)支持。 2008年7月29日，雅虎、惠普和英特爾宣布一項涵蓋美國、德國和新加坡的聯(lián)合研究計劃，推出云計算研究測試床，推進(jìn)云計算。該計劃要與合作伙伴創(chuàng)建6個數(shù)據(jù)中心作為研究試驗平臺，每個數(shù)據(jù)中心配置1400個至4000個處理器。 2008年8月3日，戴爾正在申請“云計算” 商標(biāo)。戴爾在申請文件中稱，云計算是“在數(shù)據(jù)中心和巨型規(guī)模的計算環(huán)境中，為他人提供計算機(jī)硬件定制制造”。,6,1.1 云計算起源,2010年3月5日，Novell與云安全聯(lián)盟（CSA）共同宣布一項供應(yīng)商中立計劃，名為“可信任云計算計劃”。 2010年7月，美國國家航空航天局和包括Rackspace、AMD、Intel、戴爾等支持廠商共同宣布“OpenStack”開放源代碼計劃。 微軟在2010年10月表示支持OpenStack與Windows Server 2008 R2的集成；而Ubuntu已把OpenStack加至11.04版本中。 2011年2月，思科系統(tǒng)正式加入OpenStack，重點研制OpenStack的網(wǎng)絡(luò)服務(wù)。,7,1.1 云計算起源（續(xù)）,計算資源的演進(jìn)：從集中到分步再到集中,計算時代,網(wǎng)絡(luò)時代,云時代,8,1.2 云計算發(fā)展路線,9,1.2.1 并行計算,10,Parallel Computing 是指同時使用多種計算資源解決計算問題的過程，其主要目的是快速解決大型且復(fù)雜的計算問題 特點：把計算任務(wù)分派給系統(tǒng)內(nèi)的多個運算單元 并行機(jī)的多CPU和多存儲器 并行計算問題的特征 將工作分離成離散部分，有助于同時解決 隨時并及時地執(zhí)行多個程序指令（多CPU同時運行） 多計算資源下解決問題的耗時要少于單個計算資源下的耗時,1.2.2 分布式計算,11,Distributed Computing 所謂分布式計算是一門計算機(jī)科學(xué)，它研究如何把一個需要非常巨大的計算能力才能解決的問題分成許多小的部分，然后把這些部分分配給許多計算機(jī)進(jìn)行處理，最后把這些計算結(jié)果綜合起來得到最終的結(jié)果。 特點：把計算任務(wù)分派給網(wǎng)絡(luò)中的多臺獨立的機(jī)器 優(yōu)點： 稀有資源可以共享 通過分布式計算可以在多臺計算機(jī)上平衡計算負(fù)載 可以把程序放在最適合運行它的計算機(jī)上,1.2.3 云計算,12,硬件為中心,軟件為中心,服務(wù)為中心,數(shù)據(jù)在云端：不怕丟失，不必備份； 軟件在云端：不必下載自動升級； 無所不在的計算：在任何時間、任何地點、任何設(shè)備登錄即可進(jìn)行計算服務(wù)； 強大的計算：空間大，快速度。,1.2.3 云計算（續(xù)）,13,電：從購買發(fā)電設(shè)備到購買電力服務(wù),信息：從購買軟硬件到購買信息服務(wù),發(fā)電機(jī),現(xiàn)代發(fā)電廠,計算,軟件,存儲,信息服務(wù)提供商,有了云計算，廣大用戶無需自購軟、硬件，甚至無需知道是誰提供的服務(wù)，只關(guān)注自己真正需要什么樣的資源或者得到什么樣的服務(wù)。,1.3 云計算定義,維基百科：是一種基于互聯(lián)網(wǎng)的計算方式，通過這種方式，共享的軟硬件資源和信息可以按需提供給計算機(jī)和其他設(shè)備。 Google ：將所有的計算和應(yīng)用放置在“云”中，設(shè)備終端不需要安裝任何東西，通過互聯(lián)網(wǎng)絡(luò)來分享程序和服務(wù)。 微軟：認(rèn)為云計算的應(yīng)是“云+端”的計算，將計算資源分散分布，部分資源放在云上，部分資源放在用戶終端，部分資源放在合作伙伴處，最終由用戶選擇合理的計算資源分布。 美國國家標(biāo)準(zhǔn)與技術(shù)實驗室：云計算是一個提供便捷的通過互聯(lián)網(wǎng)訪問一個可定制的IT 資源共享池能力的按使用量付費模式（IT 資源包括網(wǎng)絡(luò)，服務(wù)器，存儲，應(yīng)用，服務(wù)），這些資源能夠快速部署，并只需要很少的管理工作或很少的與服務(wù)供應(yīng)商的交互；,到目前為止， 云計算還沒有一個統(tǒng)一的定義。云計算領(lǐng)先者如Google、Microsoft 等IT 廠商，依據(jù)各自的利益和各自不同的研究視角都給出了對云計算的定義和理解。,14,1.3 云計算定義(續(xù)),狹義云計算 狹義云計算是指IT基礎(chǔ)設(shè)施的交付和使用模式，通過網(wǎng)絡(luò)以按需、易擴(kuò)展的方式獲得所需的資源（硬件、平臺、軟件）。 廣義云計算 廣義云計算是指服務(wù)的交付和使用模式，通過網(wǎng)絡(luò)以按需、易擴(kuò)展的方式獲得所需的服務(wù)。這種服務(wù)可以是IT和軟件、互聯(lián)網(wǎng)相關(guān)的，也可以是任意其它的服務(wù)。,15,1.4 云計算基本特征,16,1.5 云計算優(yōu)勢,17,按需服務(wù),快速服務(wù),通用性,高可靠性,極其廉價,超大規(guī)模,虛擬化,高擴(kuò)展性,1.6 云計算模式,18,軟件即服務(wù)（SaaS） Software as a Service 平臺即服務(wù)（PaaS） Platform as a Service 基礎(chǔ)設(shè)施既服務(wù)（IaaS） Infrastructure as a Service,1.6 云計算模式(續(xù)),19,服務(wù)多租賃化,平臺可伸縮化,資源虛擬化,云計算的服務(wù)體系,1.6.1 軟件即服務(wù)（SaaS）,20,提供給客戶的服務(wù)是服務(wù)商運行在云計算基礎(chǔ)設(shè)施上的應(yīng)用程序，可以在各種客戶端設(shè)備上通過瘦客戶端界面訪問，比如瀏覽器?？蛻舨恍枰芾砘蚩刂频牡讓拥脑朴嬎慊A(chǔ)設(shè)施，包括網(wǎng)絡(luò)、服務(wù)器、操作系統(tǒng)、存儲，甚至單個應(yīng)用程序的功能. 如：Google APPS、SoftWare+Services；,1.6.2 平臺即服務(wù)（PaaS）,21,提供給客戶的是將客戶用供應(yīng)商提供的開發(fā)語言和工具（例如Java，python,.Net）創(chuàng)建的應(yīng)用程序部署到云計算基礎(chǔ)設(shè)施上去?？蛻舨恍枰芾砘蚩刂频牡讓拥脑苹A(chǔ)設(shè)施，包括網(wǎng)絡(luò)、服務(wù)器、操作系統(tǒng)、存儲，但客戶能控制部署的應(yīng)用程序，也可能控制應(yīng)用的托管環(huán)境配置。 如：IBM IT Factory、Google APPEngine、F；,SaaS & PaaS 示例,22,定制化硬件，集裝箱式數(shù)據(jù)中心,云計算IT平臺,Google應(yīng)用,托管的第三方應(yīng)用,Google 云計算IT架構(gòu),搜索,廣告,VoIP/IM,地圖服務(wù),照片分享,郵件,視頻分享,辦公套件,日歷,GFS,BigTable,MapReduce,集群管理,SaaS & PaaS,1.6.3 基礎(chǔ)設(shè)施即服務(wù)（IaaS）,23,提供給客戶的是出租處理能力、存儲、網(wǎng)絡(luò)和其它基本的計算資源，用戶能夠部署和運行任意軟件，包括操作系統(tǒng)和應(yīng)用程序。客戶不管理或控制的底層的云計算基礎(chǔ)設(shè)施，但能控制操作系統(tǒng)、儲存、部署的應(yīng)用，也有可能選擇網(wǎng)絡(luò)組件（例如，防火墻，負(fù)載均衡器）。 如： Amazo Ec2、IBM Blue Cloud、Sun Grid；,實例,24,戰(zhàn)略：利用內(nèi)部IT資源平臺，對外提供IT公用服務(wù) 作為云計算的推動者，Amazon 歷經(jīng)2年多時間形成了基本成熟的云計算服務(wù),商業(yè)模式 計算，存儲，帶寬等IT基礎(chǔ)設(shè)施出租 Web基礎(chǔ)能力，電子商務(wù)基本能力作為服務(wù)出租 按需使用，按需付費 網(wǎng)上支付 客戶 互聯(lián)網(wǎng)應(yīng)用開發(fā)者 企業(yè)（納斯達(dá)克，紐約時報） 面向全球，目前主要集中在北美和歐洲，09年已經(jīng)啟動中國市場拓展 合作伙伴 IBM、Microsoft、Oracle、Google、Apple,Amazon Technology Platform（計算，存儲，網(wǎng)絡(luò)）,EC2,S3,Simple DB,SQS,DevPay,FPS,MT,Alexa Search,FWS,Other,計算,支付,訂單履行,搜索,人工智能,AWS Amazon Web Services,存儲,數(shù)據(jù)庫,消息隊列,計費,其他設(shè)施能力,進(jìn)展 到08年11月為止，已經(jīng)有45萬開發(fā)者基于Amazon AWS開發(fā)Web應(yīng)用 存儲對象數(shù)從07年4月份50億增長到08年10月份的290億，在一年半的時間里增長6倍 08年云服務(wù)收入約4億美金,25,1.7 云計算部署模式,26,部署層次的類型,27,1.7 云計算部署模式（續(xù)）,1.8 云計算推動力量,28,虛擬化技術(shù) 寬帶的普及 互聯(lián)網(wǎng)應(yīng)用增加 服務(wù)器瀏覽器開發(fā)技術(shù)的進(jìn)步 IT基礎(chǔ)設(shè)施利用率低下 數(shù)據(jù)中心能耗問題突出 IT管理與維護(hù)成本提高 .,云計算的基本原理是通過使計算分布在大量的計算服務(wù)器上，而非本地計算機(jī)或遠(yuǎn)程服務(wù)器中，企業(yè)數(shù)據(jù)中心的運行將更與互聯(lián)網(wǎng)相似。這使得企業(yè)能夠?qū)①Y源切換到需要的應(yīng)用上，根據(jù)需求訪問計算機(jī)和存儲系統(tǒng)。,2 云計算體系結(jié)構(gòu),29,2.1云計算體系邏輯結(jié)構(gòu),30,云用戶端：提供云用戶請求服務(wù)的交互界面，也是用戶使用云的入口，用戶通過Web瀏覽器可以注冊、登錄及定制服務(wù)、配置和管理用戶。打開應(yīng)用實例與本地操作桌面系統(tǒng)一樣。 服務(wù)目錄：云用戶在取得相應(yīng)的權(quán)限后可以選擇或定制的服務(wù)列表，也可以對已有服務(wù)進(jìn)行退訂的操作，在云用戶端界面生產(chǎn)相應(yīng)的圖標(biāo)或列表的形式展示相關(guān)服務(wù)。,2.1 云計算體系邏輯結(jié)構(gòu)(續(xù)),31,管理系統(tǒng)和部署工具：提供管理和服務(wù)，能管理云用戶，能對用戶授權(quán)、認(rèn)證、登錄進(jìn)行管理，并可以管理可用計算資源和服務(wù)，接收用戶發(fā)送的請求，根據(jù)用戶請求轉(zhuǎn)發(fā)相應(yīng)的程序，調(diào)度資源智能地部署資源和應(yīng)用，動態(tài)部署、配置和回收資源。 監(jiān)控：監(jiān)控和計量云系統(tǒng)資源的使用情況，以便做出迅速反應(yīng)，完成借點同步配置、負(fù)載均衡配置和資源監(jiān)控，確保資源能順利分配給合適的用戶。 服務(wù)器集群：虛擬的或物理的服務(wù)器，由管理系統(tǒng)來管理負(fù)載、高并發(fā)量的用戶請求處理、大運算量計算處理、用戶Web應(yīng)用服務(wù)，云數(shù)據(jù)存儲時采用相應(yīng)數(shù)據(jù)切割算法，采用并行方式上傳和下載大容量數(shù)據(jù)。 用戶可以通過云用戶端從列表中選擇所需的服務(wù)，其請求通過管理系統(tǒng)調(diào)度相應(yīng)的資源，并通過部署工具分發(fā)請求、配置Web應(yīng)用。,2.2云計算技術(shù)系統(tǒng)結(jié)構(gòu),32,33,云計算技術(shù)體系結(jié)構(gòu)分為4層：物理資源層、資源池層、管理中間件層和SOA構(gòu)建層（如上圖）； 物理資源層包括計算機(jī)、存儲器、網(wǎng)絡(luò)設(shè)施、數(shù)據(jù)庫和軟件等； 資源池層是將大量相同類型的資源構(gòu)成同構(gòu)或接近同構(gòu)的資源池，如計算資源池、數(shù)據(jù)資源池等。構(gòu)建資源池更多是物理資源的集成和管理工作，例如研究在一個標(biāo)準(zhǔn)集裝箱的空間如何裝下2000個服務(wù)器、解決散熱和故障節(jié)點替換的問題并降低能耗。,2.2云計算技術(shù)系統(tǒng)結(jié)構(gòu)（續(xù)）,34,管理中間件負(fù)責(zé)對云計算的資源進(jìn)行管理，并對眾多應(yīng)用任務(wù)進(jìn)行調(diào)度，使資源能夠高效、安全地為應(yīng)用提供服務(wù)； SOA構(gòu)建層將云計算能力封裝成標(biāo)準(zhǔn)的Web Services服務(wù)，并納入到SOA體系進(jìn)行管理和使用，包括服務(wù)注冊、查找、訪問和構(gòu)建服務(wù)工作流等。管理中間件和資源池層是云計算技術(shù)的最關(guān)鍵部分，SOA構(gòu)建層的功能更多依靠外部設(shè)施提供。,2.2云計算技術(shù)系統(tǒng)結(jié)構(gòu)（續(xù)）,35,計算的管理中間件負(fù)責(zé)資源管理、任務(wù)管理、用戶管理和安全管理等工作。 資源管理負(fù)責(zé)均衡地使用云資源節(jié)點，檢測節(jié)點的故障并試圖恢復(fù)或屏蔽之，并對資源的使用情況進(jìn)行監(jiān)視統(tǒng)計； 任務(wù)管理負(fù)責(zé)執(zhí)行用戶或應(yīng)用提交的任務(wù)，包括完成用戶任務(wù)映象(Image)的部署和管理、任務(wù)調(diào)度、任務(wù)執(zhí)行、任務(wù)生命期管理等等；,2.2云計算技術(shù)系統(tǒng)結(jié)構(gòu)（續(xù)）,36,用戶管理是實現(xiàn)云計算商業(yè)模式的一個必不可少的環(huán)節(jié)，包括提供用戶交互接口、管理和識別用戶身份、創(chuàng)建用戶程序的執(zhí)行環(huán)境、對用戶的使用進(jìn)行計費等； 安全管理保障云計算設(shè)施的整體安全，包括身份認(rèn)證、訪問授權(quán)、綜合防護(hù)和安全審計等。,2.2云計算技術(shù)系統(tǒng)結(jié)構(gòu)（續(xù)）,2.3 云計算和下一代IT架構(gòu),37,集成&開發(fā),用戶界面 & 接口,虛擬應(yīng)用,強化: 減少費用 & 提高質(zhì)量,虛擬化: 簡單接入, 提高終端用戶管理 & 使用最大化,自動化: 提高速度和預(yù)言性 & 減少勞動力,38,商業(yè)流程,集成&開發(fā),虛擬信息,虛擬存儲,虛擬進(jìn)程,底層結(jié)構(gòu)虛擬,虛擬應(yīng)用,云計算應(yīng)用 (“Software-as-a-Service”),用戶界面 & 接口,2.3 云計算和下一代IT架構(gòu)(續(xù)),39,Integration, Event & Deployment,協(xié)作消息,集成&開發(fā),云平臺 (“Platform-as-a-Service”),商業(yè)流程,用戶界面 & 接口,虛擬應(yīng)用,虛擬信息,底層結(jié)構(gòu)虛擬,虛擬存儲,虛擬進(jìn)程,2.3 云計算和下一代IT架構(gòu)(續(xù)),40,協(xié)作/消息,商業(yè)流程,用戶界面 & 接口,虛擬應(yīng)用,虛擬信息,集成 & 開發(fā),云協(xié)作,2.3 云計算和下一代IT架構(gòu)(續(xù)),41,商業(yè)流程,協(xié)作/消息,服務(wù)/資源管理 & 安全,集成 & 開發(fā),用戶界面 & 接口,虛擬應(yīng)用,虛擬信息,虛擬 存儲,虛擬 進(jìn)程,底層結(jié)構(gòu)虛擬,2.3 云計算和下一代IT架構(gòu)(續(xù)),42,服務(wù)/資源管理 & 安全,協(xié)作/消息,商業(yè)流程,用戶界面 & 接口,虛擬應(yīng)用,Virtualized Information,底層結(jié)構(gòu)虛擬,虛擬 進(jìn)程,虛擬 存儲,集成 & 開發(fā),虛擬信息,基礎(chǔ)設(shè)施 (“Infrastructure-as-a-Service”) 軟件 (“Software-as-a-Service”),2.3 云計算和下一代IT架構(gòu)(續(xù)),43,Service/Resource Mgmt & Security,協(xié)作/消息,商業(yè)流程,用戶界面 & 接口,虛擬應(yīng)用,Virtualized Information,底層虛擬結(jié)構(gòu),虛擬進(jìn)程,虛擬儲存,集成 & 開發(fā),虛擬信息,43,2.3 云計算和下一代IT架構(gòu)(續(xù)),虛擬化技術(shù) 分布式技術(shù) 數(shù)據(jù)中心構(gòu)建技術(shù) 云計算安全技術(shù) 云計算編程模型 .,3. 云計算關(guān)鍵技術(shù),44,云計算的目標(biāo)是以低成本的方式提供高可靠、高可用、規(guī)?？缮炜s的個性化服務(wù)。為了達(dá)到這個目標(biāo)，需要數(shù)據(jù)中心管理、虛擬化、海量數(shù)據(jù)處理、資源管理與調(diào)度、QoS 保證、安全與隱私保護(hù)等若干關(guān)鍵技術(shù)加以支持。,云計算與相關(guān)技術(shù)的聯(lián)系,45,46,云計算體系架構(gòu),IaaS 層是云計算的基礎(chǔ)。通過建立大規(guī)模數(shù)據(jù)中心，IaaS 層為上層云計算服務(wù)提供海量硬件資源。同時，在虛擬化技術(shù)的支持下，IaaS 層可以實現(xiàn)硬件資源的按需配置，并提供個性化的基礎(chǔ)設(shè)施服務(wù)。 主要研究問題： 如何建設(shè)低成本、高效能的數(shù)據(jù)中心； 如何拓展虛擬化技術(shù)，實現(xiàn)彈性、可靠的基礎(chǔ)設(shè)施服務(wù)。,3.1 IaaS 層關(guān)鍵技術(shù),47,數(shù)據(jù)中心相關(guān)技術(shù),48,消除異構(gòu)化系統(tǒng)之間障礙 快速動態(tài)部署資源和服務(wù),云計算平臺對資源的獨立，兼容各類應(yīng)用平臺 計算，存儲，網(wǎng)絡(luò)資源的智能化統(tǒng)一管理 面向業(yè)務(wù)的資源的定制化部署,虛擬化技術(shù)與綠色科技結(jié)合，降低能耗 先進(jìn)、高效、智能的系統(tǒng)散熱方案 智能化的環(huán)境控制和能效管理系統(tǒng),虛擬化提高資源利用率， 簡化管理維度，節(jié)省維護(hù)成本 支持異構(gòu)資源兼容，實現(xiàn)業(yè)務(wù)的平滑升級,下一代數(shù)據(jù)中心的特征,基于云計算 的基礎(chǔ)架構(gòu),虛擬化,智能,綠色,低成本,與傳統(tǒng)的企業(yè)數(shù)據(jù)中心不同，云計算數(shù)據(jù)中心具有以下特點 自治性。 規(guī)模經(jīng)濟(jì)。 規(guī)?？蓴U(kuò)展。 研究重點： 數(shù)據(jù)中心網(wǎng)絡(luò)設(shè)計 以低成本、高帶寬、高可靠的方式連接大規(guī)模計算節(jié)點； 數(shù)據(jù)中心節(jié)能技術(shù),數(shù)據(jù)中心相關(guān)技術(shù),49,虛擬化技術(shù),50,虛擬化（Virtualization） 是將計算機(jī)物理資源如服務(wù)器、網(wǎng)絡(luò)、內(nèi)存及存儲等予以抽象、轉(zhuǎn)換后呈現(xiàn)出來，使用戶可以采用比原本的組態(tài)更好的方式來應(yīng)用這些資源。這些資源的新虛擬部份是不受現(xiàn)有資源的架設(shè)方式，地域或物理組態(tài)所限制。 包括： 軟件虛擬化 硬件輔助虛擬化 操作系統(tǒng)級虛擬化,虛擬化技術(shù),51,非虛擬化環(huán)境 難以管理 無靈活性 投資回報率低 眾多分立的采購,虛擬化技術(shù),52,數(shù)據(jù)中心為云計算提供了大規(guī)模資源。為了實現(xiàn)基礎(chǔ)設(shè)施服務(wù)的按需分配，需要研究虛擬化技術(shù)。虛擬化是IaaS 層的重要組成部分，也是云計算的最重要特點。虛擬化技術(shù)可以提供以下特點。 資源分享 資源定制 細(xì)粒度資源管理 為了進(jìn)一步滿足云計算彈性服務(wù)和數(shù)據(jù)中心自治性的需求，需要研究虛擬機(jī)快速部署和在線遷移技術(shù)。 虛擬機(jī)快速部署技術(shù) 虛擬機(jī)在線遷移技術(shù),PaaS 層作為3 層核心服務(wù)的中間層，既為上層應(yīng)用提供簡單、可靠的分布式編程框架，又需要基于底層的資源信息調(diào)度作業(yè)、管理數(shù)據(jù)，屏蔽底層系統(tǒng)的復(fù)雜性。隨著數(shù)據(jù)密集型應(yīng)用的普及和數(shù)據(jù)規(guī)模的日益龐大，PaaS 層需要具備存儲與處理海量數(shù)據(jù)的能力。 主要技術(shù)包括： 海量數(shù)據(jù)存儲與處理技術(shù) 資源管理與調(diào)度技術(shù),3.2 PaaS 層關(guān)鍵技術(shù),53,海量數(shù)據(jù)存儲技術(shù) 云計算環(huán)境中的海量數(shù)據(jù)存儲既要考慮存儲系統(tǒng)的I/O 性能，又要保證文件系統(tǒng)的可靠性與可用性。如為Google 設(shè)計了GFS（google file system），GFS 對其應(yīng)用環(huán)境做了6 點假設(shè)： 系統(tǒng)架設(shè)在容易失效的硬件平臺上； 需要存儲大量GB 級甚至TB 級的大文件； 文件讀操作以大規(guī)模的流式讀和小規(guī)模的隨機(jī)讀構(gòu)成； 文件具有一次寫多次讀的特點； 系統(tǒng)需要有效處理并發(fā)的追加寫操作； 高持續(xù)I/O 帶寬比低傳輸延遲重要。,海量數(shù)據(jù)存儲與處理技術(shù),54,海量數(shù)據(jù)存儲與處理技術(shù),55,GFS 執(zhí)行流程,數(shù)據(jù)處理技術(shù)與編程模型 PaaS 平臺不僅要實現(xiàn)海量數(shù)據(jù)的存儲，而且要提供面向海量數(shù)據(jù)的分析處理功能。由于PaaS 平臺部署于大規(guī)模硬件資源上，所以海量數(shù)據(jù)的分析處理需要抽象處理過程，并要求其編程模型支持規(guī)模擴(kuò)展，屏蔽底層細(xì)節(jié)并且簡單有效。 如：MapReduce 是Google 提出的并行程序編程模型,海量數(shù)據(jù)存儲與處理技術(shù),56,MapReduce 的執(zhí)行過程,副本管理技術(shù) 任務(wù)調(diào)度算法 任務(wù)容錯機(jī)制,資源管理與調(diào)度技術(shù),57,為了使云計算核心服務(wù)高效、安全地運行，需要服務(wù)管理技術(shù)加以支持。服務(wù)管理技術(shù)包括: QoS保證機(jī)制 安全與隱私保護(hù)技術(shù) 資源監(jiān)控技術(shù) 服務(wù)計費模型 .,3.3 服務(wù)管理層,58,4. 云計算研究現(xiàn)狀,59,IBM：藍(lán)云計劃 谷歌：Google App Engine 亞馬遜：彈性計算云Elastic Compute Cloud (EC2) 微軟：Windows Azure platform 惠普、英特爾、雅虎：Open Cirrus云計算測試平臺 Salesforce：軟件服務(wù)提供商 ,4. 云計算研究現(xiàn)狀,60,4. 云計算研究現(xiàn)狀,61,Google 101 計劃:卡耐基梅隆大學(xué)，MIT，斯坦福大學(xué)，加利福尼亞大學(xué)伯克利分校，馬里蘭大學(xué)和華盛頓大學(xué)。 學(xué)生們學(xué)習(xí)如何調(diào)整自己的程序來適應(yīng)Google計算機(jī)，并雄心勃勃地設(shè)計開發(fā)網(wǎng)絡(luò)規(guī)模的項目 這些數(shù)據(jù)可能用于開發(fā)新藥品和療法、制造新的清潔能源、甚至預(yù)測地震 2007年一年就增加了4個新的數(shù)據(jù)中心，平均每個成本達(dá)6億美元,4. 云計算研究現(xiàn)狀,62,Google,4. 云計算研究現(xiàn)狀,63,Google App Engine,4. 云計算研究現(xiàn)狀,64,Google App Engine,Google App Engine 提供運行和開發(fā)的基礎(chǔ)平臺，允許開發(fā)人員編寫網(wǎng)絡(luò)應(yīng)用，上傳至App Engine部署運行 支持Java和Python兩種開發(fā)語言 App Engine 應(yīng)用程序易于構(gòu)建和維護(hù)，并可根據(jù)訪問量和數(shù)據(jù)存儲需要，進(jìn)行伸縮。 將應(yīng)用程序隔離在它自己的安全可靠環(huán)境中，該環(huán)境與網(wǎng)絡(luò)服務(wù)器的硬件、操作系統(tǒng)和物理位置無關(guān),4. 云計算研究現(xiàn)狀,65,云計算時代的分布并行編程技術(shù) 分布并行數(shù)據(jù)處理技術(shù) Google MapReduce Hadoop MapReduce 分布式文件系統(tǒng) Google File System Hadoop Distributed File System 分布式數(shù)據(jù)庫 Google BigTable Hadoop HBase,云計算的分布并行編程技術(shù),4. 云計算研究現(xiàn)狀,66,分布并行數(shù)據(jù)處理,MapReduce 用于大規(guī)模數(shù)據(jù)并行處理 數(shù)據(jù)量大（超過1TB） 在成百上千個CPU上并行處理 用戶只需實現(xiàn)下面接口 map (in_key, in_value) - (out_key, intermediate_value) list reduce (out_key, intermediate_value list) - out_value list,分布并行數(shù)據(jù)處理（續(xù)）,67,MapReduce架構(gòu),4. MapReduce實現(xiàn)原理,68,分布式文件系統(tǒng),69,Google File System（GFS） 需求：在廉價、相對不可靠的計算機(jī)上對巨量數(shù)據(jù)進(jìn)行冗余存儲。 為什么不用現(xiàn)有的文件系統(tǒng)？-Google面對特殊的挑戰(zhàn) 文件較大，每個都在100M以上，通常為幾個GB 文件通常需要頻繁的追加 用流方式讀取 高吞吐量 低延遲 針對上述問題，GFS在文件系統(tǒng)性能和可伸縮性方面進(jìn)行了優(yōu)化設(shè)計。,Google文件系統(tǒng)(GFS),70,Google 48%,MSN 19%,Yahoo 33%,客戶端,互為備份,管理節(jié)點,GFS主節(jié)點,GFS主節(jié)點,C0,C1,C2,C5,數(shù)據(jù)結(jié)點1,C0,C2,C5,數(shù)據(jù)結(jié)點N,C1,C5,數(shù)據(jù)結(jié)點2,C1,分布式文件系統(tǒng)（續(xù)）,71,GFS的設(shè)計理念 文件用塊存儲 每個塊固定為64MB 通過冗余解決可靠性問題 每個塊同時拷貝在3個塊服務(wù)器上 主服務(wù)器負(fù)責(zé)協(xié)調(diào)訪問和保存元數(shù)據(jù) 簡單化的集中管理 定制化的API 無數(shù)據(jù)緩存 較大文件塊和流式讀取使得緩存效果不佳,分布式數(shù)據(jù)庫系統(tǒng),72,Google BigTable 為了處理Google內(nèi)部大量的格式化以及半格式化數(shù)據(jù)而構(gòu)建的大規(guī)模分布式數(shù)據(jù)庫管理系統(tǒng) 特點 面向大規(guī)模處理、容錯性強的自我管理系統(tǒng)，擁有TB級的內(nèi)存和PB級的存儲能力，每秒可以處理數(shù)百萬的讀寫操作 能夠保存記錄的不同時段的版本 構(gòu)建于GFS和MapReduce基礎(chǔ)之上,分布式數(shù)據(jù)庫系統(tǒng)（續(xù)）,73,BigTable的設(shè)計理念 面向網(wǎng)頁數(shù)據(jù)的發(fā)布、搜索和瀏覽等特定處理的需要，簡化數(shù)據(jù)管理系統(tǒng)的設(shè)計，并提高性能 不支持關(guān)聯(lián) 不支持SQL查詢 簡化數(shù)據(jù)的一致性管理 網(wǎng)頁數(shù)據(jù)的管理對一致性要求不高 簡化事務(wù)管理 網(wǎng)頁數(shù)據(jù)的處理（搜索、發(fā)布）對事務(wù)管理要求不高 面向海量數(shù)據(jù)管理要求 設(shè)計分割和合并管理機(jī)制（基于元數(shù)據(jù)） 設(shè)計自動伸縮功能（根據(jù)數(shù)據(jù)量調(diào)整資源用量）,分布式數(shù)據(jù)庫系統(tǒng)（續(xù)）,74,BigTable架構(gòu),國內(nèi)云計算企業(yè),75,5. 云計算的機(jī)遇與挑戰(zhàn),76,近年來，云計算技術(shù)得到了快速發(fā)展。 隨著它對人們?nèi)粘Ｉ畹挠绊懺絹碓缴钊耄朴嬎阕罱K使得計算和存儲成為一種公共資源，像水、電一樣滲透到人們生活的各個方面。 與此同時，新的應(yīng)用需求不斷出現(xiàn)，比如實時搜索，在線推薦系統(tǒng)，社交網(wǎng)絡(luò)分析等應(yīng)用，將給云計算技術(shù)帶來新的挑戰(zhàn)。,5. 云計算的機(jī)遇與挑戰(zhàn),77,云計算和移動互聯(lián)網(wǎng)的結(jié)合 云計算與科學(xué)計算的結(jié)合 端到云的海量數(shù)據(jù)傳輸 大規(guī)模應(yīng)用的部署與調(diào)試 新型的應(yīng)用對數(shù)據(jù)存儲量的要求更大 應(yīng)用的復(fù)雜度和實時性要求越來越高 應(yīng)用對數(shù)據(jù)隨機(jī)訪問的速度越來越高,6. 云計算與分布式處理,78,集中式:采用工作站/終端通過網(wǎng)絡(luò)/電纜共享大型計算機(jī)的計算與存儲資源; 分布式:在一個局域網(wǎng)中,每一臺機(jī)器既是一臺工作站,又是一臺服務(wù)器,沒有主從之分,也就是人們常說的P2P模式。整個系統(tǒng)在用戶看來就是一臺存儲容量大、計算能力強的虛擬機(jī)。 云計算：在互聯(lián)網(wǎng)中，由多臺計算（應(yīng)用）服務(wù)器和數(shù)據(jù)庫（存儲）服務(wù)器組成的,6. 云計算與分布式處理,79,一臺存儲容量大、技術(shù)能力強的虛擬機(jī)，分布式存儲及分布式計算模型是云計算體系架構(gòu)中的核心。 云計算技術(shù)與分布式處理技術(shù)的異同 相同之處：兩者都提供了一臺存儲容量大、技術(shù)能力強的虛擬機(jī)。 不同之處：分布式處理技術(shù)是P2P模式，在虛擬機(jī)上的用戶程序被分成多個模塊透明,6. 云計算與分布式處理,80,地分發(fā)到任意多臺機(jī)器上，通過它們之間的交互和協(xié)作共同完成用戶的程序。用戶的文件/數(shù)據(jù)存方在任意多臺機(jī)器上的存儲器中，可供透明地進(jìn)行訪問和修改。所有機(jī)器上的負(fù)載基本保持平衡。 而云計算技術(shù)是用戶通過虛擬機(jī)調(diào)用存放在存儲器群中的程序，該程序被透明地分發(fā)到任意一臺計算服務(wù)器上執(zhí)行,以保持計算服務(wù)器群的負(fù)載基本平衡。用戶的文,6. 云計算與分布式處理,81,文件/程序/數(shù)據(jù)存放在任意多臺存儲器中，可供透明地訪問和修改。 總而言之，分布式處理技術(shù)是云計算技術(shù)的基礎(chǔ)，而在分布式處理技術(shù)基礎(chǔ)上發(fā)展起來的云計算技術(shù)是一種基于互聯(lián)網(wǎng)的集中分布式處理技術(shù)。,謝謝大家！,計算機(jī)科學(xué)與計算學(xué)院,