存儲基礎培訓

《存儲基礎培訓》由會員分享，可在線閱讀，更多相關《存儲基礎培訓（89頁珍藏版）》請在裝配圖網(wǎng)上搜索。

1、Infortrend存儲基礎知識培訓,磁盤陣列,Infortrend廣州辦事處,什么是磁盤陣列,磁盤陣列簡稱RAID(Redundant Arrays of Inexpensive Disks) ，是由很多便宜、容量較小、穩(wěn)定性較高、速度較慢磁盤，組合成一個大型的磁盤組，利用個別磁盤提供數(shù)據(jù)所產(chǎn)生的加成效果來提升整個磁盤系統(tǒng)的效能。 磁盤陣列柜就是裝配了眾多硬盤的外置的RAID(簡稱陣列、盤柜、磁盤陣列),磁盤陣列發(fā)展1內部存儲,磁盤陣列發(fā)展2外部存儲(JBOD),磁盤陣列發(fā)展3模塊化存儲(雙控),磁盤陣列發(fā)展4多處理器(Scale up),磁盤陣列發(fā)展5虛擬化 (Scale out),,,常

2、見磁盤陣列系統(tǒng),磁盤陣列系統(tǒng)裝置前視圖,磁盤陣列系統(tǒng)裝置后視圖,磁盤陣列系統(tǒng)裝置背板,陣列控制器內部結構,Block Diagram,Server / Servers or Switch / Switches or Zones on one Switch,,,,,陣列控制器外部結構,iSCSI 主機控制器面板,光纖主機控制器面板,SAS 主機控制器面板,Infortrend控制器緩存保護技術,CBM (緩存?zhèn)浞菽K) BBU + Flash 備份模塊 Cache Safe 技術 Cache safe技術可在突然斷電的情況下將緩存中數(shù)據(jù)永久保存在Flash SSD中，不受傳統(tǒng)的72小時保護機制限

3、制.,典型中端磁盤陣列擴展,數(shù)據(jù)存儲架構DAS NAS SAN,DAS (Direct Attached Storage),存儲設備直接連接到服務器； 傳統(tǒng)的、最常見的連接方式，容易理解、規(guī)劃和實施； 沒有獨立操作系統(tǒng)，不能提供跨平臺的文件共享，各平臺下數(shù)據(jù)需分別存儲； 各DAS系統(tǒng)之間沒有連接，數(shù)據(jù)只能分散管理；備份軟件不能離開服務器支持；DAS的前期投資比較少；,,,,文件服務器,存儲設備,,,應用服務器,存儲設備,,,數(shù)據(jù)庫服務器,存儲設備,LAN,,,,數(shù)據(jù)流,數(shù)據(jù)流,數(shù)據(jù)流,,NAS (Network Attached Storage),NAS本身裝有獨立的OS，通過網(wǎng)絡協(xié)議可以實現(xiàn)

4、完全跨平臺共享，支持WinNT、Linux、Unix等系統(tǒng)共享同一存儲分區(qū)；NAS可以實現(xiàn)集中數(shù)據(jù)管理；一般集成本地備份軟件，可以實現(xiàn)無服務器備份功能；NAS系統(tǒng)的前期投入相對較高。 NAS內每個應用服務器通過網(wǎng)絡共享協(xié)議（如：NFS、CIFS）使用同一個文件管理系統(tǒng)；NAS關注應用、用戶和文件以及它們共享的數(shù)據(jù)；磁盤I/O會占用業(yè)務網(wǎng)絡帶寬。,,,文件服務器,,應用服務器,,NAS存儲設備,LAN,,,,,,,,數(shù)據(jù)流,數(shù)據(jù)流,,SAN (Storage Area Network),SAN是獨立出一個數(shù)據(jù)存儲網(wǎng)絡，網(wǎng)絡內部的數(shù)據(jù)傳輸率很快，但操作系統(tǒng)仍停留在服務器端，用戶不直接訪問SAN的網(wǎng)

5、絡；SAN關注磁盤、磁帶以及聯(lián)接它們的可靠的基礎結構 ； 高可用性，高性能的專用存儲網(wǎng)絡，用于安全的連接服務器和存儲設備并具備靈活性和可擴展性；SAN對于數(shù)據(jù)庫環(huán)境、數(shù)據(jù)備份和恢復存在巨大的優(yōu)勢；SAN是一種非常安全的，快速傳輸、存儲、保護、共享和恢復數(shù)據(jù)的方法。,,,文件服務器,,應用服務器,存儲設備,LAN,數(shù)據(jù)流,,,SAN,,,,存儲設備,存儲設備,,,數(shù)據(jù)流,,,存儲網(wǎng)絡的三種形態(tài)比較,存儲架構適用分類,SAN: 提供可用性、可管理性和擴展性 目標應用: 數(shù)據(jù)庫/ERP/OLTP 災難恢復 數(shù)據(jù)倉儲,NAS: 易于安裝和管理，低價位, 目標應用: 文件服務器集中/更換 PDM/CAD

6、 文件共享,,,DAS: 只適用于小型商務,多路徑,冗余路徑管理軟件能夠解決哪些問題？ 避免存儲鏈路單點故障 保證在磁盤陣列控制器切換時數(shù)據(jù)訪問的不間斷 多鏈路負載均衡提升存儲系統(tǒng)訪問性能,數(shù)據(jù)存儲需求挖掘？,廣州原創(chuàng)動力數(shù)據(jù)集中存儲、管理一體化解決方案,數(shù)據(jù)分層與數(shù)據(jù)分級？,備份/恢復技術,,備份（Backup） 收集數(shù)據(jù)存儲在非易失性的存儲介質上（通常為可移動的介質），萬一當原先的數(shù)據(jù)丟失或不能訪問時，可以用來進行恢復。 備份就是創(chuàng)建備份副本的操作, 應用和用戶不能直接訪問備份副本。 備份方式：LAN備份、LAN Free備份、Server Free備份。,什么是備份？,文件服務器,數(shù)據(jù)庫

7、服務器,備份服務器,磁帶庫,磁帶,RTO (恢復時間目標) 在業(yè)務中斷后的某一個時間點，業(yè)務的進程或應用服務必須恢復，確保業(yè)務正常進行（你能接受多長的宕機時間） RPO (恢復點目標) 在已確定的RTO內，應用數(shù)據(jù)或文件系統(tǒng)信息必須恢復到某一個時間順序點 (你能接受丟失多少數(shù)據(jù)）,什么是RTO/RPO？,,,數(shù)據(jù)保護時間軸,,,,,,,,Failure 出錯時刻,12 hrs,12 hrs,12 hrs,12 hrs,12 hrs,12 hrs,全備份,...........,全備份,,,全備份是在某一個時間點上所有數(shù)據(jù)的一個完全拷貝,Full backup（全備份）,備份類型-全備,全備份,

8、...........,增量,全備份,,,,,,,增量備份即對上次備份以后的最新變化數(shù)據(jù)的備份,,,Incremental Backups（增量備份）,備份類型-增量,全備份,差分,全備份,,,,,,,,,,差分備份即對上一次全備份以后的所有變化數(shù)據(jù)的備份,...........,Differential Backups（差分備份）,備份類型-差分,合成全備份,合成全備份：將增量備份或差異備份合成一份全備文件,LAN環(huán)境下數(shù)據(jù)流走向,,,,,,Application Server,,,,,,,LAN,RAID or JBOD,,Tape Library,Backup Server,LANfre

9、e備份數(shù)據(jù)流的走向,,,,,,,,,,,Local Area Network,Metadata,Backup Server,Backup Client,Serverfree數(shù)據(jù)流走向,,,,,,,,,,,Disk,Fibre Channel,Local Area Network,Storage Area Network,產(chǎn)品背景： 存儲介質售價一直都在不停下降，卻遠遠趕不上數(shù)據(jù)保存和備份的數(shù)據(jù)量的攀升速度，在這種環(huán)境下重復刪除技術應運而生。 重復數(shù)據(jù)刪除是一種數(shù)據(jù)縮減技術，通常用在基于磁盤的備份系統(tǒng)，目的是為了減少存儲系統(tǒng)中使用的存儲容量。采用“重復刪除”技術可以將存儲的數(shù)據(jù)縮減為原

10、來的1/15，從而讓出更多的備份空間，不僅可以使磁盤上的備份數(shù)據(jù)保存更長的時間，而且還可以節(jié)約離線存儲時所需的大量的帶寬。 用更少的空間存更多的數(shù)據(jù)。,重復數(shù)據(jù)刪除,依據(jù)數(shù)據(jù)處理方式的不同，分為以下兩種： 其一是在線處理（Inline），Data Domain就是這一技術的代表廠商，這一方式中，數(shù)據(jù)在讀進來之后，在存到磁盤之前就已經(jīng)進行了重復數(shù)據(jù)刪除； 其二是以昆騰作為代表的后處理（Post-processing），采用這一方式的話，數(shù)據(jù)在存到磁盤上后，才會進行重復數(shù)據(jù)刪除，在存到磁盤前，數(shù)據(jù)沒有減少。,重復數(shù)據(jù)刪除的處理方式,快照（Snapshot） 為指定的數(shù)據(jù)集創(chuàng)建一個完全可

11、用的數(shù)據(jù)副本，它包含了副本在創(chuàng)建時刻（時間點）的數(shù)據(jù)映像 快照實現(xiàn)方法： 存儲嵌入式快照：快照軟件運行在網(wǎng)上的存儲設備中 基于主機的快照：快照軟件運行在服務器中，通常駐留在操作系統(tǒng)級別的邏輯卷中,快照,,File Server,Database Server,Backup Servers,Tape Library,Tapes,Continuous Data Protection持續(xù)數(shù)據(jù)保護是一套方法，CDP可以捕獲或跟蹤數(shù)據(jù)的變化，并將其獨立存放在生產(chǎn)數(shù)據(jù)之外，以確保數(shù)據(jù)可以恢復到過去的任意時間點。持續(xù)數(shù)據(jù)保護系統(tǒng)可以基于塊、文件或應用實現(xiàn)，可以為恢復對象提供足夠細的恢復粒度，實現(xiàn)幾乎無限多的

12、恢復時間點?！? 從數(shù)據(jù)保護時間上分為：CDP技術分為真CDP（True CDP）和準CDP（Near CDP）兩類,CDP 技術簡述,,備份、快照、復制、CDP,,Archive(歸檔),將相對不重要的數(shù)據(jù)轉移到速度較慢并且價格便宜的存儲介質上，是一種最原始卻最為有效的節(jié)約成本的方式。數(shù)據(jù)歸檔集成了數(shù)據(jù)遷移、管理、收集、保存以及介質管理等功能 ，主要用于長久保存數(shù)據(jù)和文件以備日后查詢取用。,數(shù)據(jù)備份手段 一,硬件級備份 硬件級的備份是指用冗余的硬件來保證系統(tǒng)的連續(xù)運行。比如磁盤鏡像，雙機容錯等方式。如果主硬件損壞，后備硬件馬上能夠接替其工作，這種方式可以有效地防止硬件故障，但無法防止數(shù)

13、據(jù)的邏輯損壞 當邏輯損壞發(fā)生時，硬件備份只會將錯誤復制一遍，無法真正保護數(shù)據(jù)。硬件備份的作用實際上是保證系統(tǒng)在出現(xiàn)故障時能夠連續(xù)運行，更應稱為硬件容錯,數(shù)據(jù)備份手段 二,軟件級備份 軟件級的備份是指通過備份軟件將數(shù)據(jù)保存到其他介質上，當出現(xiàn)錯誤時可以將系統(tǒng)恢復到備份時的狀態(tài)。由于這種備份是由軟件來完成的，所以稱為軟件備份。 用這種方法備份和恢復都要花費一定時間。但這種方法可以完全防止邏輯損壞，因為備份介質和計算機系統(tǒng)是分開的，錯誤不會復寫到介質上。這就意味著，只要保存足夠長時間的歷史數(shù)據(jù)，就能夠恢復正確的數(shù)據(jù)。,數(shù)據(jù)備份手段 三,人工手動備份 人工級的備份最為原始，也最簡單的備份。

14、但如果要用手工方式從頭恢復所有數(shù)據(jù)，耗費的時間恐怕會令人難以忍受。,備份需求挖掘？,集群基礎,什么是集群技術？ 所謂集群就是為客戶機提供資源的一組計算機系統(tǒng)，常見集群技術一般包括三類： 高可用集群（以減少服務器中斷時間為目的的集群技術） 高性能計算集群（以提高科學計算能力為目的的計算機集群技術） 高擴展集群（帶負載均衡策略的服務器群集）,,,集群技術：至少將兩個系統(tǒng)連接到一起，使兩個或者以上的服務器能夠像一臺機器那樣工作或者看起來好像一臺機器。例如，一個有兩臺服務器生成的WEB服務器集群系統(tǒng)，它對每個終端用戶是透明的，而且完全就像一臺服務器在工作。,集群概述,,服務器A,服務器B,鏡像盤,心跳

15、線,,,公用網(wǎng)絡,1、在服務器之間，通過網(wǎng)絡方式鏡像數(shù)據(jù)，不需要采購磁盤陣列，節(jié)約成本 2、大數(shù)據(jù)量讀寫時，兩臺服務器會出現(xiàn)數(shù)據(jù)不同步 3、鏡像數(shù)據(jù)占用大量服務器資源，降低系統(tǒng)性能,無磁盤陣列,有磁盤陣列,1、雙機集群的主流配置方式 2、采用了共享存儲，消除數(shù)據(jù)不同步的現(xiàn)象，系統(tǒng)性能不會降低 3、多服務器集群常采用NAS模式實現(xiàn)存儲共享,集群的存儲系統(tǒng),,,,雙機熱備,,,,磁盤陣列,,心跳連接,,,,公用網(wǎng)絡,,客戶端,,Active,Standby,服務器A,服務器B,應用,雙機熱備是指兩臺計算機為某一目的組合在一起的技術，兩臺計算機構成系統(tǒng)的兩個節(jié)點，當其中一個節(jié)點不可用或者不能處理用戶

16、請求的時候，系統(tǒng)自動將該節(jié)點資源轉移到另一個節(jié)點處理。,,,,雙機互備,,,,磁盤陣列,,心跳連接,,,,公用網(wǎng)絡,,客戶端,,Active,Active,服務器A,服務器B,應用A,應用B,構建適用的存儲系統(tǒng) --Infortrend產(chǎn)品交流,,1993年創(chuàng)立，致力于磁盤陣列控制器以及整機產(chǎn)品的研發(fā)； 在美國、歐洲、亞洲多個國家設有分支機構； 全球眾多OEM合作伙伴，包括Quantum、Adaptec、Sun、 DotHill， Toshiba，Bosch，HoneyWell，曙光，浪潮，聯(lián)想 中興等知名企業(yè)； 世界第3大，亞洲第1大磁盤陣列廠商 擁有眾多的專利技術，處于第三方存儲產(chǎn)

17、品市場的領先地位； 多規(guī)格、多技術的磁盤陣被廣泛應用到世界各地的眾多領域； 平均故障率業(yè)內最低。,一、Infortrend公司簡介,Infortrend公司實力,,,技術開發(fā)人員 (3),項目管理 (17),專利申請 (7),TR IP,PM,EMC/ Safety,EVT DVT,ASIC Firmware 硬件 機械設計 軟件,信號 完整性,,ASIC 設計 (12) Firmware 設計（23) 軟件設計 (15) 硬件設計 (22) - EE hardware design - Utility design 機械設計14) - Mechanism design - Ther

18、mal team,,,信號完整性 (7) Board simulation High Frequency signal problem solving EMC / 安全 (12) 工程驗證測試(13) 設計驗證測試 (32) Product Maturity test Environment test HALT / HASS test,,,堅實而強大的技術基礎 Total: 177名核心技術研發(fā)人員,,產(chǎn)品一站式設計與制造,,,100% 自主研發(fā), 包括 ASIC, firmware, 硬件和整機系統(tǒng)集成 專業(yè)的設計、生產(chǎn)部門，每一部件都經(jīng)過嚴苛測試 Infortrent具有存儲行業(yè)最長的產(chǎn)

19、品線 多項技術都是全球首發(fā) 8Gb/s FC-host RAID array ---2009年 2.5”-drive RAID array ---2007年 SAS-drive RAID array ---2005 SATA-drive RAID array ---2003,,,,功 能,,Entry-level,Midrange,High-end,,,,,,1U-4U FC, iSCSI, SAS, SCSI host SAS, SATA, FC drives 最大擴展 224 顆磁盤,基于 EonStor硬件 支持 快照 和卷拷貝/卷鏡像,Scale-out（橫向擴展） 存儲虛擬化 FC,

20、 iSCSI 主機同道 SAS, SATA 磁盤 （SSD固態(tài)磁盤 ） 最大擴展 1344 顆磁盤,,Infortrend產(chǎn)品之路,Infortrend里程碑,,,,,,,,,存儲控制器OEM / ODM300 個型號全球銷量200,000,EonStor 入門級 DAS/SAN 存儲系統(tǒng)400 個型號 全球銷量128,000,SANWatch 存儲 管理軟件,ESVA 中高端 虛擬化存儲系統(tǒng),,EonStor DS入門級 DAS/SAN 存儲系統(tǒng) (加入數(shù)據(jù)保護軟件),,Source: Worldwide Disk Storage Systems 2007 Vendor Shares : Y

21、ear in Review, IDC,2007年磁盤存儲排名,60,,,全球：入門級存儲陣列供應商出貨量所占市場份額（0-24999美元）,全球：外接存儲陣列供應商出貨量所占市場份額-針對所有操作系統(tǒng),,,2010年3月數(shù)據(jù) 來自Gartner,Infortrend產(chǎn)品亮點概覽,整機模塊化無線纜設計,RISC+ASIC架構控制器,CacheSafe,綠色環(huán)保設計,多種管理警示方式,- 智能磁盤降速 80Plus認證電源,- LCD前面板 SANWatch一體化存儲管理套件 基于Java的WEB瀏覽器管理 RS-232管理 蜂鳴報警及指示燈、Email、 SNMP等方式,擴展能力,傳承的高可用性

22、硬件設計,無單點故障 冗余熱插拔部件 PSU, FAN, RAID Controller 數(shù)據(jù)傳輸保障 CacheSafe緩存保護技術杜絕系統(tǒng)斷電造成的數(shù)據(jù)丟失 多種管理及警示方式 SANWatch一體化集成管理套件,Redundant Power Supplies & Fans,,,Redundant Controllers,快照及卷拷貝/鏡像/遠程復制,快照 數(shù)千份指針型快照 幾秒種內恢復數(shù)據(jù) 卷拷貝/鏡像/遠程復制 卷拷貝/鏡像實現(xiàn)本地備份 遠程復制實現(xiàn)數(shù)據(jù)容災 同步/異步兩種復制模式,80+高效率電源 提供高于80的交直流轉換效率 磁盤 drive spin-down 技術 節(jié)省高達

23、65% 的power 兩段式風扇，動態(tài)冷卻機制,綠色節(jié)能設計,Source: datasheet/ spec of each storage vender,EonStor系列產(chǎn)品概述,簡易,穩(wěn)定,實用,極富性價比的入門級磁盤存儲 1U/2U/3U/4U,12/16/24Bay SATA, SAS,FC,SSD多種磁盤規(guī)格 融合6Gb SAS,FC 8Gb,ISCSI 10Gb等尖端接口技術 PowerPC, 獨立ASIC XOR引擎 FC-SAN,IP-SAN,DAS多種存儲架構,,EonStor 系列產(chǎn)品結構,EonStor DS系列產(chǎn)品概述,穩(wěn)健，可靠，高效的中端存儲解決方案 控制器2P1

24、A(2PowerPC+1ASIC667)，Active-Active雙活設計 廣泛的SAN連接性 FC 8Gb,ISCSI 10Gb 支持AIX,HP-UX,Solaris，Linux，Windows等眾多系統(tǒng)平臺，Vmware ESX認證 完善的多路徑管理（Multipath）解決方案 增強的數(shù)據(jù)保護功能,,ESDS系列產(chǎn)品結構,DS=Data Service,EonStor DS系列產(chǎn)品特點,培訓,驗收,實施,高性能,增值,ESVA-開創(chuàng)存儲新紀元,,Enterprise Scalable Virtualized Architecture 企業(yè)級可擴充的虛擬化存儲系統(tǒng)架構,基于虛擬化技

25、術的集群存儲架構 SCALE-OUT/UP架構，實現(xiàn)性能和容量的同步提升 自動精簡技術（Thin provisioning）最大化存儲利用率 并行I/O技術和多通道負載均衡機制最優(yōu)化存儲系統(tǒng)的性能 關鍵任務優(yōu)先QOS 高級數(shù)據(jù)保護功能強化數(shù)據(jù)安全與業(yè)務連續(xù)性,ESVA虛擬化集群架構,,,傳統(tǒng)通道帶寬恒定不變,存儲容量利用率低,,,,,,,,,,,Scale-Up 縱向擴展,單一系統(tǒng)CPU,單一系統(tǒng)內存,單一系統(tǒng)帶寬,Scale up 縱向擴展,,數(shù)據(jù)空間集中管理,Scale Out橫向擴展,向虛擬池添加子系統(tǒng),Application Server,2TB,,,,2TB,,,,Virtual P

26、ool,,,遷移數(shù)據(jù)停機時間為0,,,,,,,,,2 x Bandwidth,從虛擬池中刪除子系統(tǒng),Application Server,2TB,,,,2TB,,,,Virtual Pool,,,遷移數(shù)據(jù)停機時間為0,,,,,,,,,76,76,ESVA分布式負載平衡,增強的EonPath多路徑技術 IO請求均勻的分布于存儲系統(tǒng)的各個虛擬池成員中 橫向擴展架構中，性能成線性上升,關健任務優(yōu)先-QOS,,可針對不同的應用的重要性或訪問頻度來定義訪問優(yōu)先級 計算能力，帶寬，Cache，容量等資源均可自動調節(jié) 面向應用的存儲服務(AOS),,存 儲 池,,,,,,,,,,ESVA N+1架構,ESV

27、A自動分級存儲,依據(jù)IO數(shù)據(jù)塊活躍程度自動區(qū)分磁盤性能存儲數(shù)據(jù)塊,,,,,,,,,,,,,,,,,,,,,,,ESVA重復數(shù)據(jù)刪除,81,ESVA自動精簡配置,在數(shù)據(jù)寫入時，動態(tài)的 分配容量 成本效益 延遲采購設備 使容量利用率最優(yōu)化 30-40% 80-90% 降低能源、空間和制冷的費用 管理效益 擴展卷時，不需要停機時間 簡化容量規(guī)劃 消除個別卷的使用率低 監(jiān)控的人工投入減少,數(shù)據(jù)保護 軟硬兼施,基本數(shù)據(jù)保護 卷快照 1024/VOL 卷復制 卷鏡像 高級數(shù)據(jù)保護 遠程復制 防范物理故障,邏輯故障 基于數(shù)據(jù)的增值應用 數(shù)據(jù)備份 數(shù)據(jù)分析 開發(fā)測試,智能數(shù)據(jù)保護,快照 在短期內恢復文件和回滾

28、數(shù)據(jù) 卷鏡像/復制 發(fā)生災難后，能在幾分鐘內重啟服務 在單個虛擬池中或多個虛擬池之間進行拷貝,遠程復制,同步模式/異步模式 目標卷上備有快照,,Virtual Pool #1,,Virtual Pool #2,,,,,,,,,,,,,,,,采用同步模式進行數(shù)據(jù)I/O,采用異步模式進行數(shù)據(jù)讀寫,,,,性能對比,SPC-1 (Storage Performance Council)在相同環(huán)境下對同檔次產(chǎn)品進行的性能測試報告,ESVA帶寬性能,ESVA F60 單節(jié)點 700-800MB ESVA F60 12節(jié)點 7GB-8GB ESVA F20 單節(jié)點 550-600MB ESVA F20 12節(jié)點 6GB-7GB Hx公司官方公布XP系列帶寬表現(xiàn),ESVA 產(chǎn)品FC,ESVA的適用環(huán)境,高性能計算環(huán)境 數(shù)字媒體制作環(huán)境 企業(yè)級數(shù)據(jù)庫應用 數(shù)據(jù)中心，存儲整合 虛擬化應用環(huán)境,Thanks！,