阿里數(shù)據(jù)庫架構(gòu)變遷與展望

《阿里數(shù)據(jù)庫架構(gòu)變遷與展望》由會員分享，可在線閱讀，更多相關(guān)《阿里數(shù)據(jù)庫架構(gòu)變遷與展望（38頁珍藏版）》請在裝配圖網(wǎng)上搜索。

1、阿里數(shù)據(jù)庫架構(gòu)變遷與展望 2015中國數(shù)據(jù)庫技術(shù)大會 DATABASE TECHNOLOGY CONFERENCE CHINA 201 5 大數(shù)據(jù)技術(shù)探索和價值發(fā)現(xiàn) ⑥ ChinaUmx ST^UB ?S! 阿里數(shù)據(jù)庫體系的四個時代 用ys 房應(yīng)M 機個機 4n- 4H- 異地雙活 單元化 AliSQL 異地多活 云化 自研 OceanBase 同城多機房 垂直拆分 商業(yè)IOE 無冕之王 新機遇新挑戰(zhàn) 輝煌麗弋 曲JO3 -

2、 2 必 淘寶初創(chuàng) 淘寶初創(chuàng) U ? JLEfl - H 堡古島-ML - Sfc N A Auction Member Search 復(fù)制 Apache Mo Mod_php4 P€ MySQL Slave MySQL Slave MySQL Master 復(fù)制 問題： ＞單機MyS

3、QL數(shù)據(jù)庫迅速達到瓶頸 解法： ＞ MySQL遷移到Oracle ,并逐步升級硬件，到小型機, 高端存儲，最終形成IOE架構(gòu) 效果： ＞支撐了淘寶2004到2009發(fā)展高峰 輝煌時代TO E Of：療矯 UMtS EM irx/i irx*7 問題： 擴展性、可用性 ?垂直擴展走到了極限 ?集中式，穩(wěn)定性的挑戰(zhàn) 掌控力 ?閉源的Oracle ?封閉的小機/存儲 回首往事-從10E架構(gòu)走向AliSQL分布式架構(gòu) 第

4、一次推動中國數(shù)據(jù)庫產(chǎn)業(yè)變革 ＞獲得無限掌控力 ? 數(shù)據(jù)庫限流-第一次自己的命運自己掌握 ? 熱點更新優(yōu)化--定制優(yōu)化熱點商品減庫存業(yè)務(wù)場景 ? 線程池特性優(yōu)化-定制優(yōu)化高連接數(shù)并發(fā)場景 ? 專場7數(shù)據(jù)庫調(diào)優(yōu)，阿里巴巴章穎強 無限可能，盡在掌握 無冕之王一AliSQL 12年歷程回顧 淘寶網(wǎng)創(chuàng)建 1應(yīng)用Java化改造 垂直拆分完成 支付寶完成去IE 硬件不斷升級 A 去IOE啟動 2003 2004 2005 2006 2007 2008 2009 2010 2011 2012 2013 201

5、4 商品庫完成 IOE _引入小型機 引入Oracle 一 水平拆分完成 開始嘗試MySQL 淘寶全網(wǎng)完成去IOE 支付寶交易完成OB改造 新挑戰(zhàn)新機遇 >全網(wǎng)架構(gòu) ?資源限制,一個城市已經(jīng)不能滿足需求 單元化 ?容災(zāi),單地域機房風(fēng)險 >AliSQL ?分表數(shù)量龐大 > OceanBase ?集群拆分接近極限 A業(yè)務(wù)開發(fā)復(fù)雜度 ?路由，關(guān)聯(lián)，聚合，訂正 新挑戰(zhàn)新機遇--單元化 cdnN 按用戶分流 單元1 單元2 單元N 中心 -接入層 I同步調(diào)用 中心服務(wù)層 I異步

6、消息 接入層 接入層 接入層 服務(wù)層 服務(wù)層 ［服務(wù)層］ 單元化 新挑戰(zhàn)新機遇--單元化 對應(yīng)用挑戰(zhàn)的及解法 單元內(nèi)封閉 A延遲同步調(diào)用的影響 ,同一機房0.2 ms ?同一城市l(wèi)~5ms ?跨城市5ms~ 100 ms ?幾百次調(diào)用吞吐量下降 ?數(shù)據(jù)復(fù)制延遲問題 新挑戰(zhàn)新機遇--單元化 對數(shù)據(jù)庫的挑戰(zhàn)及解法 ＞中心及各個單元間數(shù)據(jù)拆分原則 數(shù)據(jù)買家維度拆分 數(shù)據(jù)質(zhì)量保障 _ ? 數(shù)據(jù)多點寫入風(fēng)險 單元間D RC數(shù)據(jù)復(fù)制 ?

7、數(shù)據(jù)復(fù)制一致性，正確性保障 ? 專場13阿里巴巴錢在晨 單元化效益 穩(wěn)定性 ?變更范圍 ?故障恢復(fù)時間 伸縮能力 ?擺脫機房限制 ?伸縮規(guī)模再次增強 新挑戰(zhàn)新機遇■ 橫跨三年的項目 探索 [ 項目啟動 I I 2013-08 I 2013-05 ? 同城兩單元? -單元化 攻堅 收尾 多地域，更遠距離 異地雙活 雙11洗禮 新挑戰(zhàn)新機遇 >全網(wǎng)架構(gòu) ?資源限制,一個城市已經(jīng)不能滿足需求 單元化 ?容

8、災(zāi),單地域機房風(fēng)險 >AliSQL ?分表數(shù)量龐大 > OceanBase ?集群拆分接近極限 A業(yè)務(wù)開發(fā)復(fù)雜度 ?路由，關(guān)聯(lián)，聚合，訂正 新挑戰(zhàn)新機遇—OceanBase Data （固態(tài)盤） 數(shù)據(jù)存儲：多機磁盤 修改增量：單機內(nèi)存 增刪改 Query 修改增量 （內(nèi)存） =基線數(shù)據(jù)中 SQL IJ SQL | SQL SQL SQL SQL SQL SQL aorg—erv、r Qr ^

9、kServe MergeServer Chunkserver Root Server Update Server MergeServer Chunkserver 修改增量 基線數(shù)據(jù) MergeServer Chunkserver IV erjc!?erver ChunkJerver 應(yīng)用接口 MergeServer Chunkserver ＞基于Paxos的高可用方案 ?以不可靠部件提供可靠服 ?小于半數(shù)的分區(qū)容忍性 ?較高的可用性（最大35s不可用） ?強一致性 RootServer 宕機/程序異常退出 35S/不可用 UpdateSe

10、rver 宕機/程序異常退出 25s左右/不nJ用 MergeServer 宕機/程序異常退出 1分鐘/少量讀超時 ChunkServer 宕機/程序異常退出 1分鐘/少量讀超時 主集群不可用 如出現(xiàn)機房斷網(wǎng)情況 35s/不nJ用 角色 異常描述 時間/影響 OceanBase^ ■ ■■wrf ri Spat r0 ? 20142(v0.5) 2010 2011 2012 s I 013 2014 015 2016 017 Vl.x全面覆蓋