阿里數(shù)據(jù)庫(kù)架構(gòu)變遷與展望

《阿里數(shù)據(jù)庫(kù)架構(gòu)變遷與展望》由會(huì)員分享，可在線閱讀，更多相關(guān)《阿里數(shù)據(jù)庫(kù)架構(gòu)變遷與展望（38頁(yè)珍藏版）》請(qǐng)?jiān)谘b配圖網(wǎng)上搜索。

1、阿里數(shù)據(jù)庫(kù)架構(gòu)變遷與展望 2015中國(guó)數(shù)據(jù)庫(kù)技術(shù)大會(huì) DATABASE TECHNOLOGY CONFERENCE CHINA 201 5 大數(shù)據(jù)技術(shù)探索和價(jià)值發(fā)現(xiàn) ⑥ ChinaUmx ST^UB ?S! 阿里數(shù)據(jù)庫(kù)體系的四個(gè)時(shí)代 用ys 房應(yīng)M 機(jī)個(gè)機(jī) 4n- 4H- 異地雙活 單元化 AliSQL 異地多活 云化 自研 OceanBase 同城多機(jī)房 垂直拆分 商業(yè)IOE 無(wú)冕之王 新機(jī)遇新挑戰(zhàn) 輝煌麗弋 曲JO3 -

2、 2 必 淘寶初創(chuàng) 淘寶初創(chuàng) U ? JLEfl - H 堡古島-ML - Sfc N A Auction Member Search 復(fù)制 Apache Mo Mod_php4 P€ MySQL Slave MySQL Slave MySQL Master 復(fù)制 問(wèn)題： ＞單機(jī)MyS

3、QL數(shù)據(jù)庫(kù)迅速達(dá)到瓶頸 解法： ＞ MySQL遷移到Oracle ,并逐步升級(jí)硬件，到小型機(jī), 高端存儲(chǔ)，最終形成IOE架構(gòu) 效果： ＞支撐了淘寶2004到2009發(fā)展高峰 輝煌時(shí)代TO E Of：療矯 UMtS EM irx/i irx*7 問(wèn)題： 擴(kuò)展性、可用性 ?垂直擴(kuò)展走到了極限 ?集中式，穩(wěn)定性的挑戰(zhàn) 掌控力 ?閉源的Oracle ?封閉的小機(jī)/存儲(chǔ) 回首往事-從10E架構(gòu)走向AliSQL分布式架構(gòu) 第

4、一次推動(dòng)中國(guó)數(shù)據(jù)庫(kù)產(chǎn)業(yè)變革 ＞獲得無(wú)限掌控力 ? 數(shù)據(jù)庫(kù)限流-第一次自己的命運(yùn)自己掌握 ? 熱點(diǎn)更新優(yōu)化--定制優(yōu)化熱點(diǎn)商品減庫(kù)存業(yè)務(wù)場(chǎng)景 ? 線程池特性優(yōu)化-定制優(yōu)化高連接數(shù)并發(fā)場(chǎng)景 ? 專場(chǎng)7數(shù)據(jù)庫(kù)調(diào)優(yōu)，阿里巴巴章穎強(qiáng) 無(wú)限可能，盡在掌握 無(wú)冕之王一AliSQL 12年歷程回顧 淘寶網(wǎng)創(chuàng)建 1應(yīng)用Java化改造 垂直拆分完成 支付寶完成去IE 硬件不斷升級(jí) A 去IOE啟動(dòng) 2003 2004 2005 2006 2007 2008 2009 2010 2011 2012 2013 201

5、4 商品庫(kù)完成 IOE _引入小型機(jī) 引入Oracle 一 水平拆分完成 開始嘗試MySQL 淘寶全網(wǎng)完成去IOE 支付寶交易完成OB改造 新挑戰(zhàn)新機(jī)遇 >全網(wǎng)架構(gòu) ?資源限制,一個(gè)城市已經(jīng)不能滿足需求 單元化 ?容災(zāi),單地域機(jī)房風(fēng)險(xiǎn) >AliSQL ?分表數(shù)量龐大 > OceanBase ?集群拆分接近極限 A業(yè)務(wù)開發(fā)復(fù)雜度 ?路由，關(guān)聯(lián)，聚合，訂正 新挑戰(zhàn)新機(jī)遇--單元化 cdnN 按用戶分流 單元1 單元2 單元N 中心 -接入層 I同步調(diào)用 中心服務(wù)層 I異步

6、消息 接入層 接入層 接入層 服務(wù)層 服務(wù)層 ［服務(wù)層］ 單元化 新挑戰(zhàn)新機(jī)遇--單元化 對(duì)應(yīng)用挑戰(zhàn)的及解法 單元內(nèi)封閉 A延遲同步調(diào)用的影響 ,同一機(jī)房0.2 ms ?同一城市l(wèi)~5ms ?跨城市5ms~ 100 ms ?幾百次調(diào)用吞吐量下降 ?數(shù)據(jù)復(fù)制延遲問(wèn)題 新挑戰(zhàn)新機(jī)遇--單元化 對(duì)數(shù)據(jù)庫(kù)的挑戰(zhàn)及解法 ＞中心及各個(gè)單元間數(shù)據(jù)拆分原則 數(shù)據(jù)買家維度拆分 數(shù)據(jù)質(zhì)量保障 _ ? 數(shù)據(jù)多點(diǎn)寫入風(fēng)險(xiǎn) 單元間D RC數(shù)據(jù)復(fù)制 ?

7、數(shù)據(jù)復(fù)制一致性，正確性保障 ? 專場(chǎng)13阿里巴巴錢在晨 單元化效益 穩(wěn)定性 ?變更范圍 ?故障恢復(fù)時(shí)間 伸縮能力 ?擺脫機(jī)房限制 ?伸縮規(guī)模再次增強(qiáng) 新挑戰(zhàn)新機(jī)遇■ 橫跨三年的項(xiàng)目 探索 [ 項(xiàng)目啟動(dòng) I I 2013-08 I 2013-05 ? 同城兩單元? -單元化 攻堅(jiān) 收尾 多地域，更遠(yuǎn)距離 異地雙活 雙11洗禮 新挑戰(zhàn)新機(jī)遇 >全網(wǎng)架構(gòu) ?資源限制,一個(gè)城市已經(jīng)不能滿足需求 單元化 ?容

8、災(zāi),單地域機(jī)房風(fēng)險(xiǎn) >AliSQL ?分表數(shù)量龐大 > OceanBase ?集群拆分接近極限 A業(yè)務(wù)開發(fā)復(fù)雜度 ?路由，關(guān)聯(lián)，聚合，訂正 新挑戰(zhàn)新機(jī)遇—OceanBase Data （固態(tài)盤） 數(shù)據(jù)存儲(chǔ)：多機(jī)磁盤 修改增量：?jiǎn)螜C(jī)內(nèi)存 增刪改 Query 修改增量 （內(nèi)存） =基線數(shù)據(jù)中 SQL IJ SQL | SQL SQL SQL SQL SQL SQL aorg—erv、r Qr ^

9、kServe MergeServer Chunkserver Root Server Update Server MergeServer Chunkserver 修改增量 基線數(shù)據(jù) MergeServer Chunkserver IV erjc!?erver ChunkJerver 應(yīng)用接口 MergeServer Chunkserver ＞基于Paxos的高可用方案 ?以不可靠部件提供可靠服 ?小于半數(shù)的分區(qū)容忍性 ?較高的可用性（最大35s不可用） ?強(qiáng)一致性 RootServer 宕機(jī)/程序異常退出 35S/不可用 UpdateSe

10、rver 宕機(jī)/程序異常退出 25s左右/不nJ用 MergeServer 宕機(jī)/程序異常退出 1分鐘/少量讀超時(shí) ChunkServer 宕機(jī)/程序異常退出 1分鐘/少量讀超時(shí) 主集群不可用 如出現(xiàn)機(jī)房斷網(wǎng)情況 35s/不nJ用 角色 異常描述 時(shí)間/影響 OceanBase^ ■ ■■wrf ri Spat r0 ? 20142(v0.5) 2010 2011 2012 s I 013 2014 015 2016 017 Vl.x全面覆蓋