AIX 下磁盤 IO 性能分析

《AIX 下磁盤 IO 性能分析》由會(huì)員分享，可在線閱讀，更多相關(guān)《AIX 下磁盤 IO 性能分析（9頁(yè)珍藏版）》請(qǐng)?jiān)谘b配圖網(wǎng)上搜索。

1、AIX 下磁盤 I/O 性能分析磁盤I/O的概念I(lǐng)/O的概念，從字義來理解就是輸入輸出。操作系統(tǒng)從上層到底層，各個(gè)層次之 間均存在I/O。比如，CPU有I/O，內(nèi)存有I/O, VMM有I/O,底層磁盤上也有 I/O,這是廣義上的I/O.通常來講，一個(gè)上層的I/O可能會(huì)產(chǎn)生針對(duì)磁盤的多 個(gè)I/O,也就是說，上層的I/O是稀疏的，下層的I/O是密集的。磁盤的I/O,顧名思義就是磁盤的輸入輸出。輸入指的是對(duì)磁盤寫入數(shù)據(jù)，輸出 指的是從磁盤讀出數(shù)據(jù)。衡量磁盤I/O性能的指標(biāo) 圖1.物理磁盤的架構(gòu)以及常見磁盤類型Disk performancelZBRl! GeometryATAFCSASTimeSAT

2、ASCSI IO service times ire pjedamjhately seek 十 rotatsonat latency + queueing time Interface type我們常見的磁盤類型有ATA、SATA、FC、SCSI、SAS。這幾種磁盤中，服務(wù)器常 用的是SAS和FC磁盤，一些高端存儲(chǔ)也使用SSD盤。每一種磁盤的性能是不 一樣的。我們?cè)跍y(cè)試工作中，衡量磁盤I/O性能主要參考IOPS和吞吐量?jī)蓚€(gè)參數(shù)。下 面，將介紹一下這兩個(gè)參數(shù)的含義。IOPS與吞吐量的概念磁盤的IOPS，也就是在一秒內(nèi)，磁盤進(jìn)行多少次I/O讀寫。磁盤的吞吐量，也就是每秒磁盤I/O的流量，即磁盤寫入

3、加上讀出的數(shù)據(jù)的大 小。IOPS與吞吐量的關(guān)系每秒I/O吞吐量=IOPS*平均I/O SIZE。從公式可以看出：I/O SIZE越大， IOPS越高，那么每秒I/O的吞吐量就越高。因此，我們會(huì)認(rèn)為IOPS和吞吐量 的數(shù)值越高越好。實(shí)際上，對(duì)于一個(gè)磁盤來講，這兩個(gè)參數(shù)均有其最大值，而且 這兩個(gè)參數(shù)也存在著一定的關(guān)系。下圖為各種磁盤的IOPS極限值。表1.常見磁盤類型及其IOPS丁滬KWSIfitiHtMS-leSLGSSDSSD-+00 ICJP護(hù) w-亠電SATAJCbtS.waiops115ATA3GtiS5D0K IOPS1-ATA3i3tfrS Skii-Phceiffi PnoSSDa

4、MOTCP應(yīng) nT$AlH 沁IOdra段SSDWA6t5fc.lTtias IWtflwy SyHfimsSSDTS0.OOC* Riicm RfadWcE TOPS!：raPuwoie aeDwSSDU10K 聯(lián)兇d 1OPS. lli.M l IOPS tWHJTi Srs*SSD320SWO hi曲wd READ幼唱 比甲占已他 朗也蹴3ri.SU -rf譏脅冼l&Ss曲閣+a咼出&:=:POfS3D:QO.OOC R*Hj w 寸葉 4X IOPS1-:心岸旳mb春Aw Duo迓:W MC*iOP5 w斶inlAtrg 誦曲益00SSD2M.MC* Rjrdpn R*芹W-皆P；.O

5、-ihh；scsWtrtTiJ.nRSrTBssu:輪OKI理飾q砂併即冉1FU 鼻切” I1島ibuid. th嵯OOFLdrwXS.SSD303,00( (512E Rlfdom Re-Jid OPS：-r%d 103 ODD* .itomR?rfWt* 1 口PSFC :耐幣SaMOCZ日帕 Z-C-ve R4星SO53DUa IS iw.coo SPS IK1Tg柬 Mfenwy Sysztrns RinSafr 030Ap?aaflctssol.fflK KO* KE HMIddHnRMd.Y-te ：6卸祀 NfifiiiiEndFuiiHMg Ow Qdi i ng* PC-：U

6、-nliSSD1.150 QW*4?腫譏V* IOPS122OGZ 血闘 pif&沁 Zdvt 砒 PCb 藝9也SSCSSDWto 5.3JO.MaiO?5Tms FemwySyHes RanSaoTflS5D10 DM Rartwi樹嚴(yán)PCfi注：上表源自維基百科 在AIX中，對(duì)于同一個(gè)磁盤（或者LUN）,隨著每次I/O讀寫數(shù)據(jù)的大小不通, IOPS的數(shù)值也不是固定不變的。例如，每次I/O寫入或者讀出的都是連續(xù)的大 數(shù)據(jù)塊，此時(shí)IOPS相對(duì)會(huì)低一些；在不頻繁換道的情況下，每次寫入或者讀出 的數(shù)據(jù)塊小，相對(duì)來講IOPS就會(huì)高一些。I/O讀寫的類型大體上講,I/O的類型可以分為:讀/寫I/O、

7、大/小塊I/O、連續(xù)/隨機(jī)I/O, 順序/并發(fā)I/O。在這幾種類型中，我們主要討論一下：大/小塊I/O、連續(xù) /隨機(jī)I/O,順序/并發(fā)I/O。大/小塊I/O這個(gè)數(shù)值指的是控制器指令中給出的連續(xù)讀出扇區(qū)數(shù)目的多少。如果數(shù)目較多， 如64， 128等，我們可以認(rèn)為是大塊I/O；反之，如果很小，比如4， 8，我們 就會(huì)認(rèn)為是小塊I/O,實(shí)際上，在大塊和小塊I/O之間，沒有明確的界限。連續(xù)/隨機(jī)I/O連續(xù)I/O指的是本次I/O給出的初始扇區(qū)地址和上一次I/O的結(jié)束扇區(qū)地址 是完全連續(xù)或者相隔不多的。反之，如果相差很大，則算作一次隨機(jī)I/O連續(xù)I/O比隨機(jī)I/O效率高的原因是：在做連續(xù)I/O的時(shí)候，磁頭

8、幾乎不用 換道，或者換道的時(shí)間很短；而對(duì)于隨機(jī)I/O,如果這個(gè)I/O很多的話，會(huì)導(dǎo) 致磁頭不停地?fù)Q道，造成效率的極大降低。順序/并發(fā)I/O從概念上講，并發(fā)I/O就是指向一塊磁盤發(fā)出一條I/O指令后，不必等待它回 應(yīng)，接著向另外一塊磁盤發(fā)I/O指令。對(duì)于具有條帶性的RAID（LUN），對(duì)其 進(jìn)行的I/O操作是并發(fā)的，例如：raid0+l（l+0）,raid5等。反之則為順序I/O。磁盤I/O性能的監(jiān)控監(jiān)控磁盤的I/O性能，我們可以使用AIX的系統(tǒng)命令，例如：sar-d, iostat, topas, nmon等。下面，我將以nmon和topas為例，講述在系統(tǒng)中如何觀察 磁盤I/O的性能。t o

9、pas登錄AIX操作系統(tǒng)，輸入topas，然后按D，會(huì)出現(xiàn)如下界面：Diskflus護(hù)KBP3TPSKB-RARTsatkB-WAWTMarACWAGUhdiskOSrO78.0K19.50.00.00.078.0K20.365.1e.s0.0MtaUZ卩衛(wèi)6 口4 口SCI6口6 口4口s 口m 口hdiskl0.0；0.0口口0.00.0El.tJ0.00.00.0DD0.00.0Q.O0.00.0D.O0.D0,0D,0D.D eD0,0hdiskSD.O口DO.D6.D 口O-aO.00.0D0hdiak0.0OK00.00.0CLCi2.0K0.90.90Q0.0在上圖中，TPS即為

10、磁盤的IOPS, KBPS即為磁盤每秒的吞吐量。由于服務(wù)器處 于空閑的狀態(tài)，我們可以看到I OPS, KBPS的數(shù)據(jù)都非常低。我們使用dd if命令向磁盤hdisk2發(fā)讀I/O，block大小為1MB：# drf if =/dev/rhdisk2 af=/d已丄丄 bs=1024k11O485BO利用topas進(jìn)行監(jiān)控:此時(shí)，hdisk2的吞吐量為163.9M, IOPS為655。我們?cè)賳?dòng)一個(gè)dd if，使hdisk的busy數(shù)值達(dá)到100%：甘 dd xf-/dev/chdxsk2j bs-iOk21111343Topss ttomtoE ior host:.p740 01 hebmgat

11、aniEn 2Kon Dec 1 17:10:32011l*i3kJusy%KBPSTPSKB-RAKTKRTKfi-JlHTHUTXQVAQDh日乙屮號(hào)2ioo.D30,1H1 PZK304.in5,6斗4 30.00.00,00, 10.0hdisSO3.S3D.OK7x50.00.00.030.0K4-1S.Sc.o0.0hd&Sfcl0,00.00.00,00.0。口0.0a.o0.00.00.0h iisk30.00.00x0：0.00B00.00.0000.0O.D0.00,0OrOOrO0.00r00.0OrOO.Q0.00,0OrOhdisk4O.D0.0DuO0.00.0O.

12、D0.00.0OuO0.00.0從上圖可以看出，在磁盤busy達(dá)到100%的時(shí)候，其吞吐量為304.1M,I0PS為 1200。hdisk2是本地集成的SAS盤，我們可以查出本地集成SAS通道的帶寬為3Gb：1 grep -i sashdislcOAvailableoo-OS-00車血條Disk Drivehd islc5000&-D0SAS RA1(? 0 SSD ArraypdiskoivAiiaUlt00500Physical 3AS丄丄d Stitt rrivt3B.3 0IvaiLHbleoo-aa-ooControl丄耳匸 SAS FrotacolAvailable00-0&-00

13、SAS Enclosure Services Devi.cesfImoo-oa-oa-rrSAS Storage Franewcrlc ConmsissasdJtvailAbleOOI0PC7I-X266 Planar 3Gb SAS JLdaptera 對(duì)于3Gb的SAS通道，304.1M的磁盤吞吐量已經(jīng)接近其I/O帶寬的峰值了。需要指出的是，使用ddif測(cè)量磁盤的帶寬是可行的，但是由此來確定業(yè)務(wù)I/O 的IOPS和吞吐量是不科學(xué)的。因?yàn)?，ddif所發(fā)起的讀寫僅為順序I/O讀寫, 在OLTP的業(yè)務(wù)中，這種讀寫是不常見的，而是隨機(jī)小I/O比較多，因此，測(cè) 量業(yè)務(wù)的磁盤I/O性能，需要在運(yùn)行業(yè)務(wù)

14、的時(shí)候進(jìn)行監(jiān)控。nmon在系統(tǒng)中輸入nmon,按d,可以得到如下界面：可以得到此時(shí)磁盤hdisk2吞吐量為318M。使用nmon收集一個(gè)時(shí)間段的數(shù)據(jù)，然后使用nmon analyzer進(jìn)行分析，可以 得出更為直接的圖表：X nmon -F OnlyFortest -s 5 -u 100將收集好的nmon文件使用nmon analyzer進(jìn)行分析，得出如下報(bào)表:圖2.nmon圖表顯示磁盤性能磁盤I/O性能調(diào)優(yōu)確認(rèn)磁盤I/O存在性能問題對(duì)于隨機(jī)負(fù)載，當(dāng)遇到余下情況時(shí)，我們那通常認(rèn)為存在I/O性能問題：1. 平均讀時(shí)間大于15ms2. 在具有寫cache的條件下，平均寫時(shí)間大于2.5ms對(duì)于順序負(fù)載

15、，當(dāng)遇到余下情況時(shí)，我們那通常認(rèn)為存在I/O性能問題：1. 在一個(gè)磁盤上有兩個(gè)連續(xù)的I/O流2. 吞吐量不足（即遠(yuǎn)遠(yuǎn)小于磁盤I/O帶寬）對(duì)于一塊磁盤來講，隨著IOPS數(shù)量的增加，I/O service也會(huì)增加，并且會(huì)有 一個(gè)飽和點(diǎn)，即IOPS達(dá)到某個(gè)點(diǎn)以后,IOPS再增加將會(huì)引起I/O service time 的顯著增加。圖3.磁盤IOPS與IO service time關(guān)系圖1OPSA5 lOriie rime - 15,000 RPl dik7-1 二 W ? 二二TOPS從經(jīng)驗(yàn)上講，我們?cè)跍y(cè)試工作中，我們主要關(guān)注I0PS和吞吐量以及磁盤的 busy%這三個(gè)數(shù)值。如果I0PS和吞吐量均很

16、低，磁盤的busy%也很低，我們 會(huì)認(rèn)為磁盤壓力過小，造成吞吐量和IOPS過低；只有在I0PS和吞吐量均很低, 磁盤的busy%很高（接近100%）的時(shí)候，我們才會(huì)從磁盤I/O方面分析I/O性 通過調(diào)整AIX參數(shù)改善磁盤I/O性能 在AIX系統(tǒng)中，有關(guān)磁盤I/O性能相關(guān)的參數(shù)我們主要調(diào)整的參數(shù)如下圖:圖4.AIX常見的磁盤I/O性能參數(shù)Fib日SAM 1山加殛dynlrkfc err recovFCSHDISKRMT：SMCnum cmd e!emsqueue depthalt pathingmax xfer sizemax transfer需要注意的是，下面幾個(gè)參數(shù)的調(diào)整值，只是經(jīng)驗(yàn)數(shù)值；對(duì)

17、于不同的應(yīng)用，不同 的場(chǎng)景，應(yīng)具體情況具體分析。調(diào)整I/O隊(duì)列長(zhǎng)度 queue_depth是AIX 次可以傳送到磁盤設(shè)備的命令的數(shù)量，把命令放在隊(duì)列 中再傳送給磁盤可以提高I/O性能。AIX中定義的每個(gè)磁盤在ODM庫(kù)中都有 queue_depth屬性。這個(gè)屬性限制了 AIX可以傳送到設(shè)備的最大命令的數(shù)量。queue_depth默認(rèn)數(shù)值為4queue_depth 4 raid level0將hdisk2的隊(duì)列長(zhǎng)度從16調(diào)整為64：ro口匕凰上3：丄注匕匸工-El hdis)c2 |-i queue匕no已 ue_depxih64T-ci-kRaLwz+wmax_transfer 參數(shù)這個(gè)參數(shù)的含

18、義是，存儲(chǔ)driver可以向存儲(chǔ)發(fā)的最大的I/O。通過增加 max_transfer的數(shù)值，我們可以允許VG的LTG的數(shù)值更大。這個(gè)參數(shù)我們可以從64M調(diào)整到128M。raot:at3ni3：/-1 hdisk2 -a iraxttansfern0x080000 -PbidiakE changed匸 ddtg曰j 1薛attr -Cl hdizkE |-ir ansi ernm_CCHnsiet I DxCi調(diào)QD口 I血耳unupi TRAJSSrER SizeTtueItaoi曲t苦nl聖門光纖卡num_cmd_elems參數(shù)如果是通過光纖卡連接的外置存儲(chǔ)，可以考慮調(diào)整num_cmd_el

19、ems,這個(gè)參數(shù)的 作用是：controls maximum number of in-flight Ios這個(gè)參數(shù)的默認(rèn)值為500，我們將其修改為1000:L/ trhdfV -I ftsO -ft. uutn ctod c lemd 100D -PfcsO ch&UQtdJroot&Atana:/_13attr -1igrep -i nuftctudcittusnu&_rf_eLcmXakimwof &訊皿孫 to quw to theTrue 光纖卡 max_xfer_size 參數(shù) ：attribute also controls a DMA memory area used to h

20、old data for transfer, and at the default is 16 MB. 這個(gè)參數(shù) 是控制DMA區(qū)域的，用于保持傳輸?shù)臄?shù)據(jù)的的區(qū)域，它的默認(rèn)值是16MB,可以 把這個(gè)數(shù)值調(diào)整成128MB，這樣光纖卡的帶寬會(huì)高一些rootSatsnis: 7 chdev -1 icsO -a aak zfer a izt-Ox 800000 -Pfcao changedEl色卩-1 TEAK XfCtmx xitrr siiti 0x800000 1 Tranujier SueTrueFSCSI設(shè)備對(duì)于FSCSI設(shè)備而言，我們可以通過設(shè)置參數(shù)：dyntrk和fc_err_recov

21、來達(dá) 到路徑快速切換的目的：This sets the adapters to fast fail over and reduces the amount of time required to select a new data path.# chdev -I f4C310 -a dyntrk=ye5 fc err recov-tast fail修改完畢以后，榮如下命令進(jìn)行確認(rèn):# lsattr -El scsiOHour chi adapter is CONNECTED Dymutaic Track 1 nj of TC DevicesFalseTruept cat li dyntrkyesc err recovwrf ast_al(FC Fabcic Event Error RECOVERYPolicyTtuelsw e classI _Adapter SCSI IDFC Clasfs for F abr ic-fal3t Ttu亡總結(jié) 在AIX下調(diào)整磁盤I/O性能是一個(gè)相對(duì)復(fù)雜的工作，參數(shù)的數(shù)值往往是根據(jù)環(huán) 境的變化而不通。這就要求我們?cè)谑煜ご疟PI/O性能架構(gòu)的基礎(chǔ)上，靈活調(diào)整。