一、背景
生產環境IBM P560目前用於Oracle DataGuard 的standby機器。在oracle Apply 歸檔日志時，查看服務器IO情況，發現Hdisk0、1上的IO有時候能達到到100%。而Hdisk2、3上IO活動很少。
經分析，oracle的數據文件存放目錄放在/oradata，該目錄建立在hdisk0、1上。故在數據庫發生讀寫數據文件時，只有hdisk0,1有IO。另外2塊盤IO活動少。故考慮將數據庫文件從rootvg遷移出來,將數據庫的歸檔文件建立在rootvg裡,達到平均分布服務器的IO的目的。
二、理論支持
一般以LVM管理的存儲，一個vg中可能會有很多pv，同樣的，一個lv可能跨越多塊pv，為了使硬盤存儲速度加快，就會用到條帶化的技術，即把連續的數據分成大小相同的數據塊，然後依次存儲在各個pv上。類似於RAID0，使存儲速度加快。但並不會使數據像RAID0一樣危險容易丟失，因為在正式使用中，不會像此時做測試一樣沒有任何保障地將多塊硬盤做成一個vg，而是普遍連接的後台存儲，在劃分LUN之前，已經在物理硬盤上做好RAID5或RAID1，在RAID5或RAID1的基礎上再劃分出多塊LUN,即系統上的pv，即使pv所在硬盤損壞，但有底層的硬RAID冗余，並不會丟失數據。
條帶單元大小：即條帶化的LV中，每一個條帶單元的大小，對應於I/O中數據塊的大小。對於Oracle來講，db_block_size即設定的數據塊大小。而db_file_multiblock_read_count就一次讀取時最多並行的數據塊的個數，db_block_size和db_file_multiblock_read_count相乘即一次總的I/O大小。這個大小不能超過操作系統的最大I/O (max_io_size)值。在ORACLE應用中，lv條帶的大小一般設置為兩倍或兩倍以上的Oracle塊大小，因為假如設置成與Oracle數據塊相同大小，無法保證Oracle數據塊的邊界正好與條帶單元的邊界對應，如果不對應的話，就會出現大量的一個I/O由兩個條帶單元，來處理的情況。
條帶大小的原則：對於高並發並且IO請求小的情況下，一塊物理硬盤處理多個I/O請求，低並發但I/O請求較大時，可能需要多塊硬盤處理一個I/O請求。原則上的要求是一次I/O請求能被一次性處理完成。
大概的條帶化的概念就是這樣。
三、參數提取
P560A:/#lspv
hdisk0 00c3ee9e3439bc67 rootvg active
hdisk1 00c3ee9e5033384d rootvg active
hdisk2 00c3ee9eae48cc48 rootvg active
hdisk3 00c3ee9eae48df75 rootvg active
P560A:/#lspv -l hdisk0
hdisk0:
LV NAME LPs PPs DISTRIBUTION MOUNT POINT
hd10opt 8 8 00..00..08..00..00 /opt
hd3 40 40 00..00..40..00..00 /tmp
hd1 4 4 00..00..04..00..00 /home
hd2 16 16 00..00..16..00..00 /usr
hd9var 4 4 00..00..04..00..00 /var
hd8 1 1 00..00..01..00..00 N/A
hd4 4 4 00..00..04..00..00 /
hd5 1 1 01..00..00..00..00 N/A
hd6 32 32 00..00..32..00..00 N/A
tsmdb 30 30 20..10..00..00..00 /tsmdb
oradatalv 278 278 49..11..00..109..109 /oradata
oraclelv 40 40 40..00..00..00..00 /home/oracle
weblogiclv 40 40 00..40..00..00..00 /weblogic
weblogic9lv 40 40 00..40..00..00..00 /weblogic9
lg_dumplv 8 8 00..08..00..00..00 N/A
P560A:/#lspv -l hdisk1
hdisk1:
LV NAME LPs PPs DISTRIBUTION MOUNT POINT
hd10opt 8 8 00..00..08..00..00 /opt
hd3 40 40 00..00..40..00..00 /tmp
hd1 4 4 00..00..04..00..00 /home
hd2 16 16 00..00..16..00..00 /usr
hd9var 4 4 00..00..04..00..00 /var
hd8 1 1 00..00..01..00..00 N/A
hd4 4 4 00..00..04..00..00 /
hd5 1 1 01..00..00..00..00 N/A
hd6 32 32 00..00..32..00..00 N/A
tsmdb 30 30 20..10..00..00..00 /tsmdb
oradatalv 324 324 89..17..00..109..109 /oradata
fwdump 2 2 00..02..00..00..00 /var/adm/ras/platform
weblogiclv 40 40 00..40..00..00..00 /weblogic
weblogic9lv 40 40 00..40..00..00..00 /weblogic9
P560A:/#lspv -l hdisk2
hdisk2:
LV NAME LPs PPs DISTRIBUTION MOUNT POINT
oradatalv 598 598 152..223..223..00..00 /oradata
P560A:/#lspv -l hdisk3
hdisk3:
LV NAME LPs PPs DISTRIBUTION MOUNT POINT
archlog_lv 400 400 00..223..177..00..00 /archivelog
P560A:/#lslv -l oradatalv
oradatalv:/oradata
PV COPIES IN BAND DISTRIBUTION
hdisk0 278:000:000 3% 049:011:000:109:109
hdisk1 324:000:000 5% 089:017:000:109:109
hdisk2 598:000:000 37% 152:223:223:000:000
P560A:/#lslv -l oraclelv
oraclelv:/home/oracle
PV COPIES IN BAND DISTRIBUTION
hdisk0 040:000:000 0% 040:000:000:000:000
P560A:/#lslv -l archlog_lv
archlog_lv:/archivelog
PV COPIES IN BAND DISTRIBUTION
hdisk3 400:000:000 55% 000:223:177:000:000
四、優化步驟
1、把hdisk2從rootvg中剔除
reducevg –d rootvg hdisk2；
2、將hdisk2、hdisk3做成datavg
smit mkvg 輸入VG名字為datavg，選擇盤為hdisk2 、hdisk3；
3、smit mklv 新建條帶化LV
LV名字輸入：oradata_lv
LV類型為：JFS2
LV分布的PV：hdisk2、hdisk3
strip Size 選擇：128K （建議為oracle 的db_block_size *同時讀取的塊，目前系統最大允許為128K）；
lslv -m oradata_lv 發現LV的物理分區平均分布在hdisk2 和Hdisk3上
4、新建文件系統
smit jfs2 建立文件系統
五、優化結果
P560A:/backup#lspv
hdisk0 00c3ee9e3439bc67 rootvg active
hdisk1 00c3ee9e5033384d rootvg active
hdisk2 00c3ee9eae48cc48 datavg active
hdisk3 00c3ee9eb6975c7e datavg active
本文出自 “麥地塢” 博客，請務必保留此出處http://yunlongzheng.blog.51cto.com/788996/721141
