【IT168 资讯】
一、应用系统背景
某油料公司是一家以航空油品的采购、储运、加注服务为一体的大型油料供应企业，负责全国各民用及军民合用机场的航空油料的供应。为了全面控制并降低经营管理成本，增加企业利润和增强企业的市场适应能力和竞争力，某油料公司从2003年开始陆续在各分公司上线SAP R/3系统的油料下游行业解决方案（IS-Oil Downstream）。随着应用的深入和业务的发展，该系统日益受到性能问题的困扰：一到上班时间各分公司用户就反映系统响应极其缓慢，甚至几次在每月1日进行月结时造成系统死机，最后总公司只能专门发文规定每月1日各分公司分时段上机进行月结的时间。
由于SAP提交的EarlyWatch检查报告显示该油料公司数据库服务器的CPU利用率已超过80%，因此在负责该项目的咨询实施与运维服务的SAP公司合作伙伴的要求下，该油料公司不得不在SAP系统上线不久后就再购买了更大、更快的HP rp8410服务器替代HP rp7410服务器作为数据库服务器（HP rp7410服务器转为应用服务器使用，原应用服务器HP rp5470转为测试、开发服务器使用）；虽然负责该油料公司ERP项目的SAP公司的咨询实施与运维服务合作伙伴同时又对客户的软件进行了全面地优化，但性能改善还是不明显，每月1日各分公司依旧需要分时段上机进行月结。这使SAP公司和其负责该项目的咨询实施与运维服务合作伙伴都面临着巨大的压力。
为了正确地解决应用性能问题，负责SAP咨询实施与运维的公司找到免费提供“IT系统能力评估分析和优化服务”的第三方以中立的立场对该油料公司IT系统的硬件资源做出客观的评估，让该油料公司可以直观、方便地理解其硬件平台的现有能力以及是否能够支持现在以及预期工作负载的峰值。
二、客户的系统配置
（一）系统硬件配置
?
服务器：
?
数据库服务器：HP rp8410服务器（8 x 1.0 GHz PA8800 CPU，16GB内存，2 x 73 GB系统盘）；
?
应用服务器：HP rp7410服务器（4 x 875 MHz PA8700+ CPU，8GB内存，2 x 36 GB系统盘）；
?
开发、测试、备份服务器：HP rp5470服务器（2 x 750 MHz PA8700 CPU，4GB内存，2 x 36 GB系统盘）；
?
磁盘阵列：HP va7110（15 X 73 GB 15K RPM FC Disk），配置成AutoRAID（数据量小于50%时，系统自动配置成RAID1+0；数据量大于50%时，系统自动配置成RAID5 DP（双奇偶校验）。），并设置成4个逻辑盘（LUN）c8t0d1、c8t0d2、c8t0d3和c8t0d4通过SAN连接到应用服务器HP rp7410和数据库服务器HP rp8410上，其中3个逻辑盘(LUN)c8t0d1、c8t0d2和c8t0d3供数据库服务器HP rp8410使用。
（二）系统软件配置
?
操作系统版本：HP-UX 11v1.0 unlimited-user license；
?
数据库：Oracle v8.1.7；
?
应用软件：SAP R/3 4.6C, IS-Oil Downstream 4.6C。
三、客户系统的资源利用率分析
为清楚地了解某油料公司SAP ERP系统的服务器资源包括：CPU、内存和磁盘子系统被使用的情况，客户系统管理员按CURTIS公司的要求使用UNIX的实用程序记录了月结日：2006年4月1日6:33到4月2日6:32和普通工作日：2006年4月4日11:01到4月5日11:00二整天的应用服务器和数据库服务器的CPU、内存和磁盘子系统被使用的历史记录。
（一） CPU资源的使用情况
1、数据库服务器的CPU资源利用率：
下面是数据库服务器HP rp8410从2006年4月1日6:33到4月2日6:32一整天的CPU利用率历史记录（见下图）：
下面是数据库服务器HP rp8410从2006年4月4日11:01到4月5日11:00一整天的CPU利用率历史记录（见下图）：
结论：数据库服务器的CPU在月结日（4月1日）从清早开始直到下班一直都处于过载状态（利用率超过70%）；数据库服务器的CPU在普通工作日（4月4日）的上班时段同样也处于过载状态（利用率超过70%）；而这些过载全是由于CPU的进程时间都处于等待I/O的闲置状态所造成；这表明用户IT系统的存储部分存在I/O瓶颈，而不是CPU运算能力或数量不够；
2、应用服务器的CPU资源利用率：
下面是应用服务器HP rp7410从2006年4月1日6:33到4月2日6:32一整天的CPU利用率历史记录（见下图）：
下面是应用服务器HP rp7410从2006年4月4日11:01到4月5日11:00一整天的CPU利用率历史记录（见下图）：
结论：应用服务器的CPU很空闲，在数据取样的二天中即没有过载（CPU的利用率未超过60%），也不存在I/O等待（I/O Wait）。因此应用服务器现有的CPU数量和运算能力足以满足SAP ERP应用的需求、应用服务器也不存在I/O瓶颈；SAP ERP应用的性能差与应用服务器无关。
（二） 数据库服务器的内存是否满足应用的需求
由于数据库服务器的SWAP区设置在服务器的系统盘上，如果内存不足，SWAP区会有频繁的页面换入/换出，这样会导致系统盘较高的利用率和TPS（交易数/秒）。
下面是数据库服务器HP rp8410的系统盘c0t6d0和c2t6d0从2006年4月1日6:33到4月2日6:32一整天的利用率（%Busy）历史记录（见下图）：
下面是数据库服务器HP rp8410的系统盘c0t6d0和c2t6d0从2006年4月4日11:01到4月5日11:00一整天的利用率（%Busy）历史记录（见下图）：
结论：数据库服务器的系统盘c0t6d0和c2t6d0在数据取样的二天中很空闲，未见明显高的读写操作和磁盘利用率。因此数据库服务器现有的内存容量足以满足SAP ERP应用的需求，SAP ERP应用的性能差不是内存不足所导致。
（三）数据库服务器的磁盘子系统资源的使用情况
根据2006年4月1日6:33到4月2日6:32和2006年4月4日11:01到4月5日11:00二整天从数据库服务器上捕获的3个逻辑盘（LUN）：c8t0d1、c8t0d2、c8t0d3的使用情况历史记录来看：c8t0d1和c8t0d3在数据取样的二天中很空闲，未见明显高的读写操作和磁盘利用率；但c8t0d2的利用率（%Busy）严重过载（基本上为100%）。
下面是数据库服务器HP rp8410的逻辑盘（LUN）c8t0d2从2006年4月1日6:33到4月2日6:32一整天的利用率（%Busy）、TPS（交易数/秒）和数据传输量（MB/S）历史记录（见下列图）：
下面是数据库服务器HP rp8410的逻辑盘（LUN）c8t0d2从2006年4月4日11:01到4月5日11:00一整天的利用率（%Busy）、TPS（交易数/秒）和数据传输量（MB/S）历史记录（见下列图）：
结论：
?
由于单块15000转（15K rpm）的磁盘有大约230-250TPS的能力， 15块15000转的磁盘设置成AutoRAID，随机TPS只能达到1200左右；因此某油料公司SAP ERP系统HP va7110磁盘阵列当前配置下的最大I/O能力只有1200 TPS（随机）；
?
无论是月结日（4月1日）还是普通工作日（4月4日）的上班时段，SAP ERP应用对数据库服务器的逻辑盘（LUN）c8t0d2的“交易数/秒”（TPS）请求都远超过1200TPS；因此某油料公司SAP ERP系统HP va7110磁盘阵列当前配置下的I/O能力无法满足SAP ERP应用对I/O的需求。
?
某油料公司SAP ERP系统性能差的原因：用户硬件配置中的存储部分的I/O能力无法满足应用的需求，产生I/O瓶颈，导致应用响应缓慢、性能差。
四、评估分析结论小结及解决方案
（一）评估分析结论小结：某油料公司SAP ERP系统性能差的原因是ERP应用对数据库服务器的逻辑盘（LUN）c8t0d2的过度访问超出了连接该服务器的HP va7110磁盘阵列当前配置下的I/O能力，产生I/O瓶颈；因此扩充CPU、内存或更换更大、更快的服务器都无法改善SAP ERP应用的性能。
（二）SAP的EarlyWatch检查只发现了用户服务器的CPU利用率高达80%，但没有进一步查明是何原因造成CPU利用率过高；其实如果没有va7110磁盘阵列的I/O瓶颈，用户原有的HP rp7410服务器就完全能满足用户ERP应用的要求。
（三）解决方案：必须大幅度地提升用户系统存储部分的I/O能力。
1、HP va7110磁盘阵列需扩充至满配置：再增加30块15K RPM FC Disk才能满足SAP ERP应用当前对I/O能力的需求；要支持未来预期工作负载的峰值，用户需更换更高档的磁盘阵列，如HP va7410（最多可安装105块磁盘）；
2、或在现有系统中增添高性能的固态存储（SSD）盘，将被SAP ERP应用过度访问的数据从逻辑盘（LUN）c8t0d2中迁移到SSD盘上存储。
说明：通过分析根据用户的Oracle Statspack文件，可以鉴别逻辑盘（LUN）c8t0d2中是哪些数据库表空间被过度频繁访问，因此只需将该部分Oracle数据库表空间迁移到SSD盘上即可。
